На этом шаге мы рассмотрим основные возможности этого модуля.

Модуль urllib.request предоставляет расширенные возможности для получения информации из Интернета. Поддерживаются автоматические перенаправления при получении заголовка Location, возможность аутентификации, обработка cookies и др.

Для выполнения запроса предназначена функция urlopen(). Формат функции:

  urlopen (<URL-адрес или объект запроса>[, <Данные>][, <Тайм-аут>]
    [, cafile=None][, capath=None])

В первом параметре задается полный URL-адрес или объект, возвращаемый конструктором класса Request. Запрос выполняется методом GET, если данные не указаны во втором параметре, и методом POST в противном случае. При передаче данных методом POST автоматически добавляется заголовок Content-Type со значением application/x-www-form-urlencoded.

Третий параметр задает максимальное время выполнения запроса в секундах. Метод возвращает объект класса HTTPRequest.

Этот класс поддерживает следующие методы и атрибуты:

read ( [<Количество байтов>]) - считывает данные. Если параметр не указан, возвращается содержимое результата от текущей позиции указателя до конца. Если в качестве параметра указать число, то за каждый вызов будет возвращаться указанное количество байтов. Когда достигается конец, метод возвращает пустую строку. Пример:
```
>>> from urllib.request import urlopen
>>> res = urlopen("http://mail.ru/testrobots.php")
>>> print (res.read(34).decode("cp1251") )
<!DOCTYPE html><html id="nojs" lan
```
readline ([<Количество байтов>]) - считывает одну строку при каждом вызове. При достижении конца возвращается пустая строка. Если в необязательном параметре указано число, то считывание будет выполняться до тех пор, пока не встретится символ новой строки (\n), символ конца или не будет прочитано указанное количество байтов. Иными словами, если количество символов в строке меньше значения параметра, будет считанаодна строка, а не указанное количество байтов. Если количество байтов в строке больше, возвращается указанное количество байтов. Пример:
```
>>> res = urlopen("http://mail.ru/testrobots.php")
>>> print (res.readline(100).decode("cp1251") )
<!DOCTYPE html><html id="nojs" lang="ru" class=" nonRetina"><head>
<meta http-equiv="X-
```
readlines ([<Количество байтов>]) - считывает весь результат в список. Каждый элемент списка будет содержать одну строку, включая символ перевода строки. Если параметр задан, считывается указанное количество байтов плюс фрагмент до конца строки. При достижении конца возвращается пустой список. Пример:
```
>>> res = urlopen("http://mail.ru/testrobots.php")
>>> res.readlines(1)
[b'<!DOCTYPE html><html id="nojs" lang="ru" class=" nonRetina"><head>
<meta http-equiv="X-UA-Compatible" content="IE=edge"/>&
lt;meta charset="utf-8"/>
<title>Mail.Ru: 
.   .   .   Пропуск фрагмента .    .   .
feed=http://news.mail.ru/rss/&id=5; cycle=1"/><script>\n']
```
__next__() - считывает одну строку при каждом вызове. При достижении конца результата возбуждается исключение StopIteration. Благодаря методу __next__() можно перебирать результат построчно с помощью цикла for. Цикл for на каждой итерации будет автоматически вызывать метод __next__(). Пример:
```
>>> res = urlopen("http://mail.ru/testrobots.php")
>>> for line in res: print(line)
```
close () -закрывает объект результата;
geturl () - возвращает интернет-адрес полученного документа. Так как все перенаправления автоматически обрабатываются, интернет-адрес полученного документа может не совпадать с адресом, заданным первоначально;

info () - возвращает объект, с помощью которого можно получить информацию о заголовках ответа сервера. Основные методы и атрибуты этого объекта мы рассматривали при изучении модуля http.client (см. значение атрибута msg объекта результата, 244 шаг). Пример:

>>> res = urlopen("http://mail.ru/testrobots.php")
>>> info = res.info()
>>> info.items()
[('Server', 'nginx/1.14.1'), ('Date', 'Sun, 06 Jan 2019 07:48:34 GMT'), 
('Content-Type', 'text/html; charset=utf-8'), ('Content-Length', '299131'), 
('Connection', 'close'), 
.   .   .   Пропуск фрагмента .    .   .
('X-Content-Type-Options', 'nosniff'), 
('Strict-Transport-Security', 'max-age=16070400')]
>>> info.get("Content-Type")
'text/html; charset=utf-8'
>>> info.get_content_type(), info.get_content_charset()
('text/html', 'utf-8')
>>> info.get_content_maintype(), info.get_content_subtype()
('text', 'html')

code - содержит код возврата в виде числа;
msg - содержит текстовый статус возврата:
```
>>> res.code, res.msg
(200, 'OK')
```

Для примера выполним запросы методами GET и POST.

>>> from urllib.request import urlopen
>>> from urllib.parse import urlencode
>>> data = urlencode ({"color": "Красный", "var" : 15}, encoding ="cp1251")
>>> # Отправка данных методом GET
>>> url = "http://mail.ru/testrobots.php?" + data
>>> res = urlopen(url)
>>> print (res.read(34).decode ("cp1251"))
<!DOCTYPE html><html id="nojs" lan
>>> res.close()
>>> # Отправка данных методом POST
>>> url = "http://mail.ru/testrobots.php"
>>> res = urlopen(url,data.encode("cp1251") )
>>> print (res.read(34).decode("cp1251"))
<!DOCTYPE html><html id="nojs" lan
>>> res.close()

Если необходимо задать свое название робота и передать дополнительные заголовки, то следует создать экземпляр класса Request и передать его в функцию urlopen() вместо интернет-адреса. Конструктор класса Request имеет следующий формат:

  Request (<URL-адрес> [, data=None][, headers={}] [, origin_req_host=None]
    [, unverifiable=False] [, method=None] )

В первом параметре указывается URL-адрес. Запрос выполняется методом GET, если данные не указаны во втором параметре, или методом POST в противном случае. При передаче данных методом POST автоматически добавляется заголовок Content-Type со значением application/x-www-form-urlencoded. Третий параметр задает заголовки запроса в виде словаря. Четвертый и пятый параметр используются для обработки cookies. Шестой параметр, поддержка которого появилась в Python 3.3, указывает метод передачи данных в виде строки - например: "GET" или "HEAD". За дополнительной информацией по этим параметрам обращайтесь к документации. В качестве примера выполним запросы методами GET и POST.

>>> from urllib.request import urlopen, Request
>>> from urllib.parse import urlencode
>>> headers = { "User-Agent": "MySpider/1.0", 
"Accept": "text/html, text/plain, application/xml", "Accept-Language": "ru, ru-RU", 
"Accept-Charset": "windows-1251", "Referer": "/index.php" }
>>> data = urlencode ({"color": "Красный", "var" : 15}, encoding ="cp1251")
>>> # Отправка данных методом GET
>>> url = "http://mail.ru/testrobots.php?" + data
>>> request = Request (url, headers=headers)
>>> res = urlopen (request)
>>> print (res.read(34).decode("cp1251"))
<!DOCTYPE html><html id="nojs" lan
>>> # Отправка данных методом POST
>>> url = "http://mail.ru/testrobots.php"
>>> request = Request(url, data.encode("cp1251"), headers=headers)
>>> res = urlopen (request)
>>> print (res.read(34).decode("cp1251"))
<!DOCTYPE html><html id="nojs" lan
>>> res.close()

На следующем шаге мы рассмотрим определение кодировки.

Предыдущий шаг Содержание Следующий шаг