Python Requests — настройка прокси
Об инструменте
Requests — стандартная библиотека HTTP-клиента для Python, построенная на базе `urllib3` и обеспечивающая управление сессиями и пулами соединений. Requests — библиотека Python для HTTP-запросов с сессиями, cookie, аутентификацией и пулом соединений. HTTP(S)-прокси задаются в запросе или сессии; SOCKS требует дополнительных зависимостей. Подходит для API и задач без рендеринга браузера.
Основные возможности
Сохранение сессий и пул соединений: объект `requests.Session()` автоматически сохраняет cookie и заголовки между запросами, а также повторно использует TCP/TLS-соединения (Keep-Alive) для снижения сетевых задержек.
- Сессии и сохранение cookie：Requests обрабатывает параметры HTTP, заголовки, формы, JSON, загрузку файлов, авторизацию и ответы. Session сохраняет cookies и пул соединений между запросами, поддерживая клиентов с состоянием входа или повторным доступом к сервису.
- Пул соединений：Библиотека получает HTTP-ответы, но не исполняет JavaScript страницы. Для API и непосредственно возвращаемого HTML этого достаточно; содержимому, создаваемому браузерными сценариями, нужен дополнительный способ рендеринга.
Сценарии применения
API-клиенты, загрузки по расписанию и проверки связи должны задавать тайм-ауты и обрабатывать статусы и исключения. Прокси настраивается для запроса или сеанса; SOCKS требует дополнительных зависимостей. Доступность прокси и успешный ответ сайта проверяются отдельно.
- Интеграция с API и легкий парсинг HTML: оптимален для работы с REST API, скачивания файлов и сбора статических HTML-страниц (в связке с BeautifulSoup или lxml), когда не требуется рендеринг JavaScript в браузере.
- Поддерживает прокси HTTP/HTTPS через параметр `proxies` или `Session.proxies`, а при установке `requests[socks]` работает с SOCKS5; для быстрых потоковых запросов рекомендуются прокси дата-центров.