08-requests.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# requests\n",
    "\n",
    "Requests is an elegant and simple HTTP library for Python, built for human beings."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "requests - стороняя библиотека - она не входит в стандартный пакет питона, поэтому воспользуемся менеджером пакетов `pip3` чтобы ее установить"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: requests in /usr/local/lib/python3.6/dist-packages (2.22.0)\r\n",
      "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.6/dist-packages (from requests) (1.25.3)\r\n",
      "Requirement already satisfied: idna<2.9,>=2.5 in /usr/local/lib/python3.6/dist-packages (from requests) (2.8)\r\n",
      "Requirement already satisfied: chardet<3.1.0,>=3.0.2 in /usr/local/lib/python3.6/dist-packages (from requests) (3.0.4)\r\n",
      "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.6/dist-packages (from requests) (2019.9.11)\r\n"
     ]
    }
   ],
   "source": [
    "!pip3 install requests"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Подключаем библиотеку"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Отправляем `get` запрос на `google.com`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "response = requests.get('https://google.com')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Функции пакета `requests` возвращают объект класса `Response`, нас будут интересовать такие аттрибуты как `text`, `status_code` и, иногда, метод `json()`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "response.text[:100]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "response.status_code"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Что позволяет делать requests? Если вкратце - роботизировать посещение сети интернет  \n",
    "Примеры задач которые приходят в голову первыми:\n",
    " - Сбор данных в открытых источниках (скачиваем страницу, парсим, сохраняем в файлик)\n",
    " - __Автоматизация__\n",
    " - Работа с апи сайтов\n",
    " - Тестирование / Тестирование безопасности"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Сбор данных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "url = 'https://accounts.tsu.ru/Profile/Index/108023'\n",
    "\n",
    "resp = requests.get(url).text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'<!DOCTYPE html>\\r\\n<html lang=\"ru-RU\">\\r\\n<head>\\r\\n    <meta http-equiv=\"Content-Type\" content=\"text/html'"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "resp[:100]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Палкин Роман Владимирович\n"
     ]
    }
   ],
   "source": [
    "import re # На самом деле здесь лучше использовать BeatufilSoup, но мы легких путей не ищем!\n",
    "\n",
    "fullname = re.search('alt=\"(.*?)\"', resp).group(1)\n",
    "print(fullname)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Конечно это можно было сделать и руками, но используя requests ваши _руки_ не будут знать усталости!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Кригер Ольга Сергеевна\n",
      "Митрофанова Кристина Игоревна\n",
      "Буянова Кристина Сергеевна\n",
      "Саакян Аник Усиковна\n",
      "Ширяева Елизавета Александровна\n",
      "ВКонтакте\n",
      "Марченко Лидия \n",
      "52590\n",
      "Зайцев Александр Александрович\n",
      "Шимко Остап Витальевич\n",
      "Яровиков Александр \n",
      "Диденко Дарья \n",
      "Жукова Екатерина \n",
      "Терешкина Людмила \n",
      "Пахатинская Валентина Юрьевна\n",
      "Кучина Виктория Константиновна\n",
      "Мороз Александра Дмитриевна\n",
      "Павлов Егор Вячеславович\n",
      "52600\n",
      "Сергиенко Виктория Александровна\n",
      "Кудрявцева Елизавета Владимировна\n",
      "Семенов Вячеслав Витальевич\n",
      "Кеслер Виталий Дмитриевич\n",
      "Трабаев Тимур Даулетович\n",
      "Федченко Артём Сергеевич\n",
      "Арбатская Юлия Яковлевна\n",
      "Грузин Тимофей Евгеньевич\n",
      "Зайцева Анна \n",
      "Шевляков Артем Игоревич\n",
      "52610\n",
      "Талгатов Эльдар Талгатович\n",
      "Шайкенов Роман Бахытбекович\n",
      "Нурмагамбетов Шарип Кайратович\n",
      "Шейко Анна Юрьевна\n",
      "Магомедова Мариям Садулаевна\n",
      "Ким Михаил \n",
      "Сивак Дарья \n",
      "Махметов Руслан Маратович\n",
      "Никуленкин Никита Сергеевич\n",
      "Буховец Егор Александрович\n",
      "52620\n",
      "Джуманов Артур Тимурович\n",
      "Сохорев Кирилл Константинович\n",
      "Носонов Евгений Фёдорович\n",
      "Каркачева Татьяна Юрьевна\n",
      "Доржиев Бато Владимирович\n",
      "Кноль Владислав Алексеевич\n",
      "Ефимовская Марина Витальевна\n",
      "Соловиянчик Артем Юрьевич\n",
      "Клабукова Алена Михайловна\n",
      "Лысенко Андрей Сергеевич\n",
      "52630\n",
      "Жаворонок Иван Владимирович\n",
      "Галенда Кристина Владимировна\n",
      "Иргалин Руслан Димович\n",
      "Очиртарова Дина Михайловна\n",
      "Корнаков Игорь Олегович\n",
      "Лупак Михаил Юрьевич\n",
      "Куликова Елизавета Михайловна\n",
      "Колесова Арина Юрьевна\n",
      "Сидорова Александра Андреевна\n",
      "Стрельцова Екатерина Витальевна\n",
      "52640\n",
      "Первухина София Евгеньевна\n",
      "Гордина Диана Александровна\n",
      "Тюпкина Татьяна Евгеньевна\n",
      "Аверин Михаил Алексеевич\n",
      "Сташевский Дмитрий Анатольевич\n",
      "Черников Дмитрий \n",
      "Шевчук Кристина \n",
      "Кузнецов Андрей Геннадьевич\n",
      "Коростелев Егор Анатольевич\n",
      "Доценко Елена Владимировна\n",
      "52650\n",
      "Кузнецова Юлия Евгеньевна\n",
      "Ооржак Начын Темирович\n",
      "Вяйзя Анатолий Андреевич\n",
      "Машукова Екатерина Вячеславовна\n",
      "Ерёменко Данила Игоревич\n",
      "Богайчук Демьян Владимирович\n",
      "Котомцев Андрей \n",
      "Иванов Владимир \n",
      "Шутенко Виктория \n",
      "52660\n",
      "Онищенко Ангелина Константиновна\n",
      "Ковалев Роман Александрович\n",
      "Воронов Павел Борисович\n",
      "Кривошеина Александра Владиславовна\n",
      "Максимчук Владимир Викторович\n",
      "Правосуд Жанна Владимировна\n",
      "Харламов Артемий Валериевич\n",
      "Тараненко Дарья Сергеевна\n",
      "52670\n",
      "Коломбитов Аслан Серекбаевич\n",
      "Попов Михаил Игоревич\n",
      "Шахуров Денис Федорович\n",
      "Маметьева Елизавета Станиславовна\n",
      "Казанцев Алексей Александрович\n",
      "Емельянов Сергей Геннадьевич\n",
      "Кучеренко Максим Андреевич\n",
      "Борзунова Алла Юрьевна\n",
      "Прокопьев Роман Рустамович\n",
      "Киселев Антон Алексеевич\n",
      "52680\n",
      "Злобин Иван Николаевич\n",
      "Казанцев Андрей Алексеевич\n",
      "Севастьянова Юлия Александровна\n",
      "Лаберко Василий Александрович\n",
      "Кислый Станислав Максимович\n",
      "Пронин Анатолий Павлович\n",
      "Овчинников Олег Сергеевич\n",
      "Сюрюнмаа Айдын Чус-Оолович\n",
      "Анциферов Александр Владимирович\n",
      "Боков Илья Владимирович\n",
      "52690\n",
      "Ворожцов Юрий Михайлович\n",
      "Мальцев Александр Юрьевич\n",
      "Миронов Александр Юрьевич\n",
      "Железнов Евгений Васильевич\n",
      "Деменчук Михаил Васильевич\n",
      "Пак Луиза Игоревна\n",
      "Якубов Алексей Юрьевич\n",
      "Исаков Анатолий Витальевич\n",
      "Трумм Тамара \n",
      "Сулейменова Диана Султанбековна\n",
      "52700\n",
      "Досжанов Сергей Игоревич\n",
      "Серегин Михаил Сергеевич\n",
      "Десятников Артем \n",
      "Тулкун Эли \n",
      "Меузоян Кристина \n",
      "Перфильев Святослав Сергеевич\n",
      "Алдашева Рахима \n",
      "Попов Евгений Игоревич\n",
      "Мурзалы Диас Абылайулы\n",
      "Данилова Алёна \n",
      "52710\n",
      "Тажиев Алишер \n",
      "Мор Анна \n",
      "Саябекова Алия Зайлабидиновна\n",
      "Зудов Тимур Олегович\n",
      "ВКонтакте\n",
      "Прозоров Павел Павлович\n",
      "Степанов Станислав Игоревич\n",
      "Крутиков Дмитрий Олегович\n",
      "Джунусов Дамир Саматович\n",
      "Пантелеева Ольга Владимировна\n",
      "52720\n",
      "Белогубова Валерия Владимировна\n",
      "Манакова Алена Викторовна\n",
      "Астафьев Сергей Валерьевич\n",
      "Швайкова Анна Михайловна\n",
      "Аскараков Камзар Артемович\n",
      "Жандаров Алексей Евгеньевич\n",
      "Кыдатов Василий Робертович\n",
      "Першина Ирина Алексеевна\n",
      "Колпакова Анна Эдуардовна\n",
      "Май Иван Александрович\n",
      "52730\n",
      "Степкина Дарья Андреевна\n",
      "Титов Захар Константинович\n",
      "Локтионов Иван Александрович\n",
      "Цыбакова Екатерина Сергеевна\n",
      "Ксензова Мария Андреевна\n",
      "Кузнецова Надежда Александровна\n",
      "Стенечкина Кристина Игоревна\n",
      "Пирогова Анастасия Николаевна\n",
      "Цой Александр Андреевич\n",
      "Абдулин Андрей Александрович\n",
      "52740\n",
      "Кудряшова Алена Вячеславовна\n",
      "Полуянова Евгения Вячеславовна\n",
      "Грошик Андрей Михайлович\n",
      "Коптев Глеб Евгеньевич\n",
      "Пинегина Юлия Олеговна\n",
      "Остроумов Владимир Николаевич\n",
      "Катунин Дмитрий Александрович\n",
      "Никифоров Максим Александрович\n",
      "Вандышев Андрей Викторович\n",
      "Романченко Екатерина Александровна\n",
      "52750\n",
      "Саар Юлия Александровна\n",
      "Красильников Вячеслав Андреевич\n",
      "Хусанова Азиза Раббимовна\n",
      "Макиенко Дмитрий Сергеевич\n",
      "Куракова Полина Сергеевна\n",
      "Матюшина Дарья Александровна\n",
      "Воронецкий Вячеслав Сергеевич\n",
      "Громова Марина Александровна\n",
      "Мальцева Арина Александровна\n",
      "Зубарева Анастасия Константиновна\n",
      "52760\n",
      "Смирнов Василий Эдуардович\n",
      "Книсс Анна Юрьевна\n",
      "Буслова Ольга Александровна\n",
      "Желтяков Илья Дмитриевич\n",
      "Дамбаева Янжима Максимовна\n",
      "Сазонова Ксения Александровна\n",
      "Степанов Егор Викторович\n",
      "Каверина Наталья Александровна\n",
      "Замараев Иван Дмитриевич\n",
      "Банникова Валентина Евгеньевна\n",
      "52770\n",
      "Григорьева Алёна Владимировна\n",
      "ВКонтакте\n",
      "Вознесенская Варвара Сергеевна\n",
      "Котляров Александр Олегович\n",
      "Балабанов Николай Петрович\n",
      "Пергушева Елена Владимировна\n",
      "Островский Евгений Сергеевич\n",
      "Кондратьева Анна Сергеевна\n",
      "Шумилов Игорь Борисович\n",
      "Серкина Дарья Александровна\n",
      "52780\n",
      "Ситникова Елена Сергеевна\n",
      "Кожин Данила Игоревич\n",
      "Мониев Арсалан Баторович\n"
     ]
    }
   ],
   "source": [
    "base_url = 'https://accounts.tsu.ru/Profile/Index/'\n",
    "\n",
    "fullnames = []\n",
    "\n",
    "for i in range(52583, 52783): # Диапозон уменьшен в целях экономии времени\n",
    "    if not i % 10: # печатать прогресс каждые 100 запросов\n",
    "        print(i)\n",
    "    try: # Когда работаете со сторонними ресурсами / сетью, ВСЕГДА думайте об ошибках!\n",
    "        resp = requests.get(base_url + str(i)).text\n",
    "        fullname = re.search('alt=\"(.*)\"', resp).group(1)\n",
    "        fullnames.append(fullname)\n",
    "        print(fullname)\n",
    "    except:\n",
    "        pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "197"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(fullnames)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Используя асинхронное программирование и доступные любому ребенку впн и прокси, гигабайты таких данных можно собирать за считанные часы"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Автоматизация"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Чаще всего, веб-сайты используют какое-либо браузерное хранилище, для того чтобы хранить данные о текущей сессии пользователя (cookies, app storage etc.), поэтому для автоматизации часто нужно работать в пределах одной сессии"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [],
   "source": [
    "session = requests.Session()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<Response [200]>"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "session.get('http://92.63.70.135')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'session': 'eyJtb25leSI6MH0.XeuWPw.77Q58WwIT1eiD_Td1f2Jcrm88LA'}"
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dict(session.cookies)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [],
   "source": [
    "for i in range(1000):\n",
    "    session.post('http://92.63.70.135/click/')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Secret value is 42\n",
      "\n"
     ]
    }
   ],
   "source": [
    "resp = session.post('http://92.63.70.135/buy/')\n",
    "print(resp.text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Работа с API"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Токен можно получить по ссылке:\n",
    "\n",
    "https://oauth.vk.com/authorize?client_id=5440699&display=page&redirect_uri=vk.com/callback&response_type=token&v=5.80\n",
    "\n",
    "Токен - секретный ключ для вашего аккаунта. Его нужно передавать в большинстве методов VK API"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Запрос к VK API - GET или POST HTTP запрос вида:\n",
    "\n",
    "`https://api.vk.com/method/METHOD_NAME?PARAMETERS&access_token=ACCESS_TOKEN&v=5.80`\n",
    "\n",
    "Где ACCESS_TOKEN - ваш токен, METHOD_NAME - имя метода, PARAMETERS - его параметры, а v - версия VK API (можно оставить 5.80)\n",
    "\n",
    "Список методов и параметров можно посмотреть здесь - https://vk.com/dev/methods"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Внимание**\n",
    "\n",
    "Если вы запускаете этот ноутбук в jupyter hub, а не в своем локальном jupyter notebook, полученный таким образом токен нельзя будет использовать на удаленных серверах (таким является наш jupyter hub)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "token = ''\n",
    "\n",
    "resp = requests.post('https://api.vk.com/method/users.get', data={'user_ids': '1',\n",
    "                                                                  'access_token': token})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'error': {'error_code': 5, 'error_msg': 'User authorization failed: access_token was given to another ip address.', 'request_params': [{'key': 'method', 'value': 'users.get'}, {'key': 'oauth', 'value': '1'}, {'key': 'user_ids', 'value': '1'}]}}\n"
     ]
    }
   ],
   "source": [
    "print(resp.json())"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}