Seminars/11-webdev-intro/11-web-intro.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# `Практикум по программированию на языке Python`\n",
    "<br>\n",
    "\n",
    "## `Занятие 11: Основы Web-разработки`\n",
    "<br><br>\n",
    "\n",
    "### `Роман Ищенко (roman.ischenko@gmail.com)`\n",
    "\n",
    "#### `Москва, 2023`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import warnings\n",
    "warnings.filterwarnings('ignore')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `HTTP`\n",
    "\n",
    "HTTP (HyperText Transfer Protocol) — это протокол, позволяющий получать различные ресурсы. Изначально, как следует из названия — для документов, но сейчас уже для передачи произвольных данных. Лежит в основе обмена данными в Web.\n",
    "\n",
    "Это протокол клиент-серверного взаимодействия, что означает инициирование запросов к сереверу самим получателем. Итоговый документ может состоять из различных частей: текст, аудио/видео файлов, скриптов. Взаимодействие осущетвляется посредством обмена одиночными сообщенимями: запрос-ответ.\n",
    "\n",
    "HTTP является протоколом прикладного уровня, который в качестве транспорта использует возможности другого протокола — TCP. Основное требование к транспортному протоколу — надёжность, то есть, гарантированная доставка сообщений. По этой причине не подходит другой распространённый протокол — UDP, который не гарантирует доставку сообщений.\n",
    "\n",
    "#### Преимущества\n",
    "- Прост и человекочитаем\n",
    "- Расширяем\n",
    "- Не имеет состояния (каждый запрос — в отрыве от остальных), следовательно, базово простой\n",
    "\n",
    "#### Расширения\n",
    "- Кэш — сервер может инструктировать клиента/прокси о том, что и как надолго можно кэшировать\n",
    "- Ослабления ограничения источника — инструкции клиенту о том, что на загружаемой странице может содержаться информация с других доменов\n",
    "- Аутентификация — для доступа к защищённой информации\n",
    "- Прокси и туннелирование — сокрытие источника или получателя информации, кэширование для уменьшения нагрузки\n",
    "- Сессии — расширение для сохранения состояния взаимодействия. Несколько механизмов, самый известный — cookies"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### HTML\n",
    "\n",
    "Первая версия содержала пару десятков тэгов (разметка текста, списки, изображения и гиперссылки).\n",
    "\n",
    "На текущий момент уже 5-я версия. От попыток создать глобальный стандарт отказались, потому что всё ещё динамично развивающаяся область. По сути — дополняемый набор мини-стандартов. Три составляющие веба: HTML5 (язык разметки документов), CSS3 (каскадные таблицы стилей) и JavaScript (язык сценариев)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Состав запроса`\n",
    "\n",
    "- HTTP-метод: GET, POST, OPTIONS и т. д., определяющее операцию, которую клиент хочет выполнить\n",
    "- Путь к ресурсу\n",
    "- Версию HTTP-протокола\n",
    "- Заголовки  (опционально)\n",
    "- Тело (для некоторых методов, таких как POST)\n",
    "\n",
    "\n",
    "```\n",
    "GET / HTTP/1.1\n",
    "Host: ya.ru\n",
    "User-Agent: Python script\n",
    "Accept: */*\n",
    "\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Состав ответа`\n",
    "\n",
    "- Версию HTTP-протокола\n",
    "- HTTP код состояния, сообщающий об успешности запроса или причине неудачи\n",
    "- Сообщение состояния -- краткое описание кода состояния\n",
    "- HTTP заголовки\n",
    "- Опционально: тело, содержащее пересылаемый ресурс\n",
    "\n",
    "\n",
    "```\n",
    "HTTP/1.1 200 Ok\n",
    "Cache-Control: no-cache,no-store,max-age=0,must-revalidate\n",
    "Content-Length: 59978\n",
    "Content-Type: text/html; charset=UTF-8\n",
    "Date: Thu, 29 Apr 2021 03:48:39 GMT\n",
    "Set-Cookie: yp=1622260119.ygu.1; Expires=Sun, 27-Apr-2031 03:48:39 GMT; Domain=.ya.ru; Path=/\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Типы запросов`\n",
    "\n",
    "Типы запросов в какой-то степени просто договорённость о семантике. Никто не мешает пользоваться только одним типом. Но глобально типы призваны определить что именно требуется при обращении к одному и тому же ресурсу. Каждый конкретный ресурс может поддерживать только часть методов.\n",
    "\n",
    "- GET — запрашивает представление ресурса. Запросы с использованием этого метода могут только извлекать данные\n",
    "- HEAD — запрашивает ресурс так же, как и метод GET, но без тела ответа\n",
    "- POST — используется для отправки сущностей к определённому ресурсу. Часто вызывает изменение состояния или какие-то побочные эффекты на сервере\n",
    "- PUT — заменяет все текущие представления ресурса данными запроса\n",
    "- DELETE — удаляет указанный ресурс\n",
    "- CONNECT — устанавливает \"туннель\" к серверу, определённому по ресурсу\n",
    "- OPTIONS — используется для описания параметров соединения с ресурсом\n",
    "- TRACE — выполняет вызов возвращаемого тестового сообщения с ресурса (например, для отладки)\n",
    "- PATCH — используется для частичного изменения ресурса"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Заголовки`\n",
    "\n",
    "- Authentication (WWW/Proxy-Authenticate, Authorization, Proxy-Authorization)\n",
    "- Caching (Cache-control, Age, Expires)\n",
    "- Client hints\n",
    "- Conditionals\n",
    "- Connection management (Connection, Keep-Alive)\n",
    "- Cookies\n",
    "- Message body information (Content-Length, Content-Type, Content-Encoding)\n",
    "- Request context (Host, Referer, User-Agent)\n",
    "- Response context\n",
    "- Security (Referrer-Policy)\n",
    "- WebSockets\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Коды`\n",
    "\n",
    "- Информационные (100 - 199)\n",
    "- Успешные (200 - 299)\n",
    "- Перенаправления (300 - 399)\n",
    "- Клиентские ошибки (400 - 499)\n",
    "- Серверные ошибки (500 - 599)\n",
    "\n",
    "```\n",
    "200 OK\n",
    "302 Found\n",
    "400 Bad Request\n",
    "401 Unauthorized\n",
    "404 Not Found\n",
    "500 Internal Server Error\n",
    "503 Service Unavailable\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `HTTPS`\n",
    "\n",
    "- HTTPS не является отдельным протоколом передачи данных, а представляет собой расширение протокола HTTP с надстройкой шифрования\n",
    "- передаваемые по протоколу HTTP данные не защищены, HTTPS обеспечивает конфиденциальность информации путем ее шифрования\n",
    "- HTTP использует порт 80, HTTPS — порт 443\n",
    "\n",
    "#### Сетевое обеспечение защищённого протокола\n",
    "\n",
    "SSL — Secure Sockets Layer: \"надстройка\" на несколькими слоями сетевой модели\n",
    "\n",
    "TLS — Transport Layer Security: развитие SSL\n",
    "\n",
    "Обеспечивают шифрование и поддержку сертификатов\n",
    "\n",
    "Принцип работы:\n",
    "- С помощью ассиметричного шифрования устанавливается ключ соединения и передаётся сессионный ключ\n",
    "- Всё дальнейшее общение шифруется уже сессионным ключом\n",
    "\n",
    "#### Асимметричное шифрование\n",
    "\n",
    "Называется так, потому что передающая сторона может только зашифровать (но не расшифровать) данные.\n",
    "\n",
    "Асимметричный ключ — ключ, имеющий две составляющие: публичную и частную (закрытую). Публичный ключ доступен любому. Частный (закрытый) известен только владельцу. Если браузер хочет отправить сообщение, то он находит публичный ключ сервера, шифрует сообщение и отправляет на сервер. Далее сервер расшифровывает полученное сообщение с помощью своего частного ключа. Чтобы ответить пользователю, сервер делает те же самые действия: поиск публичного ключа собеседника, шифрование, отправка\n",
    "\n",
    "Следовательно, для двустороннего общения требуется 2 пары ключей.\n",
    "\n",
    "Алгоритмы ассиметричного шифрования более ресурсоёмкие, поэтому обычно только первичная установка соединения производится с его помощью, далее стороны договариваются о симметричном сессионном ключе и дальшейшее общение ведётся с помощью симметричного шифрованиия\n",
    "\n",
    "#### Симметричное шифрование\n",
    "\n",
    "В этом случае у обеих сторон есть один ключ, с помощью которого они и передают данные. Основная проблема — как договориться об этом ключе, чтобы знали только две стороны. И один из способов (не единственный) — с помощью ассиметричных алгоритмов"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Python Web-clients`\n",
    "\n",
    "Стандартная библиотека `urllib`\n",
    "\n",
    "Реализует все необходимые методы и примитивы, но требует много вспомогательной работы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "import json\n",
    "import urllib.request\n",
    "ur = urllib.request.urlopen('https://postman-echo.com/get?foo=bar&foo1=bar1')\n",
    "print(ur.code)\n",
    "content = json.loads(ur.read())\n",
    "print(json.dumps(content, indent=4, sort_keys=True))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "from urllib import request, parse\n",
    "data = parse.urlencode({ 'foo': 'bar' })\n",
    "data = data.encode()\n",
    "req = request.Request('https://postman-echo.com/post', method=\"POST\", data=data)\n",
    "ur = request.urlopen(req)\n",
    "print(ur.code)\n",
    "# print(ur.read())\n",
    "content = json.loads(ur.read())\n",
    "print(json.dumps(content, indent=4, sort_keys=True))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Библиотека `requests`\n",
    "\n",
    "Инкапсулирует значительную часть вспомогательной обработки, позволяя сосредоточиться непосредственно на логике\n",
    "\n",
    "Установка:\n",
    "`pipenv install requests`\n",
    "\n",
    "Запрос GET"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "\n",
    "r = requests.get('https://postman-echo.com/get', params={'foo': 'bar'}, headers={'user-agent': 'Python Script'})\n",
    "print(r.status_code)\n",
    "content = json.loads(r.content)\n",
    "print(json.dumps(content, indent=4, sort_keys=True))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Запрос POST"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "\n",
    "r = requests.post('https://postman-echo.com/post', json={'foo': 'bar'},headers = {'user-agent': 'Python Script', 'referer': 'google.com'})\n",
    "print(r.status_code)\n",
    "content = json.loads(r.content)\n",
    "print(json.dumps(content, indent=4, sort_keys=True))"
   ]
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "654ac8a58a760a97f65542d0ae1be60444a9fa4569979b0f4ebe92c522c95f47"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}