notebooks/10_Web_Scraping.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "10-Web Scraping",
      "provenance": [],
      "private_outputs": true,
      "authorship_tag": "ABX9TyPcM5UEQOHp6zSFAtjiGiLQ",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/CodeandoMexico/hacking-civico/blob/master/notebooks/10_Web_Scraping.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ygyUtn12KETN",
        "colab_type": "text"
      },
      "source": [
        "<p align=\"center\">\n",
        "<img src=\"http://codeandomexico.org/resources/img/codeandomexico.png\" width=\"500\" alt=\"Codeando México\"><br>\n",
        "<a href=\"http://www.codeandomexico.org/\" target=\"_blank\"><img src=\"https://img.shields.io/badge/website-CodeandoMexico-00D88E.svg\"></a>\n",
        "<a href=\"http://slack.codeandomexico.org/\" target=\"_blank\"><img src=\"https://img.shields.io/badge/slack-CodeandoMexico-EC0E4F.svg\"></a>\n",
        "</p>\n",
        "<!-- __ -->\n",
        "\n",
        "# Curso de Datos Abiertos y Hacking Cívico\n",
        "\n",
        "Este curso tiene como objetivo habilitar las capacidades de la ciudadanía y los servidores públicos en el uso y generación de datos abiertos para el bien común. Puedes encontrar más información [aquí](https://github.com/CodeandoMexico/hacking-civico)."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vB5tJ2kYKJAT",
        "colab_type": "text"
      },
      "source": [
        "## Petición de info\n",
        "\n",
        "Primero procederemos a escoger el sitio web del que extraeremos información. Para ello, realizaremos una petición de información con el paquete `requests` en Python.\n",
        "\n",
        "Importamos el paquete:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "5T4EBAfq9ayj",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import requests"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hUCMjSq_Kd6M",
        "colab_type": "text"
      },
      "source": [
        "Mandamos la petición HTTP:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "iqX6Jo5zKcVY",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "url = \"https://coronavirus.bcs.gob.mx/casos-covid-19/\"\n",
        "sitio = requests.get(url)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "nwSLnOcvKlGd",
        "colab_type": "text"
      },
      "source": [
        "Y podemos observar que carga todo el contenido del sitio."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LcYdsZzgENuJ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "sitio.content"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "lRexSTDiKrtI",
        "colab_type": "text"
      },
      "source": [
        "Sin embargo, notaremos que todo el contenido ha sido descargado y se despliega como una línea (cadena) de texto. Haremos uso del paquete `bs4` para cargar la información en un formato legible."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WTfD4i0rLTaV",
        "colab_type": "text"
      },
      "source": [
        "## Creando una sopa de letras\n",
        "\n",
        "Importaremos el paquete `bs4` para dar formato a la información extraída y con ello poder buscar elementos específicos."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "b19urYqCERs5",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from bs4 import BeautifulSoup\n",
        "\n",
        "\n",
        "sopa = BeautifulSoup(sitio.content, 'html.parser')"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WrDpMw4FLlAK",
        "colab_type": "text"
      },
      "source": [
        "Imprimamos la información en un formato como aparece en el navegador."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ya6ip11dEY2x",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(sopa.prettify())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hUZhDlCbLz8w",
        "colab_type": "text"
      },
      "source": [
        "Ahora procederemos a extraer los primeros elementos de información, los contadores.\n",
        "\n",
        "Nos apoyaremos de dos funciones para buscar información:\n",
        "\n",
        "- `find`\n",
        "- `find_all`"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "aVJGCCAHEbdc",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "titulos_ = sopa.find_all('', class_='') # <div class=\"elementor-counter-title\">\n",
        "nums_ = sopa.find_all('', class_='') # <span class=\"elementor-counter-number\">"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "r9Xg_RM8FUdz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(titulos_)\n",
        "print(nums_)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vzwhOLW4MVEF",
        "colab_type": "text"
      },
      "source": [
        "Necesitamos procesar los elementos de la información extraída, para ello, bs4 cuenta con la función `get_text()`."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "4nrMe589FVNr",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "titulos = ???\n",
        "nums = ???"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "eGjQTmiVQLI-",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(titulos)\n",
        "print(nums)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "whanxwbhMh6r",
        "colab_type": "text"
      },
      "source": [
        "Notemos que hay espacioes intermedios, así que podemos hacer un poco de procesamiento con `re`."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "eHOmkf5eJ08v",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import re\n",
        "\n",
        "\n",
        "titulos = [re.sub(' ', '', titulo) for titulo in titulos]"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gA9hosG0IfhY",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(titulos)\n",
        "print(nums)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "cBnjvHb2MrCJ",
        "colab_type": "text"
      },
      "source": [
        "Podemos crear una lista de tuplas:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "4bjcpituIhPU",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "list(zip(titulos, nums))"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pEtG5xXcNCfR",
        "colab_type": "text"
      },
      "source": [
        "**¡Felicidades!**\n",
        "\n",
        "Acabas de dar tus primeros pasos extrayendo un conjunto muy pequeño de datos.\n",
        "\n",
        "Pero piensa lo siguiente: este simple proceso puede ser empaquetado y podrías desplegar un scraper en la nube que esté conectado con un bot para estarte dando los números de manera automatizada, digamos, vía SMS.\n",
        "\n",
        "\n",
        "**Ahora procederemos a la extracción de elementos más complejos, como una tabla.**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Vqx1awWMIqpz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "tabla = sopa.find('', class_='') # <table class=\"jet-table\">\n",
        "tabla"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "okUxKkJfOH4f",
        "colab_type": "text"
      },
      "source": [
        "De la tabla que hemos encontrado, podemos extraer dos elementos principales:\n",
        "\n",
        "- La cabecera - Contiene los nombres de las columnas\n",
        "- El cuerpo - Contiene los datos/renglones a extraer\n",
        "\n",
        "Del código extraemos el renglón de cabecera:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nTXFELdHMFwp",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "t_cabecera = tabla.find('') # <thead>\n",
        "t_cabecera"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UJTraFS7MMyE",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "cols = t_cabecera.find_all('', class_='') # <div class=\"jet-table__cell-text\">\n",
        "col_nombres = [elem.get_text() for elem in cols]\n",
        "col_nombres"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_ZIvjGa6PNXT",
        "colab_type": "text"
      },
      "source": [
        "Hacemos exactamente lo mismo con el cuerpo:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ut8M5UbcMzX8",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "t_cuerpo = tabla.find('') # <tbody>\n",
        "t_cuerpo"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bIEXjvIZO62C",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "filas = t_cuerpo.find_all('', class_='') # <div class=\"jet-table__cell-text\">\n",
        "datos = [elem.get_text() for elem in filas]\n",
        "datos"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "0QtLCLL9QzDQ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "datos, col_nombres"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "i9k8Q5rdQ0Z-",
        "colab_type": "text"
      },
      "source": [
        "Nos damos cuenta de que los renglones no se encuentran en el mejor formato, así que podemos proceder a darles una mejor estructura.\n",
        "\n",
        "Como la cantidad de elementos por renglon depende de la longitud de columnas, utilizaremos esa info para construir una tabla:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cF9TtlGYRKFD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "n_cols = len(col_nombres)\n",
        "n_rengs = len(datos) // n_cols\n",
        "\n",
        "print(n_cols, n_rengs)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "g8al-tpHRt-D",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "t_ = []\n",
        "\n",
        "for i in range(n_rengs):\n",
        "    t_.append(datos[i * 4:i * 4 + 4])"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "QN2gz9qCSjwS",
        "colab_type": "text"
      },
      "source": [
        "Verificamos:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "rKb77HcWSlir",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "t_"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XWtkMTYBPZyZ",
        "colab_type": "text"
      },
      "source": [
        "Y con los datos extraídos, podemos crear un DataFrame utilizando Pandas, como ya conocemos."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UDWUJj3lPxV4",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import pandas as pd\n",
        "\n",
        "\n",
        "tabla_datos = pd.DataFrame(t_, columns=col_nombres)\n",
        "tabla_datos"
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}