exercises/UebungDatenAnalyse.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "authorship_tag": "ABX9TyMaWrvbAlIMyAsle210afvg",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/redadmiral/python-for-journalists/blob/main/exercises/UebungDatenAnalyse.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Übung Datenanalyse Python\n",
        "\n",
        "1. Lade den Datensatz der Stadt Zürich mit Hundenamen, indem du der read_csv() Funktion die URL https://data.stadt-zuerich.ch/dataset/sid_stapo_hundenamen_od1002/download/KUL100OD1002.csvübergibst. Speichere sie in der Variable dognames."
      ],
      "metadata": {
        "id": "iO1o9QlsB1cY"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "hBKLwyUEBm-o"
      },
      "outputs": [],
      "source": [
        "import pandas as pd\n"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "assert dognames.size == 445739"
      ],
      "metadata": {
        "id": "5jDwAllIB0EN"
      },
      "execution_count": 2,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "2. Wie auch im großen Datensatz aus dem Video sind die Hunde in diesem Datensatz über mehrere Jahre geführt. Schlüssele den Datensatz nach Jahren auf, indem du mit der `group_by`-Methode auf die Spalte `StichtagDatJahr` gruppierst.\n",
        "\n",
        "Benutze noch keine aggregationsfunktion (wie `count` oder `sum`) und speichere das Ergebnis in die Variable `dognames_by_year`."
      ],
      "metadata": {
        "id": "gsesgehVCC0x"
      }
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "2fZis_Q7CCp2"
      },
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "assert dognames_by_year[\"GebDatHundJahr\"].sum()[2015] == 12640309\n",
        "assert dognames_by_year.size().sum() == 63677"
      ],
      "metadata": {
        "id": "ZDNfdVhyDD-r"
      },
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "3. Rufe jetzt die Aggregationsfunktion `count` auf `dognames_by_year` auf. "
      ],
      "metadata": {
        "id": "uX8dukP4DR4M"
      }
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "U88WS-boDrj6"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "3.1 Interpretiere das Ergebnis. Welche Informationen kannst du aus der entstandenen Tabelle lesen? Warum sind die Zahlen in jeder Zeile gleich?"
      ],
      "metadata": {
        "id": "eJ5dlrTbDvlo"
      }
    },
    {
      "cell_type": "markdown",
      "source": [],
      "metadata": {
        "id": "S1WAEFnkPGvV"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "4. Wir wollen uns nun ansehen, welcher Hundename in welchem Jahr der beliebteste war. \n",
        "\n",
        "4.1 Dafür gruppierst du die Tabelle `dognames` dieses Mal auf zwei Spalten: `StichtagDatJahr` und `HundenameText`. Rufe auf der gruppierten Tabelle direkt die `count`-Methode auf und speichere sie in die Variable `dognames_year_name`.\n",
        "Was siehst du in der Tabelle?"
      ],
      "metadata": {
        "id": "wcvAl5VZPHql"
      }
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "09wCZxRrDvHQ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [],
      "metadata": {
        "id": "7MqW95hP1Hms"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "assert dognames_year_name.size == 217480\n",
        "assert type(dognames_year_name.index) == pd.core.indexes.multi.MultiIndex\n",
        "assert dognames_year_name.index[0][0] == 2015"
      ],
      "metadata": {
        "id": "LIUghZwoyYJx"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "4.2 Der Übersicht halber benennen wir eine beliebige Spalte in `count` um und löschen die anderen mit der `.drop`-Methode. Übergib die Spaltennamen die du löschen möchtest als Argument an den `columns`-Parameter der `drop`-Methode."
      ],
      "metadata": {
        "id": "E6T9HKSa088p"
      }
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "aUFPR4eQ2CoK"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "assert dognames_year_name.size == 43496\n",
        "assert dognames_year_name.columns.size == 1"
      ],
      "metadata": {
        "id": "lVPYjsgX2c5F"
      },
      "execution_count": 40,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "4.3 Gruppiere die Tabelle erneut, diesesmal auf die `StichtagDatJahr`-Spalte und wende die `nlargest`-Methode auf die Gruppierung an. Setze den `group_keys`-Parameter auf `False`. Lass dir die Top 3 Namen für jedes Jahr ausgeben. Speicher das Ergebnis in der Variable `top_dognames`. \n",
        "\n",
        "4.3.1 Welche Funktion würdest du verwenden wenn du die seltensten Namen für jedes Jahr erfahren möchtest?\n",
        "4.3.2 Was macht der `group_keys`-Parameter?"
      ],
      "metadata": {
        "id": "qFo8rtge2uQN"
      }
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "3PZlmquTvm2U"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "assert top_dognames[2015][2] == 15"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "f1aW4JaR488T",
        "outputId": "1c727857-ccda-4764-87a5-e0964816731c"
      },
      "execution_count": 45,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "15"
            ]
          },
          "metadata": {},
          "execution_count": 45
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "5. In der nächste Zelle findest du einen DataFrame mit den (erfundenen) beliebtesten Katzennamen. Außerdem setzen wir den Index von top_dognames zurück. Wie verändert sich die gruppierte Tabelle, wenn der Index zurückgesetzt wird?"
      ],
      "metadata": {
        "id": "1KV9x4Z25Wrx"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "catnames = pd.DataFrame({\n",
        "    \"KatzennameText\": [\"Felix\", \"Mauzi\", \"Klaus\", \"Felix\", \"Stupsi\", \"Mauzi\", \"Schnurri\", \"Stupsi\", \"Mauzi\"],\n",
        "    \"StichtagDatJahr\": [2015,2015,2015,2016,2016,2016,2017,2017,2017],\n",
        "    \"count\": [25, 21, 20, 24, 21, 19, 22, 21, 14]\n",
        "})\n",
        "\n",
        "top_dognames = top_dognames.reset_index()"
      ],
      "metadata": {
        "id": "973Ocxfc5aMS"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [],
      "metadata": {
        "id": "ZepsRJO_9EVX"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "5.1 Benutze die `pd.concat`-Funktion um die beiden DataFrames zu verbinden. Übergib der Funktion die beiden DataFrames als Liste und stelle den `axis`-Parameter auf 1. Speichere die Tabelle in die Variable `cat_dog_names`.\n",
        "\n",
        "5.1.1 Was steuert der `axis`-Parameter?\n",
        "5.1.2 Warum passen in der entstandenen Tabelle die Jahreszahlen und die Sortierung der Katzen- und Hundenamen zusammen?"
      ],
      "metadata": {
        "id": "SJUwk2l49EX0"
      }
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "55GulqN_8FuD"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "assert cat_dog_names.isna().sum().sum() == 54\n",
        "assert cat_dog_names.KatzennameText[1] == \"Mauzi\"\n",
        "assert cat_dog_names.HundenameText[1] == \"Luna\""
      ],
      "metadata": {
        "id": "JGU0nOC7BEnv"
      },
      "execution_count": 85,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [],
      "metadata": {
        "id": "_5-NkYhD_9Ob"
      }
    }
  ]
}