07_uebung_allgemein.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_Lizenz: Das folgende Lehrmaterial kann unter einer [CC-BY-SA 4.0](https://creativecommons.org/licenses/by/4.0/legalcode) Lizenz frei verwendet, verbreitet und modifiziert werden._   \n",
    " _Authoren: Jana Lasser (jana.lasser@ds.mpg.de)_  \n",
    " _Das Lehrmaterial wurde im Zuge des Projektes \"Daten Lesen Lernen\", gefördert vom Stifterverband und der Heinz Nixdorf Stiftung erstellt._"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Übung 07 - Allgemein: Hashtags\n",
    "### Praktische Hinweise\n",
    "$\\rightarrow$ Übungen sind dafür gedacht, dass ihr sie euch daheim anseht und versucht, ein paar Aufgaben selbst zu lösen. In den Tutorien könnt ihr euch weiter mit dem Lösungen der Aufgaben beschäftigen und dabei Hilfe von den Tutor*innen bekommen.  \n",
    "\n",
    "$\\rightarrow$ Wenn ein Fehler auftritt:\n",
    "1. Fehlermeldung _lesen_ und _verstehen_\n",
    "2. Versuchen, selbst eine Lösung zu finden ($\\rightarrow$ hier findet das Lernen statt!)\n",
    "3. Das Problem googlen (Stichwort: Stackoverflow) oder den/die Nachbar*in fragen\n",
    "4. Tutor*in fragen\n",
    "\n",
    "$\\rightarrow$ Unter <font color='green'>**HINWEIS**</font> werden Hinweise gegeben, die für die Lösung der Aufgabe hilfreich sind und oftmals auch weiterführende Informationen zur Aufgabe liefern.\n",
    "\n",
    "$\\rightarrow$ Mit **(Optional)** gekennzeichnete Übungsteile sind für besonders schnelle Menschen :-)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"top\"></a>Inhalt\n",
    "---\n",
    "Im folgenden Tutorial wollen wir etwas mehr über das Twitter-Verhalten der verschiedenen user-Gruppen herausfinden. Wieviele Hashtags und Links benutzen sie? Wie lang sind die Worte, die sie benutzen? \n",
    "Das Tutorial gliedert sich in\n",
    "* [Mittelwert, Median und Standardabweichung](#mittelwert_und_median)\n",
    "* [Hashtags](#hashtags)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"mittelwert_und_median\"></a>1. Mittelwert, Median und Standardabweichung\n",
    "---\n",
    "Zur Vorbereitung laden wir wieder die Datensätze, die wir gespeichert haben. Da insbesondere der Datensatz der normalen User so groß ist (192 MB), dass er unserer IT-Infrastruktur Probleme bereitet, haben wir zwei neue Versionen des normalen- und Troll-user Datensatzes bereitgestellt, die nur eine Untermenge der verfügbaren Tweets enthalten. Die Tweets in den neuen Versionen haben wir zufällig aus dem ganzen Datensatz gezogen. Falls dich interessiert, wie das gemacht wird, kannst du die Vorgehensweise im (ebenfalls im StudIP hochgeladenen) Notebook ```data_subsampling.ipynb``` nachsehen.\n",
    "\n",
    "**A.** lade die zwei Datensätze ```tweets_normal_subset.csv``` und ```tweets_trump_subset.csv``` aus dem StudIP herunter und in den JupyteHub hoch. Wir laden die Tabellen wieder in ```pandas``` DataFrames:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# importiere die Bibliothek Pandas mit dem Kürzel \"pd\"\n",
    "import pandas as pd\n",
    "\n",
    "tweets_trump = pd.read_csv('tweets_trump.csv')\n",
    "tweets_troll = pd.read_csv('tweets_troll_subset.csv')\n",
    "tweets_normal = pd.read_csv('tweets_normal_subset.csv', encoding='ISO-8859-1')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>Unnamed: 0.1</th>\n",
       "      <th>Date</th>\n",
       "      <th>User</th>\n",
       "      <th>Tweet</th>\n",
       "      <th>Language</th>\n",
       "      <th>Follower</th>\n",
       "      <th>Following</th>\n",
       "      <th>tweet_length</th>\n",
       "      <th>word_number</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>7</td>\n",
       "      <td>7</td>\n",
       "      <td>10/1/2017 2:52</td>\n",
       "      <td>10_GOP</td>\n",
       "      <td>'@SenatorMenendez @CarmenYulinCruz Doesn't mat...</td>\n",
       "      <td>English</td>\n",
       "      <td>9644</td>\n",
       "      <td>1050</td>\n",
       "      <td>141</td>\n",
       "      <td>20</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>64</td>\n",
       "      <td>64</td>\n",
       "      <td>10/14/2017 2:49</td>\n",
       "      <td>10_GOP</td>\n",
       "      <td>Liberal's are the most hate filled, racist, hy...</td>\n",
       "      <td>English</td>\n",
       "      <td>10458</td>\n",
       "      <td>1074</td>\n",
       "      <td>168</td>\n",
       "      <td>22</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>476</td>\n",
       "      <td>476</td>\n",
       "      <td>3/10/2017 10:56</td>\n",
       "      <td>1LORENAFAVA1</td>\n",
       "      <td>Peggio di #linkedin che non funziona c'è chi d...</td>\n",
       "      <td>Italian</td>\n",
       "      <td>58</td>\n",
       "      <td>416</td>\n",
       "      <td>128</td>\n",
       "      <td>16</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>543</td>\n",
       "      <td>543</td>\n",
       "      <td>3/11/2017 16:16</td>\n",
       "      <td>1LORENAFAVA1</td>\n",
       "      <td>Se pensate che la clitoride sia solo quel picc...</td>\n",
       "      <td>Italian</td>\n",
       "      <td>67</td>\n",
       "      <td>415</td>\n",
       "      <td>132</td>\n",
       "      <td>19</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>731</td>\n",
       "      <td>731</td>\n",
       "      <td>3/15/2017 10:44</td>\n",
       "      <td>1LORENAFAVA1</td>\n",
       "      <td>#Video 'Questione di Karma': Elio #Germano e F...</td>\n",
       "      <td>Italian</td>\n",
       "      <td>80</td>\n",
       "      <td>412</td>\n",
       "      <td>163</td>\n",
       "      <td>19</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Unnamed: 0  Unnamed: 0.1             Date          User  \\\n",
       "0           7             7   10/1/2017 2:52        10_GOP   \n",
       "1          64            64  10/14/2017 2:49        10_GOP   \n",
       "2         476           476  3/10/2017 10:56  1LORENAFAVA1   \n",
       "3         543           543  3/11/2017 16:16  1LORENAFAVA1   \n",
       "4         731           731  3/15/2017 10:44  1LORENAFAVA1   \n",
       "\n",
       "                                               Tweet Language  Follower  \\\n",
       "0  '@SenatorMenendez @CarmenYulinCruz Doesn't mat...  English      9644   \n",
       "1  Liberal's are the most hate filled, racist, hy...  English     10458   \n",
       "2  Peggio di #linkedin che non funziona c'è chi d...  Italian        58   \n",
       "3  Se pensate che la clitoride sia solo quel picc...  Italian        67   \n",
       "4  #Video 'Questione di Karma': Elio #Germano e F...  Italian        80   \n",
       "\n",
       "   Following  tweet_length  word_number  \n",
       "0       1050           141           20  \n",
       "1       1074           168           22  \n",
       "2        416           128           16  \n",
       "3        415           132           19  \n",
       "4        412           163           19  "
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tweets_troll.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Mit Hilfe von einfachen statistischen Maßen wie Mittelwert und Median lässt sich schnell ein Überblick über die in einem Datensatz enthaltene Information gewinnen:  \n",
    "\n",
    "**B.** Berechne Mittelwert, Median und Standardabweichung der Wortanzahl der Tweets der verschiedenen Datensätze.  \n",
    "\n",
    "**C.** Was bedeutet die Standardabweichung in diesem Kontext? Wie interpretierst du die Ergebnisse?  \n",
    "\n",
    "**D.** Um die Robustheit von Mittelwert und Median zu testen, setze den Wert für die Tweet-Länge in der ersten Zeile des DataFrames der Trump-Tweets auf $10^6$ (eine Million). Wie verhält sich der Mittelwert und wie der Median? Wie die Standardabweichung? <font color='green'>**HINWEIS:** Du solltest für diese Aufgabe eine Kopie des DataFrames (siehe ```df.copy()```-[Funktion](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.copy.html) erstellen, da es gute Praxis ist, keine Originaldaten zu manipulieren sondern Kopien zu erstellen, wenn Originaldaten verändert werden sollen. </font>  \n",
    "\n",
    "**E. (optional)** Wie kannst du dir mit Hilfe einer Visualisierung schnell Überblick über die Werte in einem Datensatz erhalten und \"Außreißer, wie der den wir in Aufgabe **D.** eingefügt haben identifizieren?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a name=\"Hashtags\"></a>2. Hashtags\n",
    "---\n",
    "Für den folgenden Aufgabenteil schreiben wir uns eine kleine Funktion, die herausfindet, ob ein Wort ein Hashtag ist oder nicht."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def isHashTag(word):\n",
    "    if '#' in word:\n",
    "        return True\n",
    "    return False"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**A.** Versuche zu verstehen, was die Funktion ```isHashTag()``` tut und füge Kommentare, die die Funktion erklären in die obenstehende Code-Zelle, in der die Funktion definiert wird, ein. Teste die Funktionsweise der Funktion anhand einiger Worte (Strings). \n",
    "\n",
    "**B.** Der Datensatz mit den Troll-Tweets enthält auch andere Sprachen als Englisch. Für die folgende Analyse ist es wichtig, dass wir nur die Englischen Tweets betrachten, da andere Sprachen die Ergebnisse verzerren würden. Deswegen: filtere denn Troll-Datensatz so, dass nur die Englischen Tweets übrig bleiben. <font color='green'>**HINWEIS:** Du kannst dafür die in der Spalte ```Language``` enthaltene Information verwenden. </font>.\n",
    "\n",
    "**C.** Für jeden der drei Datensätze: iteriere über alle Tweets, zerteile jeden Tweet in eine Liste von Worten. Finde in dieser Liste die Hashtags. Speichere sowohl die Anzahl der Hashtags pro Tweet als auch die einzelnen Hashtags in einer (separaten) Liste.  Füge die Anzahl der Hashtags als neue Spalte ```number_hashtags``` zu den jeweiligen DataFrames hinzu. Speichere die DataFrames am Ende der Aufgabe ab. <font color='green'>**HINWEIS:** Wenn du eine existierende Liste um eine Teil-Liste erweitern möchtest, kannst du die Funktion ```existierende_liste.extend(teil_liste)``` verwenden. </font>. Für einen einzelnen Tweet funktioniert die oben beschriebene Vorgehensweise wie folgt:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['#JobOpportunity:', '#Forschung', '#Entwickung', '#Paulinerkirche']\n",
      "number of hashtags: 4\n"
     ]
    }
   ],
   "source": [
    "sample_tweet = '#JobOpportunity: als Studi bei uns an der @subugoe in der Abt. #Forschung & #Entwickung in der #Paulinerkirche mitarbeiten. Reguläres HiWi-Entgelt.  Aufgaben von Büro bis Veranstaltungen. Alle Deine Skills sind interessant für uns; außer Kaffeekochen, das macht die Maschine'\n",
    "words = sample_tweet.split(' ')\n",
    "hashtags = [word for word in words if isHashTag(word)]\n",
    "number_hashtags = len(hashtags)\n",
    "print(hashtags)\n",
    "print('number of hashtags: {}'.format(number_hashtags))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**D.** Was ist die mittlere Anzahl an verwendeten Hashtags pro Tweet für die drei Datensätze? Was die Standardabweichung? Unterscheiden sich die drei User (Gruppen) stark? Kannst du dir das erklären?\n",
    "\n",
    "**E.** Erstelle für jeden der drei Datensätze ein neues DataFrame, das die Hashtags und ihre Länge (Zeichenanzahl) enthält. Spreichere die DataFrames lokal ab.\n",
    "\n",
    "**F.** Wieviele verschiedene Hashtags benutzen Trump, die Trolle und die normalen User jeweils? <font color='green'>**HINWEIS:** Die Funktion ```df['spalte'].unique()``` hilft hier!</font>\n",
    "\n",
    "**G. (optional)** Visualisiere die Verteilung der Hashtag-Längen der drei Datensätze in einem Histogramm. Unterscheiden sie sich? Lass dir alle Hashtags mit einer Länge größer 30 Zeichen aus dem Trump-Datensatz anzeigen.\n",
    "\n",
    "**H. (optional)** Suche in den Tweets nach der Anzahl der Links. <font color='green'>**HINWEIS:** mit der Funktion ```str.count()``` eines Strings kannst du die Anzahl der Vorkommnise eines Teil-Strings zählen (siehe die [Dokumentation](https://docs.python.org/2/library/string.html) von ```string.count()```. Du kannst die Aufgabe auch z.B. mit Hilfe einer Funktion wie ```isHashTag()``` wie oben beschrieben lösen.</font> Füge allen drei DataFrames eine weitere Spalte mit der Anzahl an Links je Tweet hinzu. Wieviele Links je Tweet posten Trump, die Trolle und die normalen User durchschnittlich?   \n",
    "\n",
    "**I. (optional)** Entferne alle Links aus den Tweets und überprüfe, ob unsere Analyse der Hashtag-Längen sich verändert hat. Speichere auch die Hashtag DataFrames nach dem Bereinigen wieder ab."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "[Anfang](#top)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}