Studenten in M\u00fcnchen haben es nicht leicht. Die Mietpreise sind der Wahnsinn, es gab gro\u00dfen Stress um das relativ teuere Semesterticket – und dann sind die Bibliotheken noch so voll. Das war zumindest der Anlass, weshalb die Universit\u00e4tsbibliothek der LMU Ende 2016 ein neues Tool gestartet hat: Den Platzfinder. Zusammen mit einer Parkscheibe, die Studierende bekommen, wenn sie die Bibliothek betreten, ermitteln die Bibliotheksmitarbeiter, wie voll ihre Bibliothek gerade ist – und tragen das in ein Onlineformular ein (Was nat\u00fcrlich auch sehr fehlerbehaftet ist – aber die Daten sind das Beste, was wir haben).<\/p>\n
Auf der Webseite der Uni-Bibliothek k\u00f6nnen Studierende dann checken, wie voll ihre „Lieblingsbib“ ist.<\/p>\n
F\u00fcr M94.5 wollte ich herausfinden, welche Bib am vollsten ist – und wie sich das im Tagesverlauf ver\u00e4ndert.<\/p>\n
Die Seite der LMU gibt SVGs mit Prozentwerten f\u00fcr die F\u00fcllung aus, die in den Balkendiagrammen angezeigt werden. Mit Python und der Bibliothek BeautifulSoup konnte ich also easy die Daten auslesen und in ein CSV speichern:<\/p>\n
#!\/usr\/bin\/python\r\n# -*- coding: utf-8 -*-\r\nfrom bs4 import BeautifulSoup\r\nimport urllib\r\nimport re\r\nimport csv\r\nfrom datetime import datetime\r\n\r\nr = urllib.urlopen('http:\/\/www.ub.uni-muenchen.de\/arbeiten\/platzfinder\/index.html').read()\r\n\r\nsoup = BeautifulSoup(r, \"lxml\")\r\n\r\niframes = soup.find_all(\"iframe\")\r\ncsvdata = []\r\n\r\nprint \"Sammle Daten\"\r\nfor i in iframes:\r\n r1 = urllib.urlopen(i[\"src\"]).read()\r\n iframe = BeautifulSoup(r1, \"lxml\")\r\n name = iframe.find(\"div\", {\"id\": \"chart_text1\"}).get_text().encode('utf-8')\r\n data = iframe.find_all(\"script\")[1].string\r\n data = data.replace(\"'\", '\"')\r\n p = re.compile('var data = google.visualization.arrayToDataTable\\(\\[\\[(.*?)\\],\\[.+\"\\,(.*?)\\]\\]\\)')\r\n m = p.search(data)\r\n try:\r\n lst = str(m.group(2).encode('utf-8')).split(\",\")\r\n except:\r\n lst = str(m.group(0).encode('utf-8')).split(\",\")\r\n\r\n if lst[0] == \"1\":\r\n name = name.strip()\r\n fill = \"Geschlossen\"\r\n empty = 0\r\n else:\r\n name = name.strip()\r\n fill = lst[0]\r\n empty = lst[1]\r\n\r\n csvdata.append((name, fill, empty))\r\n print \"Schreibe: \", i[\"src\"]\r\n\r\n# open a csv file with append, so old data will not be erased\r\nwith open('data.csv', 'a') as csv_file:\r\n writer = csv.writer(csv_file, delimiter=';', lineterminator='\\n')\r\n # The for loop\r\n print \"Schreibe CSV\"\r\n for name, fill, empty in csvdata:\r\n writer.writerow([name, fill, empty, datetime.now()])\r\nprint \"Fertig\"<\/pre>\nDamit das Ganze alle 15 Minuten laufen kann – in den Zeiten, in denen die Bibliotheken ge\u00f6ffnet haben –\u00a0 habe ich zu einem Trick gegriffen. Das Pythonskript lag auf meinem Webspace, der Python vorinstalliert hat. Daneben lag ein einfaches Shell-Startskript f\u00fcr das Python. Dieses Skript rufe ich \u00fcber \u00fcber einen Cronjob auf. In meinem Fall habe ich Cronjob.de benutzt (ein Skript ist kostenlos, weitere kosten ab 99 Cent pro Monat) – es gibt Alternativen.<\/p>\n
Dann hie\u00df es: Warten. 1,5 Monate lang etwa. Das CSV f\u00fcllte sich immer weiter, ohne, dass ich irgendwas tun musste.<\/p>\n
Dann hie\u00df es: Auswerten. Daf\u00fcr habe ich das CSV gedownloaded und in R eingelesen.<\/p>\n
library(dplyr)\r\nlibrary(ggplot2)\r\nlibrary(lubridate)\r\nlibrary(extrafont)\r\nlibrary(grid)\r\n\r\ncolN <- c(\"Bibliothek\", \"Belegt\", \"Leer\", \"Datum\")\r\nd <- read.csv2(\"data.csv\", stringsAsFactors = TRUE, col.names = colN, colClasses = c(\"factor\", \"numeric\", \"numeric\", \"POSIXct\"), header = FALSE, encoding = \"UTF-8\", na.strings = \"Geschlossen\")\r\n<\/pre>\nSchon beim ersten Rumspielen hat sich gezeigt: Weihnachten ist ne bl\u00f6de Zeit f\u00fcr den Datensatz. Im Vergleich zu den anderen Zeiten lag die Belegungsquote ziemlich weit unten. Das hie\u00df f\u00fcr mich: Weihnachten raus.<\/p>\n
#Remove Test-Data and create new columns, filter out Christmas-Time\r\nd %>% \r\n filter(Datum > \"2016-12-17 23:45:29\") %>% \r\n filter(Datum <= \"2016-12-23 23:59:59\" | Datum >= \"2017-01-02 00:00:00\") %>% \r\n mutate(weekday = weekdays.POSIXt(Datum), hour = hour(Datum)) -> w\r\n\r\nw$weekday <- factor(w$weekday, levels = c(\"Montag\", \"Dienstag\", \"Mittwoch\", \"Donnerstag\", \"Freitag\", \"Samstag\", \"Sonntag\"))\r\n<\/pre>\nDann folgten die einzelnen Analysen. Zun\u00e4chst wollte ich wissen (und nat\u00fcrlich auch plotten), wie gro\u00df der Unterschied zwischen Wochentag und Wochenende in den Bibliotheken ist.<\/p>\n
# create tbl_df for weekend and weekday with mean per hour\r\nw %>% \r\n select(Bibliothek, Belegt, weekday, hour, Datum) %>% \r\n filter(complete.cases(.)) %>% \r\n filter(weekday != \"Samstag\" & weekday != \"Sonntag\") %>% \r\n group_by(hour) %>% \r\n summarise(mean(Belegt)) -> week\r\n\r\nw %>% \r\n select(Bibliothek, Belegt, weekday, hour, Datum) %>%\r\n filter(complete.cases(.)) %>% \r\n filter(weekday == \"Samstag\" | weekday == \"Sonntag\") %>% \r\n group_by(hour) %>% \r\n summarise(mean(Belegt)) -> weekend\r\n\r\n## Plotting Weekday vs Weekend\r\nsvg(\"week_vs_weekend.svg\", pointsize = 28, width = 11.78, height = 8.39)\r\nggplot() +\r\n geom_line(data = weekend, aes(hour, `mean(Belegt)`), color = \"#590086\", size = 1.3) +\r\n geom_area(data = weekend, aes(hour, `mean(Belegt)`), color = \"#dd9aff\", alpha = 0.2) +\r\n geom_line(data = week, aes(hour, `mean(Belegt)`), color = \"#865900\", size = 1.3) +\r\n geom_area(data = week, aes(hour, `mean(Belegt)`), fill = \"#ffd686\", alpha = 0.6) +\r\n labs(title = \"Durchschnitts-Belegung im Tagesverlauf\", subtitle = \"Braun: Werktag, Blau: Wochenende\") +\r\n ylab(\"Belegung in Prozent\") + \r\n xlab(\"Uhrzeit\") +\r\n theme_bw() +\r\n theme(text = element_text(size = 12),\r\n plot.margin = unit(c(1, 1, 4, 1), \"lines\"),\r\n panel.grid.major.x = element_blank(),\r\n panel.grid.minor.x = element_blank(),\r\n panel.border = element_blank())\r\ndev.off()\r\n<\/pre>\nDann wollte ich wissen, wie die unterschiedlichen Wochentage sich einzeln unterscheiden. Das k\u00f6nnte man in ggplot mit Facets<\/a> l\u00f6sen. Ich wollte das ganze aber in einem Plot. Das hie\u00df: Rumspielen.<\/p>\n# Plotting Every day by hour\r\nw %>% \r\n select(Bibliothek, Belegt, weekday, hour, Datum) %>%\r\n filter(Datum <= \"2016-12-23 23:59:59\" | Datum >= \"2017-01-02 00:00:00\") %>% \r\n filter(complete.cases(.)) %>% \r\n group_by(weekday, hour) %>% \r\nsummarise(mean = mean(Belegt)) -> weekday_by_hour\r\n\r\nsvg(\"weekday_per_hour.svg\", pointsize = 28, width = 11.78, height = 8.39)\r\n#png(\"weekday_per_hour.png\", pointsize = 28, width = 500)\r\ng1 <- ggplot(weekday_by_hour, aes(x = interaction(weekday, hour, lex.order = TRUE), y = mean, group = 1)) +\r\n geom_line(colour = \"#008659\", size = 1.3) +\r\n geom_area(fill = \"#86ffd6\", alpha = 0.5) +\r\n coord_cartesian(ylim = c(0, 65), expand = FALSE) +\r\n annotate(geom = \"text\", x = seq_len(nrow(weekday_by_hour)), y = -1, label = weekday_by_hour$hour, size = 2) +\r\n annotate(geom = \"text\", x = 9 + 16 * (0:6), y = -4, label = unique(weekday_by_hour$weekday), size = 5) +\r\n theme_bw() +\r\n theme(text = element_text(size = 12),\r\n plot.margin = unit(c(1, 1, 4, 1), \"lines\"),\r\n axis.title.x = element_blank(),\r\n axis.text.x = element_blank(),\r\n panel.grid.major.x = element_blank(),\r\n panel.grid.minor.x = element_blank(),\r\n panel.border = element_blank()) +\r\n geom_hline(yintercept = mean(weekday_by_hour$mean), linetype = 3) +\r\n ylab(\"Durchschnittsbelegung in Prozent\")\r\n\r\ng2 <- ggplot_gtable(ggplot_build(g1))\r\ng2$layout$clip[g2$layout$name == \"panel\"] <- \"off\"\r\ngrid::grid.draw(g2)\r\ndev.off()<\/pre>\nUnd dann das Highlight. Ich dachte mir, ein bisschen Bewegung schadet nicht. Deswegen wollte ich ein GIF erstellen, dass f\u00fcr jede Stunde des Tages f\u00fcr jede Bibliothek die Durchschnittsbelegung angibt. Das Skript sollte mir die einzelnen Stunden automatisch ausgeben, damit ich daraus nur noch ein GIF bauen muss. (Das w\u00fcrde auch direkt in R gehen, mit diesem<\/a> Package)<\/p>\nIch habe meinen w-Dataframe nochmal kopiert, weil ich die Rohdaten-NAs durch 0 ersetzt habe. Das wollte ich mir im Original-Datensatz nicht zerschie\u00dfen.<\/p>\n
##\r\n# Create PNG for each Hour of the Day\r\n###\r\n\r\n#Make copy of w-df\r\nw_nas <- w\r\n\r\n#replace NAs with 0\r\nw_nas[is.na(w_nas$Belegt),]$Belegt <- 0\r\n\r\n#Debugging needed for the hjust of plot.title\r\nfor (i in 8:23){\r\n w_help = NULL\r\n\r\n w_nas %>% \r\n filter(hour==i) %>% \r\n group_by(Bibliothek) %>% \r\n summarise(mean = mean(Belegt)) -> w_help\r\n print(head(w_help))\r\n \r\n png(paste0(i,\".png\"), width = 500, units = \"px\")\r\n p <- ggplot(w_help, aes(Bibliothek, mean)) +\r\n geom_bar(stat=\"identity\", fill = \"#008659\") +\r\n coord_flip() +\r\n theme(text = element_text(family = \"Arial\"), axis.title = element_blank(), plot.title = element_text(face = \"bold\", size = 18)) +\r\n labs(title = paste(\"Besetzte UB-Pl\u00e4tze um\", i, \"Uhr\")) +\r\n scale_y_continuous(limits = c(0, 100))\r\n print(p)\r\n dev.off()\r\n}<\/pre>\nFertig.<\/p>\n
Das Ergebnis gibt es hier<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"