1 00:00:00,000 --> 00:00:13,160 *33C3 Vorspannmusik* 2 00:00:13,160 --> 00:00:19,869 Herald: So. Viele spenden ihre Daten an dem Internet und wieviel, wie, welche 3 00:00:19,869 --> 00:00:26,050 Auswirkung haben diese Datenströmung auf unsere Gesellschaft wird uns heute Karl 4 00:00:26,050 --> 00:00:31,290 Urban darüber mehr erzählen. Karl ist ein Geo-Wissenschaftler, ein 5 00:00:31,290 --> 00:00:37,320 Wissenschaftsjournalist. Vor allem freier Journalist, ein Mitglied des 6 00:00:37,320 --> 00:00:46,270 Fachwerkschafts und auch ein Broadcaster. Er gewann in 2013 für seinen Blogpost 7 00:00:46,270 --> 00:00:56,930 einen Preis, des Highblogs des..., von Spektrum der Wissenschaft. Ja, erstmal. 8 00:00:56,930 --> 00:01:01,739 Wir begrüßen ihn alle mit einem großen Applaus. 9 00:01:01,739 --> 00:01:11,040 *Applaus* 10 00:01:12,510 --> 00:01:17,440 Karl Urban: Hallo. Schön, dass ihr alle da seid und nicht in Saal 1 beim Vorsitzenden 11 00:01:17,440 --> 00:01:21,170 der Europäischen Weltraumagentur. Freut mich sehr. 12 00:01:21,170 --> 00:01:26,880 *Lachen**Applaus* 13 00:01:26,880 --> 00:01:30,310 Ich sag das auch, weil ich auch gern da wäre, denn Raumfahrtthemen liegen mir auch 14 00:01:30,310 --> 00:01:38,810 sehr nah und die digitalen Themen aber auch. Und heute will ich über die Zukunft 15 00:01:38,810 --> 00:01:44,640 reden. Wer hat heute schon mal in sein Horoskop geschaut? Es gibt tatsächlich 16 00:01:44,640 --> 00:01:46,950 ein, zwei Meldungen, hätte ich nicht mit gerechnet. Ich hätte *Lachen* dann noch 17 00:01:46,950 --> 00:01:49,450 gefragt, wer jemanden kennt. 18 00:01:49,450 --> 00:01:54,790 *Applaus* 19 00:01:54,790 --> 00:01:58,659 Ja wir leben ja in Zeiten, in denen Krankenkassen homöopatische Medikamente 20 00:01:58,659 --> 00:02:04,219 zahlen, insofern sind solche Fragen durchaus legitim. Wer glaubt, dass wir die 21 00:02:04,219 --> 00:02:09,840 Zukunft vorhersehen können? Oder, anders gefragt, dass wir sie vorherberechnen 22 00:02:09,840 --> 00:02:18,260 können? Ah, es gibt ein paar, 20, 30. Das ist mein Thema heute. Also ich möchte 23 00:02:18,260 --> 00:02:26,030 über Orakel 2.0 reden. Und ganz zu Beginn, ein Disclaimer: Ich bin jetzt kein 24 00:02:26,030 --> 00:02:28,840 Coder, also ich hab mich in diese Thematik eingelesen. Ich bin 25 00:02:28,840 --> 00:02:33,200 Wissenschaftsjournalist, ich lese mich gerne sehr tief in die wissenschaftliche 26 00:02:33,200 --> 00:02:38,410 Literatur ein, aber ich hab mich vor allem auch mit den gesellschaftlichen Folgen 27 00:02:38,410 --> 00:02:42,490 dieses Themas versucht ein bischen auseinanderzusetzten und deswegen bin ich 28 00:02:42,490 --> 00:02:47,050 am Ende, wenn uns die Zeit reicht auch sehr dankbar über eure Gedanken zu dem 29 00:02:47,050 --> 00:02:53,110 Thema. Denn erschlagen werde ich das sicher nicht. Ein weiterer Disclaimer: 30 00:02:53,110 --> 00:02:58,459 Zukunft ist natürlich ein großes Wort und Vorhersage der Zukunft erst recht und 31 00:02:58,459 --> 00:03:03,160 letztlich ist sowas, wie die Zukunft der Gesellschaft vorauszusagen, ja auch nicht 32 00:03:03,160 --> 00:03:08,480 wirklich was Neues. Also es gibt in sehr großer Zeitskala sowas wie Klima- 33 00:03:08,480 --> 00:03:12,290 modelle, Technik-Folgen-Abschätzung, wo man ja versucht letztlich technologische 34 00:03:12,290 --> 00:03:17,450 Entwicklung in die Zukunft fortzuschreiben. Es gibt auch so etwas wie 35 00:03:17,450 --> 00:03:22,870 Wettervorhersage, was immerhin recht gut mittlerweile funktioniert, was auch mit 36 00:03:22,870 --> 00:03:27,190 Daten und Modellen zu tun hat. Es gibt einen Bereich der Wettervorhersage, der 37 00:03:27,190 --> 00:03:30,240 funktioniert eigentlich fast garnicht, nämlich die Gewittervorhersage. Das ist 38 00:03:30,240 --> 00:03:33,970 eigentlich nur im Bereich von Stunden möglich und basiert überhaupt nicht auf 39 00:03:33,970 --> 00:03:39,210 Wettermodellen, sondern vor allem auf der Erfahrung von Meteorologen, die 40 00:03:39,210 --> 00:03:44,750 Echtzeitkarten beobachten. Und die Big-Data-Vorhersage, mit der ich mich 41 00:03:44,750 --> 00:03:49,590 heute oder über die ich heute sprechen möchte, bewegt sich auch in diesem 42 00:03:49,590 --> 00:03:56,110 Bereich von mehreren Stunden bis wenigen Tagen. Also, kein Voodoo da. Monate, Jahre 43 00:03:56,110 --> 00:04:01,030 in der Zukunft, sondern sehr kurze Zeiträume. Wenn wir jetzt ein bischen 44 00:04:01,030 --> 00:04:06,760 zurückschauen als Erstes. Ja also Orakel sind wahrscheinlich so alt wie die 45 00:04:06,760 --> 00:04:13,470 zivilisierte Menschheit, haben immer eine große Rolle gespielt. Letztlich wollte 46 00:04:13,470 --> 00:04:17,490 der Mensch immer, war der Mensch immer darauf angewiesen, in die Zukunft zu 47 00:04:17,490 --> 00:04:22,219 blicken. Alleine zu verstehen wie so der Jahresablauf funktioniert, wann Felder 48 00:04:22,219 --> 00:04:26,620 überflutet werden. In den ersten Hochkulturen, im Zweistromland. All das 49 00:04:26,620 --> 00:04:31,110 hat erfordert, dass man so ein bisschen in die Zukunft blicken kann und einfach so 50 00:04:31,110 --> 00:04:37,830 den natürlichen Ablauf der Jahreszeiten von Überflutungsereignissen zu kennen. 51 00:04:37,830 --> 00:04:43,091 Die Griechen, die antiken Griechen, haben das dann bisschen in eine andere Richtung 52 00:04:43,091 --> 00:04:47,519 getrieben. Das Orakel von Delphi ist ja sicher so das bekannteste griechische 53 00:04:47,519 --> 00:04:52,539 Orakel und das hat eigentlich Politik gemacht oder bzw. sehr viele Herrscher der 54 00:04:52,539 --> 00:04:57,729 verschiedenen griechischen Stadtstaaten sind nach Delphi gezogen und das Orakel 55 00:04:57,729 --> 00:05:03,139 hat durchaus die auch mal gegeneinander aufgehetzt oder auch im eigenen Sinne die 56 00:05:03,139 --> 00:05:07,979 Mächtigen manipuliert mit Vorhersagen. Denn wer die Zukunft vorhersagt, kann sie 57 00:05:07,979 --> 00:05:13,489 natürlich auch verändern. Ich persönlich hab mich, wie gesagt, als 58 00:05:13,489 --> 00:05:17,701 Journalist, eingelesen in das Thema. Im Jahr 2011, als frisch gebackener, freier 59 00:05:17,701 --> 00:05:22,250 Wissenschaftsjournalist habe ich einen Artikel geschrieben über die 60 00:05:22,250 --> 00:05:30,219 EU-Flaggschiff-Initiative, das war eine Auschreibung der EU-Kommission für ein 61 00:05:30,219 --> 00:05:36,990 großes europäisches Forschungsprojekt, was sozusagen kurz davor stehen sollte 62 00:05:36,990 --> 00:05:41,169 einen großen Durchbruch hervorzurufen und da soll sozusagen die Führerschaft in 63 00:05:41,169 --> 00:05:47,740 Europa liegen. Jetzt nicht an US-Unis oder in China und da haben sich 6 Projekte 64 00:05:47,740 --> 00:05:53,189 beworben, die auch in eine Zielrunde gekommen sind und eins dieser Projekte war 65 00:05:53,189 --> 00:05:57,919 FutureICT. Ist es am Ende nicht geworden. Also, ihr wisst wahrscheinlich das 66 00:05:57,919 --> 00:06:02,539 Graphene-Projekt und das Human Brain Project haben am Ende dieses Geld gekriegt 67 00:06:02,539 --> 00:06:07,520 oder die laufen jetzt und bekommen jetzt das Geld. Das ging da um 1 Milliarde Euro 68 00:06:07,520 --> 00:06:12,109 über 10 Jahre. Also, das ist für ein Forschungsprojekt ne ganze Menge. Ja. Aber 69 00:06:12,109 --> 00:06:17,489 wie gesagt, ich hab damals FutureICT vorgestellt, als das Thema noch nicht, 70 00:06:17,489 --> 00:06:24,110 oder die Entscheidung noch nicht getroffen gewesen ist und der Gedanke dahinter, der 71 00:06:24,110 --> 00:06:28,660 hat mir schon imponiert. Also, so der Gedanke: Wir haben diesen exponentiellen 72 00:06:28,660 --> 00:06:35,360 Datenberg, der Menscheit. Ja, also jedes Jahr produzieren wir so viele Daten, wie 73 00:06:35,360 --> 00:06:39,659 von Anbeginn der Menschheit bis zum letzten Silvester produziert worden sind. 74 00:06:39,659 --> 00:06:44,960 Machen wir jedes Jahr ja wieder neu und wenn wir all diese Daten zusätzlich zu 75 00:06:44,960 --> 00:06:49,349 Sensoren, die wir, irgendwelche Apps, die wir entwickeln, die wir auf Smartphones 76 00:06:49,349 --> 00:06:52,909 installieren lassen - also die Menschen stellen freiwillig Daten aus der Umwelt 77 00:06:52,909 --> 00:06:57,080 bereit - und wir nutzen all das, was wir bekommen können, stecken das in so einen 78 00:06:57,080 --> 00:07:00,819 Living Earth Simulator und versuchen mal verschiedene Aspekte der Gesellschaft zu 79 00:07:00,819 --> 00:07:04,490 simulieren. Ja also, das Versprechen war jetzt nicht wirklich die Erde als solche 80 00:07:04,490 --> 00:07:09,729 zu simulieren aber bestimmte Aspekte, die interessant sein könnten und ein weiterer 81 00:07:09,729 --> 00:07:16,379 Gedanke von FutureICT war das ganze auch öffentlich letztlich zu machen. Also ein 82 00:07:16,379 --> 00:07:22,379 Vorhersagesystem zu haben, was Politiker nutzen können aber auch für alle. Das es 83 00:07:22,379 --> 00:07:28,900 letztlich kein Herrschaftsinstrument ist, sondern transparent ist am Ende. Und die 84 00:07:28,900 --> 00:07:32,400 Anwendungen, die da vorgeschlagen wurden, finde ich, klangen alle auch ziemlich 85 00:07:32,400 --> 00:07:37,779 legitim. Z. B, wir sind in einer Situation wo eine Naturkatastrophe oder eine Kette 86 00:07:37,779 --> 00:07:41,399 von Katastrophen eintritt. Also Fukushima war ja so ein Beispiel. Da gabs erst 87 00:07:41,399 --> 00:07:47,039 Naturkatastrophen und dann noch technische Probleme und in der Situation der 88 00:07:47,039 --> 00:07:49,939 japanischen Regierung zu sein und zu sagen: "Wie schütze ich jetzt meine 89 00:07:49,939 --> 00:07:53,249 Bevölkerung? Welche Entscheidung muss ich, kann ich jetzt treffen? Und wie 90 00:07:53,249 --> 00:07:56,279 reagieren Menschen auf diese Entscheidung?" Also wie reagiert die 91 00:07:56,279 --> 00:07:59,759 japanische Gesellschaft auf diese Entscheidung und welche Kaskaden kann das 92 00:07:59,759 --> 00:08:04,709 in Gang setzen? Wie wahrscheinlich sind welche Ereigniszweige in naher Zukunft? 93 00:08:04,709 --> 00:08:10,459 Und in solchen Situationen mag es sinnvoll sein so eine Vorhersage zu machen der 94 00:08:10,459 --> 00:08:15,169 Gesellschaft. Und gab viele andere Ideen, eine davon vielleicht fand ich auch ganz 95 00:08:15,169 --> 00:08:22,449 charmant. Wenn ein Gesetz verabschiedet wird im Parlament, ist ja immer die Frage, 96 00:08:22,449 --> 00:08:25,749 erreicht es das, was eigentlich die Autoren des Gesetzes erreichen wollten. 97 00:08:25,749 --> 00:08:29,080 Und auch das war so eine Idee, sozusagen, jetzt einen längeren Zeitraum sich 98 00:08:29,080 --> 00:08:37,269 anzukucken und Gesetzes-, die Auswirkungen auf die Gesellschaft zu simulieren. Und 99 00:08:37,269 --> 00:08:44,169 zumindest so eine Spannbreite der nahen Zukunft sehen zu können. OK. Und dann hab 100 00:08:44,169 --> 00:08:47,860 ich das Thema, wie gesagt, 2011 recherchiert und jetzt vor einem Jahr 101 00:08:47,860 --> 00:08:54,259 nochmal angefangen mich tiefer einzulesen und was seitdem passiert ist. Also 102 00:08:54,259 --> 00:09:00,660 FutureICT hat es ja nicht geschafft. Das ist gegipfelt in einer Sendung für den 103 00:09:00,660 --> 00:09:03,410 Deutschlandfunk, einer halbstündigen Sendung, die jetzt im Oktober gesendet 104 00:09:03,410 --> 00:09:09,440 wurde. Und das, was ich da vorgestellt hab, da will ich jetzt kurz nochmal in 105 00:09:09,440 --> 00:09:14,590 etwas größerer Tiefe reinschauen. Also ein Beispiel, was ich gefunden hab, das 106 00:09:14,590 --> 00:09:19,600 ist ein bischen älter und noch relativ einfach. Das ist eine israelische 107 00:09:19,600 --> 00:09:25,610 Informatikerin, die mit ihrer Firma so einen Vorhersagealgorithmus entwickelt 108 00:09:25,610 --> 00:09:31,069 hat. Letztlich einen selbstlernenden Algorithmus, der einfach nur das 109 00:09:31,069 --> 00:09:37,399 Nachrichtenarchiv der New York Times der letzten Jahrzehnte analysiert und darin 110 00:09:37,399 --> 00:09:42,000 Kausali... , ne nicht, eben nicht Kausalitäten sondern Korrelationen sucht. 111 00:09:42,000 --> 00:09:49,320 Also, irgendwelche Ereignisfolgen, die statistisch häufiger auftreten als Andere 112 00:09:49,320 --> 00:09:56,669 und dann die aktuelle Nachrichtenlage beobachtet und im Zweifel 113 00:09:56,669 --> 00:10:01,550 Echtzeitwarnungen ausgibt für politische Ereignisse. Das eine Beispiel, was Kira in 114 00:10:01,550 --> 00:10:06,660 ihrem TED-Talk hier von 2014 gebracht hat, war es gab so ne komische Folge von 115 00:10:06,660 --> 00:10:11,019 Dürreereignissen in afrikanischen Staaten in dem Fall. Wenige Jahre später von 116 00:10:11,019 --> 00:10:15,160 Überschwemmungen und dann gab es wieder wenige oder ein Jahr später eine 117 00:10:15,160 --> 00:10:19,040 Choleraepidemie. Was nicht sonderlich überraschend ist, aber in dem Fall gabs 118 00:10:19,040 --> 00:10:24,241 so eine Warnung für Kuba. Und Kuba ist so ein Land wo es seit über 100 Jahren 119 00:10:24,241 --> 00:10:28,170 eigentlich keine Cholera mehr gegeben hatte. 2013 gabs tatsächlich eine große 120 00:10:28,170 --> 00:10:32,790 Choleraepidemie. Also, war so ihr Positivbeispiel, dass diese Warnungen 121 00:10:32,790 --> 00:10:43,990 durchaus was bringen können. Ja, das war so ein kleines Beispiel, wie so was 122 00:10:43,990 --> 00:10:50,139 anfängt. Ja dann gabs ja auch 2011 den arabischen Frühling. Wenn man nach 123 00:10:50,139 --> 00:10:55,379 Literatur zum Thema Arab Spring / Social Media sucht, sieht man das ist, das wurde 124 00:10:55,379 --> 00:10:59,530 letztlich sehr gut beforscht. Also es ist letztlich der perfekte Lerndatensatz 125 00:10:59,530 --> 00:11:03,540 gewesen. Auch weil ja soziale Medien einfach auch eine entscheidende Rolle 126 00:11:03,540 --> 00:11:10,790 gespielt haben, dass sich Menschen zu Protesten verabreden können und... genau, 127 00:11:10,790 --> 00:11:16,269 da kann man wirklich in den Daten beobachten, wie solche Proteste spontan 128 00:11:16,269 --> 00:11:23,189 entstehen. Und ja, ein bischen weiter entwickeltes System ist EMBERS. Das ist an 129 00:11:23,189 --> 00:11:29,000 mehreren, also wird entwickelt von mehreren US-Universitäten, die bekommen 130 00:11:29,000 --> 00:11:35,040 ihr Geld von der IARPA. Das ist so eine Art Forschungsfinanzierer in den USA für 131 00:11:35,040 --> 00:11:43,179 Geheimdienstaufgaben. Die Ausgaben..., die Ergebnisse, die man jetzt hier sieht, also 132 00:11:43,179 --> 00:11:50,069 das ist für Proteste, die es in Venezuela gegeben hat und das soll hier zeigen: ja, 133 00:11:50,069 --> 00:11:52,730 da wo wir sie vorhergesagt haben, fast an allen Orten sind sie dann auch 134 00:11:52,730 --> 00:11:59,300 aufgetreten. Diese Warnungen werden, also es gibt da auch Warnungen letztlich, die 135 00:11:59,300 --> 00:12:05,449 ausgegeben werden, die werden aber nicht veröffentlicht. Sondern letztlich den 136 00:12:05,449 --> 00:12:09,360 US-Diensten zur Verfügung gestellt. Wie funktioniert EMBERS? Also auch 137 00:12:09,360 --> 00:12:11,509 selbsternender Algorithmus, der halt jetzt nicht nur Nachrichten und Blogs 138 00:12:11,509 --> 00:12:17,459 untersucht, sondern auch geolokalisierte Tweets und Facebookposts aus diesen 139 00:12:17,459 --> 00:12:21,949 Ländern und Städten und der dann solche Warnungen ausgibt. Also hier in dem Fall: 140 00:12:21,949 --> 00:12:27,260 Protest in Venezuela. Wer ist dabei? Arbeiter, Businessleute. Es gab schon 141 00:12:27,260 --> 00:12:33,170 vorher Warnungen diesbezüglich. Die Proteste, die es geben wird sind 142 00:12:33,170 --> 00:12:36,259 statistisch signifikant. Also deutlich stärker, als das was man vorher 143 00:12:36,259 --> 00:12:43,339 beobachtet hat und auch was die wollen. Ja also, das ist das, was das Tool durch 144 00:12:43,339 --> 00:12:48,140 letztlich semantische Auswertung von Texten, die gepostet werden, macht und 145 00:12:48,140 --> 00:12:52,430 dann für die nahe Zukunft ausgibt. Kann man sich auch logisch überlegen, also es 146 00:12:52,430 --> 00:12:55,519 ist kein wirklicher Voodoo dabei. Wenn jemand schreibt: "Ich geh morgen auf ne 147 00:12:55,519 --> 00:12:58,769 Demonstration.", in einem Tweet, dann kann man dieses morgen und Demonstration, 148 00:12:58,769 --> 00:13:02,210 vielleicht noch den Ort natürlich rauslesen. Und wenn es viele Leute 149 00:13:02,210 --> 00:13:06,360 twittern, klar sagen: "Da wirds einen Protest geben!". Alles eigentlich auch 150 00:13:06,360 --> 00:13:11,680 noch einigermaßen primitiv. Das schöne an EMBERS ist, US-Geheimdienstfinanzierer 151 00:13:11,680 --> 00:13:16,209 aber doch US-Unis auch. Das heißt, die publizieren ihre Ergebnisse und die tun 152 00:13:16,209 --> 00:13:19,230 sich aber ein bischen schwer dann das auch kritisch zu bewerten, was sie machen. 153 00:13:19,230 --> 00:13:24,230 Also, da schreiben sie schön, das kann ja da helfen, dass Regierungen die Sorgen 154 00:13:24,230 --> 00:13:31,290 ihrer Einwohner ernst nehmen können, priorisieren können. Vielleicht um sicher 155 00:13:31,290 --> 00:13:35,830 zu stellen, dass der Schuh gar nicht mehr so stark drückt, weil sie einfach direkt 156 00:13:35,830 --> 00:13:40,660 gegensteuern können. Aber natürlich, man könnte das auch missbrauchen. Ne? Das ist 157 00:13:40,660 --> 00:13:45,029 hier aus dem letzten Absatz aus dem Paper. Also ich find, relativ wenig 158 00:13:45,029 --> 00:13:53,769 selbstkritisch. So. Das ist der aktuelle Stand gewesen, bis vor zwei, drei Jahren. 159 00:13:53,769 --> 00:14:03,410 Letzlich brauchte man unzensierten Zugriff auf soziale Netzwerke. Natürlich muss man 160 00:14:03,410 --> 00:14:07,060 solche Vorhersagen auch immer mit der Realität abgleichen. Das ist letztlich, 161 00:14:07,060 --> 00:14:11,469 ja eine automatische Aufgabe. Also wenn man jetzt sagt, mit 80%iger 162 00:14:11,469 --> 00:14:14,200 Wahrscheinlichkeit wird es zu Protesten kommen, muss man natürlich nach der 163 00:14:14,200 --> 00:14:18,199 Vorhersage kucken, ist es auch eingetreten und letztlich immer die Vorhersagen an das 164 00:14:18,199 --> 00:14:22,700 anpassen, was man vorhergesagt hat. Und natürlich muss man bei solchen 165 00:14:22,700 --> 00:14:27,209 semantischen Auswertungen, von Tweets zum Beispiel, auch immer den wandelnden 166 00:14:27,209 --> 00:14:30,531 Kontext der Daten sich ankucken. Also wenn wir plötzlich eine Zensur haben in dem 167 00:14:30,531 --> 00:14:33,810 Land und die Leute plötzlich einen Code verwenden um sich zu Protesten zu 168 00:14:33,810 --> 00:14:38,379 verabreden, dann kann das natürlich sein, dass so ein Tool auch nicht mehr 169 00:14:38,379 --> 00:14:45,980 funktioniert. So. Also. Ist das wirklich so? Ja also, brauchen wir das? Nicht ganz. 170 00:14:45,980 --> 00:14:51,730 Ja das ist jetzt ein Ergebnis, dieses Jahr im Sommer in Science publiziert, von einer 171 00:14:51,730 --> 00:14:58,470 Gruppe an der University of Miami. Und die haben ein bisschen versucht bisschen 172 00:14:58,470 --> 00:15:03,740 Extremismusforschung eigentlich zu machen. Die wollten mal sehen, wie Islamisten vom 173 00:15:03,740 --> 00:15:08,340 Islamischen Staat in sozialen Netzwerken eigentlich sich so organisieren. Weil die 174 00:15:08,340 --> 00:15:13,800 ja offenbar eine Rolle spielen, sich global zu organisieren. Und das ist auf 175 00:15:13,800 --> 00:15:16,980 Facebook und Twitter relativ schwierig, weil da die automatischen Filter ziemlich 176 00:15:16,980 --> 00:15:20,370 gut funktionieren und wahrscheinlich auch die juristischen Hürden hoch sind. 177 00:15:20,370 --> 00:15:24,919 Deswegen gibts da ein großes Interesse, dass sofort zu reglementieren. Also da 178 00:15:24,919 --> 00:15:28,809 gibts einfach keine Daten, die man analysieren kann. Und deswegen haben die 179 00:15:28,809 --> 00:15:32,160 sich VKontakte angekuckt, das ist ja auch eines der größeren sozialen Netzwerke, 180 00:15:32,160 --> 00:15:37,129 was in Russland beheimatet ist. Auch in Russland sind islamistische Postings, 181 00:15:37,129 --> 00:15:42,189 werden da natürlich zensiert und sind staatlich nicht gern gesehen. Aber die 182 00:15:42,189 --> 00:15:46,420 Moderation ist nicht ganz so hinterher. Deswegen gibt es immer Zeiträume wenn man 183 00:15:46,420 --> 00:15:51,880 diese Daten rechtzeitig abgreift, in denen sich kurzzeitig islamistische Gruppen dort 184 00:15:51,880 --> 00:15:56,160 bilden und ausgetauscht haben und was die gemacht haben, also was man hier sieht: Da 185 00:15:56,160 --> 00:15:59,860 ist Y-Achse, da steht Escalation Parameter. Ist nichts anderes als die 186 00:15:59,860 --> 00:16:04,140 haben gezählt wieviele Posts es in einem bestimmten Zeitraum gegeben hat und neue 187 00:16:04,140 --> 00:16:08,209 Gruppen, die sich gebildet haben, bevor dann wieder gelöscht wurde. Ja es ist 188 00:16:08,209 --> 00:16:15,860 letztlich nur aufaddiert, wie groß die Aktivität ist und was dabei..., was sie 189 00:16:15,860 --> 00:16:21,499 gesehen haben ist, dass es wenn die Aktivität sehr stark ansteigt, es einen 190 00:16:21,499 --> 00:16:26,959 Zusammenhang gibt zu realen Ereignissen. Das haben sie nicht nur in Syrien in dem 191 00:16:26,959 --> 00:16:31,040 Fall bemerkt. Also da sieht man diesen starken Anstieg und dann kurze Zeit 192 00:16:31,040 --> 00:16:36,800 später dieser rote Strich, das war die erste Offensive auf Kobane in Syrien. Vom 193 00:16:36,800 --> 00:16:40,950 islamischen Staat. Das ist eine mathematische Beziehung, die man da 194 00:16:40,950 --> 00:16:45,979 beobachtet, die Physiker auch aus der Thermodynamik kennen. Nämlich wenn man 195 00:16:45,979 --> 00:16:50,389 eine Flüssigkeit erwärmt, wird die immer heißer und ab einem bestimmten Punkt, 196 00:16:50,389 --> 00:16:54,150 nämlich bei Normaldruck bei 100°, gibt es einen Phasenübergang. Das heißt die 197 00:16:54,150 --> 00:16:57,190 Flüssigkeit wird nicht mehr wärmer. Es gibt nen steilen Anstieg und ab dem 198 00:16:57,190 --> 00:17:02,569 Zeitpunkt kocht das Wasser und das ist sowas wie..., was man auch in sozialen 199 00:17:02,569 --> 00:17:09,550 Systemen beobachtet. Ist in der Theorie nichts neues, ist aber jetzt messbar. Und 200 00:17:09,550 --> 00:17:12,970 wenn man diesen Verlauf sich sozusagen ankuckt, ist auch der Zeitpunkt, zu dem 201 00:17:12,970 --> 00:17:20,730 ein Ereignis eintreten wird in naher Zukunft erkennbar. Und das. Genau. Das 202 00:17:20,730 --> 00:17:25,789 haben die hier gesehen. Das andere Beispiel ist aus Brasilien. Einschränkend 203 00:17:25,789 --> 00:17:30,080 dazu gesagt: Also das ist wirklich letztlich Grundlagenforschung an diesen 204 00:17:30,080 --> 00:17:35,409 sozialen Daten. Ist ein Bereich der Physik. Die Soziophysik, die sich mit dem 205 00:17:35,409 --> 00:17:42,010 Verhalten von größeren Menschengruppen beschäftigt. Diese Modelle, die man da 206 00:17:42,010 --> 00:17:47,010 rein legt, die aus der klassischen Thermodynamik kommen, funktionieren aber 207 00:17:47,010 --> 00:17:49,600 nicht in jedem Fall. Das gibt, kann man nicht in jedem Fall beobachten. In dem 208 00:17:49,600 --> 00:17:54,410 Fall muss es eine selbstorganisation geben. Also letztlich, was in sozialen 209 00:17:54,410 --> 00:18:02,010 Netzwerken öfter passiert. Also keiner der jetzt sagt: "Wir müssen jetzt, wir 210 00:18:02,010 --> 00:18:05,770 müssen jetzt aktiv werden.", sondern das muss aus dem System heraus entstehen. Dann 211 00:18:05,770 --> 00:18:10,159 kann man solche Vorhersagen machen. Was die Soziophysiker aber auch sagen ist, die 212 00:18:10,159 --> 00:18:17,230 Gesellschaft ist natürlich kein Topf mit heißem Wasser und die Phasen, die eine 213 00:18:17,230 --> 00:18:21,110 Gesellschaft hat, die Aggregatzustände, das ist halt nicht nur fest, flüssig und 214 00:18:21,110 --> 00:18:24,770 gasförmig. Sondern die sind deutlich höherdimensional, was auch immer das 215 00:18:24,770 --> 00:18:31,770 heißt. Und letztlich stehen sie da am Anfang. Aber die Daten haben wir. Man kann 216 00:18:31,770 --> 00:18:34,559 jetzt sozusagen Sozialforschung *Babyweinen aus dem Raum* machen auf 217 00:18:34,559 --> 00:18:39,910 ähnlichem Niveau wie Naturwissenschaftler. *Babyweinen aus dem Raum* 218 00:18:39,910 --> 00:18:44,600 Ok, so viel zum ersten Teil. Also wir sehen: kollektives Verhalten wird in 219 00:18:44,600 --> 00:18:50,260 sozialen Daten abgerufen. Es gibt die Methoden das zu analysieren, auch wenn es 220 00:18:50,260 --> 00:18:55,870 sehr große Datenmengen sind und es gibt kollektive Handlungen in Gesellschaften, 221 00:18:55,870 --> 00:18:59,789 die physikalischen Regeln folgen. Die wir noch nicht alle kennen, aber das fängt 222 00:18:59,789 --> 00:19:06,250 an. So. Und im Vortrag über die Zukunft muss ich jetzt anfangen zu extrapolieren. 223 00:19:06,250 --> 00:19:11,360 Also das ist der Teil, wo ich mich selbst ein bisschen schwer getan habe. Ich weiß 224 00:19:11,360 --> 00:19:19,029 nicht wer von euch 2016 "1984" mal wieder aus dem Regal gezogen hat. Ich hab mich 225 00:19:19,029 --> 00:19:25,570 auch bemüßigt gesehen das mal wieder zu lesen. Auch bei dem Thema fand ich, gabs 226 00:19:25,570 --> 00:19:31,220 durchaus Parallelen. Also eine der Lehren, wie gesagt, kollektives Verhalten lässt 227 00:19:31,220 --> 00:19:36,000 sich kurzfristig vorhersehen. Man muss natürlich immer kucken, was Vorhersage 228 00:19:36,000 --> 00:19:39,690 bedeutet. Ne also, das ist hier eine Grafik vom deutschen Wetterdienst für 229 00:19:39,690 --> 00:19:43,180 Wettervorhersagen. Es gibt immer einen Punkt, da hat man die Daten gemessen. In 230 00:19:43,180 --> 00:19:48,050 der Regel, jetzt, im besten Fall und jetzt rechnet man einfach mal unter 231 00:19:48,050 --> 00:19:52,260 verschiedenen Randbedingungen in die nahe Zukunft. Und dann fangen, wenn man 232 00:19:52,260 --> 00:19:55,600 verschiedene Modelle rechnet, an sich so zufällige Effekte immer mehr 233 00:19:55,600 --> 00:20:01,580 durchzusetzen und am Ende hat man eine bestimmte Spannbreite möglicher 234 00:20:01,580 --> 00:20:06,250 Zukünfte. So ist die Idee. Jetzt kann man natürlich das jetzt erstmal positiv 235 00:20:06,250 --> 00:20:11,080 sehen, letzlich, die Vision auch von FutureICT. Es gibt so ne, das ist hier so 236 00:20:11,080 --> 00:20:14,289 ein Werbevideo von FutureICT gewesen für die Eu-Kommission, die das damals 237 00:20:14,289 --> 00:20:18,610 entscheiden sollten. Man sieht so einen lichtdurchfluteten Kontrollraum. Man sieht 238 00:20:18,610 --> 00:20:24,110 letztlich weise Forscher und Politiker, die da mal Fragen welche Auswirkung 239 00:20:24,110 --> 00:20:31,390 bestimmte Entscheidungen haben können. Eigentlich ganz toll, für die 240 00:20:31,390 --> 00:20:38,889 Gesellschaft. Die Gesellschaft hat ja, ist ja komplex. Ja? Wenn wir uns die 241 00:20:38,889 --> 00:20:42,019 Weltgesellschaft ankucken, wir haben so eine Überlagerung verschiedener Krisen. 242 00:20:42,019 --> 00:20:48,110 Wir haben letztlich viele Technologien, die schnell auch nicht mehr funktionieren 243 00:20:48,110 --> 00:20:51,090 und Kaskaden, die sich in Gang setzen können wenn ein Teil nicht mehr 244 00:20:51,090 --> 00:20:59,809 funktioniert. Und deswegen, klar, ist es eine tolle Idee. Wenn man jetzt sagt: "Ich 245 00:20:59,809 --> 00:21:01,980 will eigentlich nicht die Zukunft der Gesellschaft vorhersagen, weil ich sie 246 00:21:01,980 --> 00:21:05,230 nicht manipulieren will.", kann man natürlich auch sagen: "Ich nutze so ein 247 00:21:05,230 --> 00:21:10,390 Instrument, um die Resilienz zu erhöhen." Also letztlich, sagt man bei komplexen 248 00:21:10,390 --> 00:21:16,179 Systemen, Resilienz bedeutet, wenn es irgendwelche Störungen gibt, will ich... 249 00:21:16,179 --> 00:21:19,769 soll das System in sich stabil bleiben und auch dafür ist es natürlich gut solche 250 00:21:19,769 --> 00:21:23,990 Modelle laufen zu lassen für die Gesellschaft. Beim arabischen Frühling 251 00:21:23,990 --> 00:21:28,380 wurde aber oft auch gesagt, politische Experten haben das jetzt nicht so 252 00:21:28,380 --> 00:21:31,919 vorhersehen können und vielleicht ist das jetzt das Ende der politischen Experten. 253 00:21:31,919 --> 00:21:34,779 Also wenn wir solche Vorhersagen machen können in Zukunft, brauchen wir 254 00:21:34,779 --> 00:21:40,130 eigentlich noch politische Experten? Wahrscheinlich brauchen wir eher 255 00:21:40,130 --> 00:21:47,310 politische Experten, um die Vorhersagen oder die Datenströme zu analysieren. Da 256 00:21:47,310 --> 00:21:51,729 komme ich gleich zu. Aber letztlich ist natürlich so ein Tool für die nahe 257 00:21:51,729 --> 00:21:54,720 Zukunft, jetzt aus der Sicht eines Politikers, der nicht so richtig in die 258 00:21:54,720 --> 00:22:01,559 Details schauen kann, erstmal Voodoo. Ja, das was Orakel immer waren und natürlich 259 00:22:01,559 --> 00:22:09,320 letztlich gemäß diesem tollen Artikel von Sascha Lobo. Dieser Technikaberglaube, 260 00:22:09,320 --> 00:22:13,390 der erstmal kommuniziert wird. Also wir können die Zukunft der Gesellschaft 261 00:22:13,390 --> 00:22:19,470 vorhersagen und das müssen wir irgendwie letztlich klarmachen, dass das alles 262 00:22:19,470 --> 00:22:25,019 vielleicht doch nicht so einfach ist. Ein Beispiel dazu: Google Flu Trends. Können 263 00:22:25,019 --> 00:22:28,080 sich sicher noch einige dran erinnern. War ja so ein Tool von Google, was einfach 264 00:22:28,080 --> 00:22:37,179 Suchergebnisse ausgewertet hat und die Symptome, die Leute gegoogelt haben, 265 00:22:37,179 --> 00:22:42,679 Grippesymptome letztlich, verwendet haben um sowas wie eine Vorhersage des aktuellen 266 00:22:42,679 --> 00:22:46,929 Grippezyklus vorherzusehen. Was ein paar Jahre funktioniert hat und plötzlich 267 00:22:46,929 --> 00:22:51,610 nicht mehr, weil es Umstellungen bei Google gab und die Suchergebnisse das 268 00:22:51,610 --> 00:22:55,010 nicht mehr so ganz widergespiegelt haben. Das heißt, auch wenn solche Korrelationen 269 00:22:55,010 --> 00:22:59,210 ein paar Jahre gut gehen, kann es irgendwann nicht mehr gut gehen. Und das 270 00:22:59,210 --> 00:23:03,230 ist vielleicht in der Vorhersage selbst erstmal gar nicht ersichtlich. Und der 271 00:23:03,230 --> 00:23:06,360 entscheidende Punkt, den ich grad schon angedeutet habe, ist natürlich: In dem 272 00:23:06,360 --> 00:23:10,539 Moment, wo ich Vorhersagen mache, kann ich natürlich zu einem bestimmten Zeitpunkt. 273 00:23:10,539 --> 00:23:15,270 Da relativ früh sagen, ich will jetzt nicht dass das am Ende hier so 274 00:23:15,270 --> 00:23:19,190 hochspringt. Also zum Beispiel, dass sich die Leute zu einer Demonstration 275 00:23:19,190 --> 00:23:22,600 verabreden. Das heißt, ich muss, wenn ich so eine Vorhersage gemacht habe, einfach 276 00:23:22,600 --> 00:23:27,290 nur im richtigen Zeitpunkt gegensteuern. Wie auch immer ich das mache. 277 00:23:29,760 --> 00:23:33,380 *leise Babygeräusche* Ja, das ist ein Zitat aus "1984": "Wer die 278 00:23:33,380 --> 00:23:37,050 Vergangenheit kontrolliert, kontrolliert die Zukunft". Was George Orwell nicht 279 00:23:37,050 --> 00:23:42,660 voraussehen konnte, letztlich ist: Wir sind heute quasi in der Lage die Gegenwart 280 00:23:42,660 --> 00:23:47,591 zu kontrollieren, indem ich zum Beispiel soziale Netzwerke manipuliere. Und es wird 281 00:23:47,591 --> 00:23:50,450 ja auch bereits gemacht, ist jetzt überhaupt nichts neues. Ja also, wenn wir 282 00:23:50,450 --> 00:23:54,890 nach China kucken. Das ist aus einem Paper von 2013, da haben ein paar 283 00:23:54,890 --> 00:24:03,751 US-Sozialforscher, die chinesische Great Firewall und die Maßnahmen der 284 00:24:03,751 --> 00:24:08,210 chinesischen Zensur sich angekuckt. Kann man ja analysieren von außen und 285 00:24:08,210 --> 00:24:12,190 teilweise auch..., die hatten auch Daten von innen. Und die haben festgestellt, 286 00:24:12,190 --> 00:24:16,380 also die haben sich angekuckt, wo wird zensiert. Hier ganz rechts auf der Achse 287 00:24:16,380 --> 00:24:21,270 wird sehr stark zensiert, wird sehr stark gelöscht und bei 0 wird eigentlich, das 288 00:24:21,270 --> 00:24:27,389 sind relativ kleine Eingriffe und es gibt sogar sowas wie positive Eingriffe. Also 289 00:24:27,389 --> 00:24:35,600 letztlich wo Postings verstärkt werden. Und die schärfste Zensur gabs garnicht 290 00:24:35,600 --> 00:24:39,330 unbedingt in Momenten, wo Leute was gegen das Regime gesagt haben. Die hat man in 291 00:24:39,330 --> 00:24:42,850 der Regel einfach in Ruhe gelassen. Sondern in dem Moment, wo sich Leute zu 292 00:24:42,850 --> 00:24:48,340 kollektiven Aktivitäten verabreden. Also gerade da, wo so eine soziale Dynamik in 293 00:24:48,340 --> 00:24:54,779 Gang kommen könnte, da wird ganz massiv eingegriffen. Was im Fall von China 294 00:24:54,779 --> 00:24:59,200 zumindest im Jahr 2013 sicher noch sehr viel manuelle Arbeit hervorgerufen hat. 295 00:24:59,200 --> 00:25:04,159 Wir bewegen uns jetzt in eine Richtung, wo sowas wahrscheinlich zunehmend automatisch 296 00:25:04,159 --> 00:25:14,019 funktionieren kann. Wie sieht es bei uns aus? Die Daten liegen ja letztlich 297 00:25:14,019 --> 00:25:20,220 überwiegend in privaten Händen. Bei den sozialen Netzwerken zum Beispiel. Und es 298 00:25:20,220 --> 00:25:24,340 existiert aber gleichzeitig, das haben ja auch die Macher von FutureICT gesagt, ein 299 00:25:24,340 --> 00:25:28,330 sehr großes Interesse solche politischen Vorhersagen der Gesellschaft zu machen. 300 00:25:28,330 --> 00:25:35,630 Und dieser Artikel hier: "Ich habe gezeigt, dass die Bombe existiert, dass es 301 00:25:35,630 --> 00:25:40,130 die Bombe gibt", ist ja hier im Kongress auch schon viel zitiert worden. Will ich 302 00:25:40,130 --> 00:25:47,020 jetzt nicht mehr viel zu sagen. Und auch wieder zerlegt worden, man muss natürlich 303 00:25:47,020 --> 00:25:55,639 erstmal nach den Hinweisen kucken. Kucken ob die Belege existieren, dass letztlich 304 00:25:55,639 --> 00:26:02,459 es soziale Vorhersagen und soziale Beeinflussung von außen gegeben haben 305 00:26:02,459 --> 00:26:07,729 könnte. Was man aber, wenn man jetzt nach Deutschland kuckt, beobachten kann ist ja 306 00:26:07,729 --> 00:26:11,540 tatsächlich, es gibt einen politischen Druck auf soziale Netzwerke. Unter dem 307 00:26:11,540 --> 00:26:19,590 Schlagwort "Hate Speech", unter dem Schlagwort "Fake News" und die Frage ist, 308 00:26:19,590 --> 00:26:27,500 wo es hin führt. Wo wir vielleicht aber auch aufpassen sollten, ist die Frage: Ist 309 00:26:27,500 --> 00:26:33,610 es die Wahlmanipulation, die vielleicht, es ist ja letztlich nicht bewiesen, von 310 00:26:33,610 --> 00:26:40,919 Russland ausgeht? Ist das jetzt die neue Qualität? Wenn wir in die nahe 311 00:26:40,919 --> 00:26:44,501 Vergangenheit kucken, sowas wie Beeinflussung von Wählergruppen oder 312 00:26:44,501 --> 00:26:48,220 letztlich die Auswahl bestimmter Wählergruppen, um die zum Wählen zu 313 00:26:48,220 --> 00:26:52,929 bringen, ist eigentlich nicht neu und wurde auch von anderen politischen 314 00:26:52,929 --> 00:26:57,510 Kräften gemacht als jetzt von den Republikanern. Und deswegen wäre ich da 315 00:26:57,510 --> 00:27:04,739 auch vorsichtig irgendwohin mit dem Finger zu zeigen. Ja. Also am Ende wirds ein 316 00:27:04,739 --> 00:27:10,429 bischen schwammig. Ich hab ein paar Fragen oder Gedanken zum Schluss. Soziale 317 00:27:10,429 --> 00:27:14,009 Vorhersagen, wer auch immer sie macht, sind letztlich ein Machtinstrument. Also 318 00:27:14,009 --> 00:27:19,549 wenn das ein Algorithmus für den US-Geheimdienst macht, ist es sicher auch 319 00:27:19,549 --> 00:27:27,889 eine Möglichkeit Wahlen in anderen Staaten zu beeinflussen. Und ja letztlich 320 00:27:27,889 --> 00:27:33,240 wäre es wahrscheinlich eher an der Zeit, sobald sie aufkommen, wenn sie nicht schon 321 00:27:33,240 --> 00:27:37,500 existieren, Big Data-Vorhersagen zu entzaubern. Und zu sagen, das ist ein 322 00:27:37,500 --> 00:27:42,229 Mittel, was wir nutzen können aber letztlich müssen wir damit sehr 323 00:27:42,229 --> 00:27:53,109 aufpassen. *Husten aus dem Raum* Das Thema Propaganda vs. Fake News, auch 324 00:27:53,109 --> 00:28:02,480 da wo man anfängt. Wo fängt man an und wo hört man auf? Also das haben auch 325 00:28:02,480 --> 00:28:08,080 mehrere Forscher mir gesagt in dem Bereich. Ist die Propaganda der AFD jetzt 326 00:28:08,080 --> 00:28:17,200 schlecht? Ist die der CDU schlecht? Oder der CSU? Genau. Also meine Gedanken dazu 327 00:28:17,200 --> 00:28:23,160 letztlich, was diese Beobachtung sozialer Dynamiken und Beeinflussung bestimmter 328 00:28:23,160 --> 00:28:27,559 Teile, die wir jetzt bei den US-Wahlen gesehen haben, hing ja mit dieser starken 329 00:28:27,559 --> 00:28:30,899 Polarisierung auch zusammen und da wärs vielleicht mal an der Zeit auch diese 330 00:28:30,899 --> 00:28:41,600 Filterblasen zu durchstechen. Und ja, das zum politischen Bereich. Generell, wenn 331 00:28:41,600 --> 00:28:47,360 wir in die Zukunft blicken. Das ist wieder ein Zitat, da gehts letztlich um die 332 00:28:47,360 --> 00:28:52,620 griechischen Orakel: Es zählt nicht das Eintreffen der Vorhersage, sondern die 333 00:28:52,620 --> 00:28:57,059 Aktion, die jene hervorrufen wird. Also mit welchem Ziel wird eigentlich eine 334 00:28:57,059 --> 00:29:03,119 Vorhersage von Anfang an generiert. Und ich würde sagen, heute kann man schon 335 00:29:03,119 --> 00:29:07,370 sagen, die Zukunft hat eigentlich vier Seiten. Es gibt deine Prognose, ihre 336 00:29:07,370 --> 00:29:11,880 Prognose, die Zukunft (tm) und das, was wirklich passieren wird. 337 00:29:11,880 --> 00:29:15,480 *leises Lachen* Insofern vielen Dank fürs zuhören. 338 00:29:15,480 --> 00:29:27,430 *Applaus* 339 00:29:27,430 --> 00:29:33,260 Herald: Vielen Dank für den interessanten Vortrag. Bitte für die Leute, die uns 340 00:29:33,260 --> 00:29:40,810 verlassen, wenn... möglichst von dieser Tür, von rechter Seite. Ansonsten, wenn es 341 00:29:40,810 --> 00:29:47,980 noch Fragen gibt, bitte zu den Mikrophonen. Ich sehe 2. Wir fangen bei dir an, ja. 342 00:29:47,980 --> 00:29:53,910 Fragesteller: Ja, ich wollte mal fragen, kennst du eigentlich Project Cybersyn? 343 00:29:53,910 --> 00:29:58,649 Also wenn du das Foto... Du hattest ja vorhin das Foto von diesem Steuerraum von 344 00:29:58,649 --> 00:30:02,200 FutureICT und das hat mich sehr erinnert an Project Cybersyn. Das war damals unter 345 00:30:02,200 --> 00:30:06,130 der Regierung von Allende in Chile. Die wollten so einen Sozialismus bauen, 346 00:30:06,130 --> 00:30:08,420 basierend auf den technischen Möglichkeiten, die gerade so in den 70er 347 00:30:08,420 --> 00:30:13,110 Jahren aufkamen mit Computern alles zu steuern und sich alle Daten aus dem ganzen 348 00:30:13,110 --> 00:30:16,450 Land in so eine Steuerzentrale übermitteln zu lassen. Wo dann die Weisen 349 00:30:16,450 --> 00:30:22,580 sitzen, um dann das Land zu lenken. Also das vielleicht so für dich als weiteren 350 00:30:22,580 --> 00:30:26,649 Rechercheansatz, weil das auch ein schöner historischer Vergleich ist dazu. 351 00:30:28,549 --> 00:30:30,519 Karl Urban: Aber letztlich nicht mit digitalen Mitteln damals, oder? 352 00:30:30,519 --> 00:30:31,549 Wahrscheinlich. 353 00:30:31,549 --> 00:30:35,039 Fragesteller: Ja gabs da noch nicht so wirklich. Da wurden Daten noch mit Telex übermittelt. 354 00:30:39,939 --> 00:30:42,650 Herald: Ok. Frage von dieser Seite. 355 00:30:42,650 --> 00:30:46,310 Fragesteller: Hast du mal den Foundationzyklus von Asimov gelesen? Und 356 00:30:46,310 --> 00:30:50,639 wenn ja, wie nah hast du dich da dran gefühlt, mit deiner Forschung? 357 00:30:50,639 --> 00:30:53,790 Karl Urban: Ich bin vor dem Vortrag nach Asimov gefragt worden. Den Zyklus hab ich 358 00:30:53,790 --> 00:30:56,860 leider noch nicht gelesen, sonst hätte ich wahrscheinlich auch daraus was verwendet. 359 00:30:57,080 --> 00:30:58,259 Fragesteller: Dann empfehle ich das jetzt. 360 00:30:58,259 --> 00:30:59,420 Karl Urban: Ok. 361 00:30:59,460 --> 00:31:04,780 Herald: Vielen Dank. Vielen Dank nochmal. Ich denke wir haben keine Zeit mehr für 362 00:31:04,780 --> 00:31:07,000 weitere Fragen. Vielen Dank. 363 00:31:07,000 --> 00:31:10,060 *Applaus* 364 00:31:10,060 --> 00:31:16,371 *Abspannmusik* 365 00:31:16,371 --> 00:31:34,000 Untertitel erstellt von c3subtitles.de im Jahr 2017. Mach mit und hilf uns!