*Intro Musik*
Herald: Ihr findet das ja wahrscheinlich alle völlig normal mit großen Datenmengen
umzugehen. So Typen wie ich, die herkömmliche Journalisten sind, ich bin im
Hauptberuf Hörfunkjournalist, die verzweifeln regelmäßig daran. Also wir
haben gelernt, damals, Leute zu fragen, die sich mit irgendwas auskennen.
Jetzt ist Leute fragen, die sich mit großen
Datenmengen auskennen auch nicht unbedingt
zielführend für unserein, dafür gibts aber neuerdings einen relativ frischen Beruf,
dieser Beruf nennt sich Datenjournalist. Datenjournalisten sind diese Menschen, die
aus aberwitzig großen Datenmengen Zusammenhänge rauspopeln und diese
Zusammenhänge dann idealerweise auch noch so visualisieren,
dass solche Noobs wie ich das dann
auch verstehen und hinterher kompetent drüber reden können, oder
jedenfalls so aussehen können, als würden sie kompetent drüber reden und einer der
so Leute wie uns sehr dabei unterstützt, ist Datenjournalist. Das ist nämlich der
Michael Kreil und seinen Vortrag seht ihr jetzt. Viel Spaß.
*Applaus* Michael: Guten Morgen. Ihr habt gut
geschlafen, ich nicht, weil erstens halte ich jetzt einen Vortrag vor vielen Leuten
und zum anderen werde ich mich in ein-- mit einem Thema beschäftigen, das zu sehr
hitzigen Debatten und Shitstorms geführt hat und da möchte ich auch nicht im
Zentrum sein. Deswegen ist auch meine erste Folie der Disclaimer. Ich würde mich
politisch als links einordnen. Ich distanziere mich hiermit ausdrücklich
gegen jegliche Form von Rassismus, Sexismus, Antisemitismus,
Fremdenfeindlichkeit, Islamfeindlichkeit und allgemein gegen jede Form von
gruppenbezogener Menschlichkeit (*Applaus*) - Menschenfeindlichkeit. Und im Rahmen
dieses Vortrags bin ich Wissenschaftler und Beobachter einer hitzigen
Gesellschaftsdebatte und sehe mich somit der Neutralität verpflichtet. Ich möchte
die Debatte beobachten und nicht Teil von ihr sein. Es geht also nicht um meine
politische Position sondern um eine neutrale Analyse von Daten. Und dafür habe
ich mal 150 Folien vorbereitet. Ich hab den Übersetzungsengeln schon Bier
versprochen. Ähm ... genau, dann lass uns direkt reinschmeißen. Das erste ist die
Methodik. Das möchte ich gerne nochmal vorher erzählen, damit die Leute auch
wissen, wie es funktioniert und mir ist es auch wichtig, dass es reproduzierbar ist.
Es gibt ne Twitter-API, in der man Status und Tweets abfragen kann,
User abfragen kann, welche Listen veröffentlicht wurden.
Man kann danach suchen, gucken, welche Follower sie haben
und so weiter und so fort. Dann setzt man sich hin und dann baut man sich
son Interface für die API, wenn man sich ein bisschen Mühe gibt, packt man
auch noch einen Cache dazwischen. Das heißt wenn ich Anfragen an die Twitter-API
stelle und eine Anfrage kommt zweimal, dann holt er sie aus der
Datenbank und so weiter. Und wenn man sich richtig Mühe gibt und vielleicht auch ein
paar Tage oder Wochen investiert, dann skaliert man das in einer Art und Weise,
dass man nicht ein Interface hat, sondern ganz viele und jedes Einzelne davon steht
für einen anderen Twitter-Nutzer. Die Idee ist, dass ich nicht als einzelner Nutzer
abfrage, sondern ganz viele Nutzer können parallel die Twitter-API abfragen. Und
darüber gibt es so eine Art Load-Balancer, der guckt ob-- sozusagen, wie die Last
verteilt wird. Ziel der Aktion ist, die Twitter API ist nämlich limitiert. Ich
kann wenn ich zum Beispiel wissen möchte, wer wie wem folgt, darf ich pro Minute
durchschnittlich nur eine Anfrage stellen. Wenn aber ich von ganz vielen Leuten die
Autorisierung habe, in deren Namen Anfragen zu stellen, darf ich entsprechend
mehr Anfragen stellen. Das ist so eine Art demokratischer Prozess, finde ich da drin,
dass die Ressourcen von Twitter aufgeteilt werden. Umso mehr Leute mich bei meiner
API-Anfrage unterstützen, um so mehr Anfragen darf ich machen und umso mehr
Last darf ich verursachen. Finde ich sehr spann-- sympathisch. Mein Kollege jetzt
hat dann mal ein Interface aufgebaut, wo man einen Token spenden kann. Da klickt
man da halt drauf und dann kriegt man-- kriegen wir sozusagen einen langen Code,
der uns dann ermöglicht zusätzliche Anfragen an die API von Twitter zu
stellen. Großes Danke geht hier nochmal an Logbuch Netzpolitik, insbesondere Tim und
Linus, und natürlich an die fast 700 Spender und Spenderinnen, die uns Tokens
zur Verfügung gestellt haben. Das war not- wendig, um große Datenmengen aus Twitter
herauszuholen. Genau, damit kann ich dann sozusagen ...
*Applaus* Schon bei mir zu Hause kann ich dann über
Kabel Deutschland 10 Requests pro Sekunde absetzen, mal zum Vergleich, wenn ich
jetzt zum Beispiel mal die Metadaten aller 330 Millionen Twitter-Accounts abfragen
möchte, braucht man etwa vier Tage dafür. Das ist dann auch machbar, ohne die Tokens
kann es sich um Monate oder sogar um Jahre handeln. Das mal so ein bisschen erklärt,
technisch, wie das im Hintergrund funktioniert. Im Prinzip auch sehr stark
auf Twitter fokussiert, die Analysen. Genau. Erstes Thema, Fake News. Fake News
ist ein komplexes Thema. Ich habe jetzt mal eine Grafik übernommen von der
Stiftung Neue Verantwortung, ich finde die haben da die besten Kategorisierungen
gemacht, was Fake News sind und was Fake News nicht sind. Auf der linken Seite was
nicht Fake News sind, ist schlechte Politik, also Fake News als politischer
Kampfbegriff, zum Beispiel Trump gegen die New York Times oder so was, aber auch
Satire sind keine Fake News, schlechter Journalismus, Clickbaiting oder auch
Zeitungsenten sollen eigentlich nicht zu Fake News gezählt werden, Fake News sein--
oder sind gezielte Desinformation, falsch verstandene Inhalte und manipulierte
Inhalte, also oft sieht man, dass zum Beispiel Bilder beschnitten sind oder
retuschiert sind und so weiter oder völlig frei erfundene Inhalte. Ich habe leider
nur ne Stunde Zeit, deswegen kann ich mich jetzt nicht mit mehreren Fake News-
Wellen auseinandersetzen. Deswegen habe ich eine herausgenommen, die ich ganz
typisch und eindrucksvoll fand und zwar die Fake News über eine Reisewarnung nach
Schweden des Auswärtigen Amtes. Hier ist ein Tweet von der AfD Magdeburg, die sagt:
„Das Auswärtige Amt - Erhöhte Terrorwarnstufe für Schweden. Das hat
natürlich nichts mit irgendwas zu tun. Hashtag AfD wählen". Direkt danach-- naja
nicht direkt danach, einige Stunden oder Tage später kam ein Tweet des Auswärtigen
Amtes, die dann die Gegendarstellung veröffentlicht haben: „Es gibt keine
Reisewarnung für Schweden. Hashtag Fake News". Fast 2000 Tweets wurden zu diesem
Thema veröffentlicht und die kann ich jetzt nun mit diesem Twitter-Framework
runterladen, analysieren und mir ein paar Visualisierungen dazu ausdenken. Ich hab
mal die Eine gemacht, das ist jetzt ein Zeitstrahl. Auf der x-Achse sieht man die
Zeit. Hier geht's vom 2. März bis zum-- 0 Uhr bis zum 9. März 0 Uhr. Oben, die
Roten, das sind die Fake News-Verbreiter. Unten, das sind diejenigen, die die
Gegendarstellungen verbreiten. Auf dem Zeitstrahl sind -- viel zu klein, das kann
man jetzt drauf nicht sehen -- der Zeitpunkt, wann ein Tweet veröffentlicht
wurde und wenn er retweetet wurde,
kriegt er sozusagen einen Bogen,
zu dem Zeitpunkt, wohin er retweetet wurde.
Das hat den Vorteil,
dass ich nicht nur sehe, wie viele Tweets
veröffentlicht wurden, sondern auch sehen kann,
welchen Impact dieser Tweet hat.
Wenn er also, zum Beispiel veröffentlicht wird und keiner
geht damit um, dann ist es halt nur ein Punkt, aber wenn es viele Leute retweeten,
gibts dann halt große Bögen dazu. Das-- Den ersten Tweet, den ich finden konnte,
zu der Fake News, dass es eine Reisewarnung nach Schweden gibt, war-- ist
bereits am 28. September veröffentlicht worden, wurde aber nicht beachtet. Keine
Favs, keine Retweets, obwohl der Account aktuell 481 Follower hat. Am--, im Februar
gab es dann nochmal einen Tweet dazu. Der Account hat jetzt aber nur einen Follower
und der Tweet hat keine Retweets. Das heißt also die Themen kamen schon mal
vorher hoch, aber sie wurden nicht weitergetragen. Noch ein Beispiel aus dem
1. März 2017. Also jetzt gehen wir mal rüber zu unserem Zeitstrahl, da gibt's
dann den ersten, der dazu was twittert, einen Screenshot von einem Bot, der
Reisewarnungen veröffentlicht. Der Tweet hat immerhin 6 Tweets und 6 Favs-- 6
Retweets und 6 Favs erreicht und hat damit sozusagen den ersten kleinen Impact. Dann
steigert es sich immer mehr, dann gibt's die Reisewarnung für Schweden mit 29
Retweets. Der nächste Tweet, kann ich leider nicht mehr anzeigen, weil der
Account inzwischen gesperrt wurde, das ist auch ein Phänomen, das man immer wieder
sieht, dass in diesem Bereich Accounts gesperrt werden von Twitter. „Trump hatte
recht, Auswärtiges Amt gibt Reisewarnung für Schweden heraus". Genau, und verweist
auf einen Artikel von zuerst.de. 45 Retweets und es steigert sich immer mehr.
„Doch nicht alles ruhig in Schweden". Holger Ewald. „Islamterror". Und dann zum
Schluss die AfD Magdeburg mit--, die dann aufspringt und dann das erste AfD-Hashtag
dran setzt und „Multikulturell scheint es nicht so richtig zu laufen in Schweden".
Man sieht, dass es eine Steigerung gibt von fängt an mit Reisehinweisen und endet
mit Islamterror. Ich springe jetzt mal ganz weit nach vorne zu den Antworten.
Diejenigen, die also dann die Gegendarstellung veröffentlichen, da
fing's, oder der Startschuss war da das Auswärtige Amt, die in einem-- die dann
erklären, dass es sich um Fake News handelt und relativ schnell springen dann
halt auch die Medien mit auf, die das sozusagen weiterverbreiten. Und zum
Schluss sieht man den gesamten Zeitstrahl nochmal und das Interessante ist dabei,
dass das Thema gar nicht sozusagen, dass ne Fake News veröffentlicht wird und dann
schlägt die total ein und alle sind total empört, sondern man stottert sich
sozusagen förmlich in die Fake News rein. Also es fängt klein an und dann werden sie
nochmal weiter überspitzt und man hat eher den Eindruck, als ob da rumexperimentiert
wird, bis das Netzwerk eine Resonanz hervorruft. Ich würde persönlich
behaupten, Fake News sind eigentlich Meme, die sich im Internet verbreiten. Oft
haben sie keine singuläre Quelle, sondern sie bilden sich erst im Netzwerk oder
anders formuliert, das Kern-Phänomen an Fake News ist nicht deren Existenz,
sondern, dass sie sich so gut verbreiten können, also das Problem ist nicht die
Quelle, die sie erzeugt, sondern dass sie eine so große Resonanz im Netzwerk findet.
Würde man also Fake-News-Quellen verbieten, würden sie trotzdem weiterhin
entstehen, im Netzwerk. Und das ist halt wichtig, da Fake News als Meme eine große
Reichweite haben, kann man aus ihnen Kapital schlagen, politisches oder
monetäres Kapital. Und da möchte ich mal aus dem amerikanischen Raum, zum Beispiel
Breitband News und-- Breitbart News und Trump erwähnen, die monetäres Kapital oder
politisches Kapital daraus schlagen. Aber zurück zu den Reisewarnungen. Man kann
sie nicht nur im zeitlichen Verlauf sich anschauen, sondern man kann tiefer
einsteigen. Man kann halt gucken, welche Accounts haben denn jetzt die
Gegendarstellungen und die Fake News verbreitet und kann gucken, wie die sich
gegenseitig folgen. Und daraus baut man dann so ein Netzwerk. Die Blauen sind die
Gegendarstellungensverbreiter und die Roten sind die Fake-News-Verbreiter. Um so
näher sie grafisch dargestellt werden, umso also-- folgen die sich. Also
sozusagen, alle Kugel stoßen sich ab und die, die sich folgen, ziehen sich an und
daraus kann man halt solche komplexen Netzwerke grafisch darstellen. Das
Interessante ist, dass die Fake-News- Verbreiter sich in einer Gruppe fast
außerhalb befinden und eigentlich nur noch über die Massenmedien verbunden sind mit
der Gesellschaft. Man sieht natürlich auch noch Tendenzen, dass viele Fake-News-
Verbreiter dann mit Lügenpresse usw. versuchen sich weiter von diesen--
von den Medien zu distanzieren. Aber tatsächlich sind es zwei verschiedene
Gruppen, die man hier sehen kann und das erste Mal, als ich das Bild gesehen habe,
habe ich gedacht: "Oh, das ist eine Filterblase oder eine Echokammer oder
sowas." Das Schöne ist, weil wir mit Twitter-APIs tiefer in die Daten rein-
gucken können, können wir von jedem ein-- die die Timeline rekonstruieren. Also ich
hab jetzt mal so schematisch dargestellt die Gegendarsteller und die Fake-News-
Verbreiter und man sieht, dass von den Fake-News-Verbreitern 89% die
Gegendarstellungen mitbekommen haben, aber sie nicht weiter teilen. Und nur 45%
derjenigen, die die Gegendarstellung verbreitet haben, haben
die tatsächliche ursprüngliche Fake News eigentlich mitbekommen. Das Ergebnis
daraus ist, es gibt eine Filterblase und zwar bekommen wir die Fake News nicht mit.
*Gelächter* Was ist jetzt eigentlich tatsächlich
dieser Impact dieser Gruppe. Und dann hab' ich ganz ganz schweres Geschütz
aufgefahren und habe 1,6 Millionen Twitter-Accounts, die angegeben haben,
dass sie Deutsch sprechen, extrahiert und geguckt, wie die sich gegenseitig folgen.
Also ähnlich wie diese Filterblasengrafik gerade sieht man hier jetzt das gesamte
deutschsprachige Twitternetzwerk, eingefärbt nach Herkunftsland. Also hier
unten haben wir die Schweiz und da haben wir Österreich, wenn man ein bisschen
klickt, sieht man das so wer sich dahinter befindet.
Und das Schöne ist, ...
das ist son Tool was ich gebastelt habe Man kann das unterschiedlich einfärben.
Hier kann man zum Beispiel mal das Alter des Accounts einfärben. Rot
sind die alten, grün sind die eher neueren Accounts. Hier oben sind die
Jugendlichen, da ist viel Justin Bieber und YouTube und Let's Play dabei. Hier
haben wir eine Blase, die sich mit Porn beschäftigt (*Lachen*), nicht drauf klicken.
Hier haben wir eine Gruppe, die sich mit Marketing beschäftigt, so würde ich das
mal umschreiben, größtenteils SEO und keine Ahnung was. Und das sind die Leute,
die sich eigentlich mit Politik und Medien beschäftigen und vielleicht auch die, die
jetzt hier auch hier im Raum auf Twitter sind, wahrscheinlich am meisten
mitbekommen. Man kann aber diese Grafik auch anders einfärben und zwar kann ich
mal einfärben, welche Bundestagsabgeordneten oder Kandidaten von
Parteien wo sich in diesem Netzwerk befinden und entsprechend einfärben. Und
man sieht zum Beispiel Gelb FDP, Schwarz, Rot, Grün, Blau, Rot, Grün befinden sich
alle so in einer verteilten Gruppe und es gibt eine sehr enge Gruppe aus Leuten, die
Mitglieder der AfD sind und auf Twitter aktiv sind. Ich vergrößer das mal so ein
bisschen. Und jetzt verändere ich wieder diese Färbung und zwar als erstes
die Fake-News-Verbreiter. Ja. *Gelächter*
Der Witz ist. *Applaus*
Der Witz ist, dass es nicht die AfD- Abgeordneten selber sind, die das Fake-
News verbreiten, aber sie befinden sich in einer gleichen Gruppe da drin. Man kann
auch einfärben nach Alter. Man sieht, dass die Accounts dieser Gruppe eher jung sind,
also relativ frisch auf Twitter. Sie haben eine sehr hohe Aktivität. Rot heißt viele
Tweets pro Tag veröffentlicht werden. Und man kann von dieser Gruppe auch
schauen, welche typischen Begriffe sie verwenden, um zu vergleichen, mit was das
restliche Twitter-Netzwerk für Begriffe verwendet. Und die Begriffe, die am
häufigsten in dieser Gruppe verwendet werden, im Vergleich zu anderen
Twitter-Accounts, sind Islam, Deutschland, Migranten, Merkel, Maas, Politik,
Freiheitskampf, Flüchtlinge, SPD, Netzdurchsetzungsgesetz, NPD, Antifa,
Zensur, PEGIDA, Syrer, Asylbewerber. Man sieht relativ klar, dass diese Gruppe auch
eher monothematisch unterwegs ist. Also, was ist das für eine Gruppe? Und ich sehe
wir müssen uns beeilen. Sie sind relativ neu auf Twitter. Sie stehen der AfD nah.
Sie teilen oft Fake News. Sie sind auf Twitter sehr aktiv. Und sie befassen sich
fast monothematisch mit Migrations- und Asylpolitik. Und ich komme auf diese
Gruppe wieder zurück, denn den ersten- die erste Theorie, die man jetzt reinwerfen
würde, sind Social Bots. Und da es in diesem Vortrag auch darum geht, ist der
nächste Block sich mal das Thema Social Bots genauer anzuschauen. Zu Social Bots
wurde eine Menge veröffentlicht, auch in den Medien. „Warum Meinungsroboter die
Gefahr für die Demokratie werden.“, „Digitale Dreckschleudern“, „Angriff der
Meinungsroboter“. Jeder hat da irgendwie auch seine Meinung und seine Gefahr
hervorgebracht. Was sind eigentlich Social Bots? Es gibt aus dem Büro für
Technikfolgen-Abschätzung beim Deutschen Bundestag einen Absatz, den ich mal
herausgegriffen habe. Social Bots, die Computerprogramme, die uns irgendwie in
den sozialen Medien manipulieren können. „Echte Menschen, die mit dem Social Bot
kommunizieren, nehmen diese nicht als durch Algorithmen ausgelöste automatische
Kommunikation, sondern als echte Internet- teilnehmer wahr und sind sich der
Manipulation nicht bewusst." Konkret, was diese Social Bots angeblich machen sollen
können, sind, sie können den Turing-Test bestehen. Das heißt, Die Idee eines Turing
Tests ist, ich interagiere mit etwas und kann hinterher sagen,
ob es ein Mensch, oder ein Computer ist.
Und diese Social Bots sollen jetzt magischer Weise diesen Turing-Test
bestehen können und können nicht nur so tun als wären sie ein Mensch, sondern sie
können angeblich sogar noch unsere Meinung beeinflussen. Naja, zumindest hat der
Bundestag veröffentlicht:
"Wirkung von Social Bots ist unter Sachverständigen strittig."
Ich hab mal extra das vorgespult, wo Linus Neumann zu sehen ist. Aber, da ich
ja so ein Framework habe, kann ich jetzt auch selber mal reinschauen. Was sind denn
diese Social Bots? Da kommt man schnell in so einen Teufelskreis. Wenn ich Social
Bots auf Twitter finden möchte, dann muss ich sie erstmal suchen. Und dazu muss ich
erst mal wissen, wie sie denn eigentlich aussehen. Und um zu wissen, wie sie
aussehen, muss ich sie erst mal analysieren können und dazu brauche ich
erst mal welche. Also, zu sagen „Okay, da gibts irgendwelche.", das bringt nichts.
Ich muss entweder eine Gruppe haben, um sie analysieren zu können, damit ich die
Eigenschaften rauskriegen kann, oder andersrum. Und diesen Teufelskreis
durchbrechen, gibt unterschiedliche Möglichkeiten. Ich habe mich mal für den
folgenden Weg entschlossen. Ich kaufe jetzt einfach mal Social Bots.
*Gelächter*
Kleine Anmerkung, Moment, Moment.
Es sind nicht wirklich Social Bots im dem engeren Sinne,
sondern ich hab mir einfach 4.500 Bots gekauft. Ob die jetzt tatsächlich dann
auch mit den Leuten sozial interagieren usw., weiß ich ja nicht. Aber im
Kern hab ich mir einen Twitter-Account Software Team Berlin geholt. Habe keinem
gesagt, damit ich also weiß, dass kein realer Mensch diesem Account folgt und
habe dann auf Google gesucht „buy Twitter Bots". Genau. Und dann gibt's dann 4.500
Follower und davon sind 100% Bots. Das ist nur um zu gucken, welche
Technologien werden dann eingesetzt, obs dann Follower Bots sind usw. Um zu
gucken, sehe ich dann bestimmte Eigenschaften, die ich bei Menschen nicht
sehe. Also sozusagen eher eine Trockenübung, ja. Also wieder das große
Twitter-Framework draufgeworfen und die Metadaten analysiert. Und raus kommt
folgende Grafik: Jeder einzelne Punkt ist eines dieser eingekauften Follower. 4.500
Punkte, und ich weiß 100 % Bots dabei. Und ich versuche die nun zu
sortieren nach ihren Eigenschaften. Alles, was eher wie ein Bot aussieht, ist auf der
linken Seite und alles ,was eher wie ein Mensch aussieht, auf der rechten Seite.
Ich kann jetzt auf die einzelnen drauf klicken; ich klicke jetzt mal auf den ganz
linken unteren drauf, dann hab ich einen Asus D5B23, und habe unterschiedliche
Eigenschaften von dem, die ich von ihm überprüft habe, wie zum Beispiel, ob er
immer noch sozusagen ein Egg ist, also ob er noch gar kein Avatar Bild hochgeladen
hat, ob er weniger als 10 Follower hat, wieviele Favs er hat, abgesetzt hat. Ob er
noch gar keine Beschreibungstext für sich angegeben hat und ob er keine Zeitzone
angegeben hat. Also so die ganzen Metadaten, die man halt aus Twitter
herausbekommt zum analysieren, um zu gucken,
ob die sich denn irgendwie strukturieren und gruppieren.
Man sieht auch ganz links, das sind so ein Bisschen die sehr
dummen Bots. Die sind jung und teilweise tun sie auch gar nichts, sondern folgen
nur Leuten. Dann gibt es einen großen und breiten Bereich, teilweise sehr
realistische Bots dabei, teilweise sind es sogar reale Accounts die verwaist sind,
also die seit drei Jahren inaktiv sind und auf irgendeiner Art, also aus irgendeinem
Grund übernommen wurden. Wahrscheinlich hat sich da einer mal mit Passwort
durchprobieren massenhaft versucht verwaiste Accounts zu übernehmen. Und
die dritte, und das fand ich sehr interessant, das sind Accounts die
teilweise sogar verifizierte Menschen sind. Also ich habe jetzt mal schonmal
Peggy, die ist Moderatorin aus den Staaten irgendwo, Jeff Zausch ist ein Survival
Spezialist und Chris Glorioso. Das sind, das sind reale Personen, die mir gefolgt
sind weil ich dafür bezahlt habe, als Bot, und das fand ich sehr merkwürdig. Ich habe
versucht mit den Leuten Kontakt aufzunehmen; nicht alle haben mir
geantwortet. Der Grund dafür ist, dass ihr Account gehijacked wurde und sie haben
dann eigentlich nur noch DMs von irgendwelchen fremden Accounts bekommen.
Die haben auf DMS auch gar nicht mehr so richtig reagiert. Ich habe auch versucht
herauszubekommen, auf welchem Wege das passiert ist – ob sie sich dort irgendwie
einen Twitter Service eingetreten haben der in ihrem Namen postet. Ich weiß es
nicht. Laut eigenen Aussagen ging es dann aber weniger um politische Inhalte,
sondern Zitat, es war eher "Sex Scheisse" die dann in ihren Twitter Timelines
veröffentlicht wurde. Was ich aber spannend finde, ist wenn man so eine CDU
Forderung, Kennzeichnung von Social Bots. Ja was ist denn, wenn der eigene Account
übernommen wurde. Also der wird dann, der eigene Account ist mit einmal halb
automatisiert, ob man es will oder nicht. Eine Fragestellung die ich dann auch
nochmal jetzt kurz im Vortrag hatte weil die Daten ja jetzt 11 Monate alt sind:
Welche Accounts gibts denn heute noch? Und man sieht grün, die Accounts gibt's heute
noch, elf, gelb sind die Accounts die in der Zwischenzeit von Twitter gesperrt
wurden, und rot die Accounts die von sich aus sich gelöscht haben. Genau. Also man
sieht zumindest dass da Bewegung von Seiten Twitter passiert. Was man jetzt an
diesen Bots auch noch analysieren kann, ist die Follower Netzwerke, wie die sich
also gegenseitig folgen. Da habe ich mal folgende Grafik gemacht. Das sind so die
4.5 Tausend Bots und wem sie folgen und von wem sie gefolgt werden. Rot
*Trinken* rot sind die Bots, 4.5 Tausend, und blau sind die anderen Nutzer, andere
Accounts oder so weiter. Da kann man auch mal ein Bisschen rein zoomen hier, sieht
auch ganz hübsch aus. Fast wie fliegende Spaghetti Monster, fand ich. Die Blauen,
das scheinen mir Jugendliche zu sein, die sich einfach Twitter-Bots oder Follower
gekauft haben, was eigentlich ganz interessant ist dass ich dann damit
eigentlich die Kunden die analysieren kann. Wobei man vorsichtig sein muss,
jemandem 10,000 Bots oder Follower künstlich anzuhängen ist halt relativ
einfach zu machen und ist auch gar nicht so teuer. 50,000 Bots gibt es so für 60
Dollar. Wie könnte man Bots noch erkennen? Und da gibt es halt so eine
Tweet-App Analyse. Ich weiß nicht ob ihr euch noch erinnern könnt, vor einigen
Jahren stand unter jedem Tweet noch drunter, mit welcher App man diesen Tweet
veröffentlicht hat. Das steht leider jetzt nicht mehr drunter, aber die Daten sind
noch in der API drin. So sieht übrigens so eine API Antwort von Twitter aus, und da
steht unter anderem auch Source drin, d.h. also mit welchem Service man das
veröffentlicht hat. Habe ich mal über die Bots rüber laufen lassen. Twitter für
iPhone, Android, Web Client, aber auch Facebook, die automatisch dann sozusagen
das heisst den Post als Tweet veröffentlichen und Instagram. Und
interessant fand ich halt 350 weitere Services, ja. So sehen die aus. Genau.
Also es ist ein riesen Potpourri, Koreanisch Japanisch alles dabei. Genau.
Das war mir ja auch gar nicht so richtig klar vorher, dass es eigentlich ein
riesiges enormes Ökosystem gibt von Skripten die auf Twitter Sachen
veröffentlichen. Und wie gesagt, halt in meiner Probe sind es allein 350. Um den
Leuten auch zu zeigen, was das denn jetzt eigentlich für Services sind, die dahinter
stecken, habe ich mal so ein paar herausgegriffen. Hier ist zum Beispiel
FeedBlitz. Das ist eigentlich ein Bot der nichts weiter macht als einen RSS Feed in
Twitter zu posten. Haben wir twittbot.net, das ist irgendwie was selber gebasteltes.
Der twittert aber irgendwie nur Käse, das hat sich wahrscheinlich einer mal ein
Bisschen herumexperimentiert oder sowas. Es gibt aber auch den Kim Kardashian:
Hollywood Service, der dir dann wahrscheinlich die neuen Spielestände
veröffentlich. Interessant fand ich auch, es gab 9 gelöschte Services, die
dann umbenannt wurden in "Erased" und eine lange Nummer. Ich würde mich mal
interessieren ob die Nummer fortlaufend ist, denn sie endet mit 5.6 Millionen.
Sind das jetzt 5.6 Millionen gelöschte Services, oder sind insgesamt bei Twitter
schon 5.6 Millionen angemeldet worden. Ich weiß es nicht. Aber wir können darüber
sprechen oder wir können sagen, dass auf Twitter nicht mehr nur Menschen unterwegs
sind sondern halt auch Services die wir nutzen. Genau. Bots sind auch nicht nur
böse. Ich habe mal ein paar herausgegriffen. Ich weiß nicht ob jemand
die Rathausuhr Neukölln kennt. *Applaus* & *Lachen* Ist der Entwickler da? Nein. Der
Entwickler der das Rathaus Uhrwerk Neukölln als Service benutzt, also der
veröffentlicht sowas wie acht bämm bämm bämm bämm bämm bämm bämm bämm.
Vor kurzem bin ich übrigens auf den Wichser Bot gestoßen. Wenn man einen Tweet
veröffentlicht wo das Wort Wichser drin vorkommt, dann retweetet der einen.
Spiegelonline Top benutzt den Service if this than that, zu 100%, also nicht
normal SpiegelOnline sondern Top. Und ZEIT ONLINE Digital hat sich auch einen Service
gebaut, ich weiß nicht ob der eingekauft oder selbst entwickelt ist, aber der ist
registriert als ZEIT ONLINE. Ich fasse zusammen: Woran könnte man Bots erkennen?
Ist das Profil vollständig? Ist ein Avatar Bild und Beschreibungstext dran? Ist der
Account Teil eines Netzwerkes? Von welcher App werden die Tweets abgeschickt und wie
sehen die anderen Metadaten des Accounts oder der Tweets aus? Interessant ist,
dass das aber alles Indizien Beweise sind. Wenn man anfängt, sich tatsächlich mal
hinzusetzen und zu gucken, ist das nun ein Bot oder nicht, kommt man relativ schnell
ins Grübeln. Jegliche Bot Erscheinung könnte auch gut menschlich erklärt sein
und andersherum. Man kann aber auch
rangehen, dass man jedes menschliche Verhalten in
die Sphäre, das könnte und natürlich auch ein hochintelligente KI sein schien.
Egal, auf jeden Fall mit diesem Kenntnisstand sag ich mal lasst uns jetzt
mal Bots finden. Ich habe gesucht. Ich hab lange lange lange gesucht und ich kürz es
mal ab mit: ich habe gefunden inaktive Accounts, Service Accounts, Trolle welche
Teenager, Rassisten und Hater und Spam mit links zu YouTube Polen und Bitcoin schickt
und so weiter. Aber was ich nicht gefunden habe ist diese politisch aktiven Social
Bot Netzwerke, und dafür gibt es zwei Erklärungen: Entweder die gibts nicht oder
Ich bin zu doof. Also fragen wir mal die Profis wie machen die das denn. Und einer
davon ist zum Beispiel Professor Dr. Simon Hegelich, Forschungsfeld Political Data
Science, Forschungsmethoden Machine Learning plus X. Ist das VELTINS, die mit
plus X ist Alkohol, ne, ich weiß nicht, keine Ahnung. Der veröffentlicht Studien
zum Beispiel für die Konrad-Adenauer- Stiftung mit dem Titel "Invasion der
Meinungs-Roboter". Leider wird in dieser Studie die Methodik nicht beschrieben.
Hegelich hatte selber damals mit Professor Dietmar Jaresko eine Studie veröffentlicht
wo sie tatsächlich ein Bot-Netzwerk gefunden haben in der Ukraine. Was sie
dabei identifizieren konnten ist dass diese Accounts unter einem Service
"twifarm" prorussische Meldungen veröffentlicht haben, insgesamt 1740 Bots
haben sie darunter gefunden. Und genau das ist auf jeden Fall, das kann man glaube
ich sagen, ein Bot-Netzwerk, was dort in der Ukraine gefunden wurde. Aber wie sieht
das eigentlich mit der deutschen Debatte aus? Und dazu hab ich, vielleicht habs ich
auch nicht gefunden aber ich habe zumindest keine Studie von Prof. Hegelich
dazu gefunden, mit einer nachprüfbaren Methodik. Was ich aber gefunden habe ist
ein ZDF Bericht, ZDF Zoom "Alles nur Lüge? Wie im Netz getäuscht wird". Professor
Simon Hegelich hatte hier die Aufgabe, aus Gigabytes an Daten Social Bots zu suchen.
Und er hatte einen möglichen Kandidaten gefunden, und zwar Egon Dombrowski, der
136 Posts am Tag veröffentlich mit ganz klarer Tendenz zu Pegida und AfD. Nun ist
natürlich spannend: Ist das vielleicht ein gesteuerter Bot? Oder handelt es sich
dabei um einen realen Menschen? Die Redaktion hat ihn einfach mal
angeschrieben, und der potenzielle Social Bot heißt Egon Dombrowski. Ist 50 Jahre
alt, berufsunfähig Rentner, lebt in Erfurt und war in einem Gemeinderat für die SPD.
Und jetzt ist er auf Facebook sehr aktiv. Medien bezeichnet er als Propaganda-
Presse, und er macht Werbung für die AfD und wird laut eigener Aussage nicht von
der AfD oder anderen bezahlt, er macht das aus eigener überzeugung. Gut, also der
Versuch, hier einen Social Bot zu finden, ist missglückt, wir haben leider nur eine
reale Person gefunden. Aber es gibt auch andere die sich damit beschäftigen,
beispielsweise botswatch.de, die versuchen, parallel zu wichtigen Events in
Deutschland zu gucken, wie viel sich auf Twitter nun Social Bots einmischen,
veröffentlichen auch das Bot-Barometer und so weiter. Und da gibts auch einen Link
zur Methode wie sie das machen, und da steht dann drin "Accounts die
durchschnittlich gleich oder mehr als 50 Tweets am Tag veröffentlichen". Hab ich
ihnen gesagt "Naja, Dombrowski schafft 136 Posts am Tag." Ich hatte, weil
wir die Bundestagswahl beobachtet haben eine lange Liste von Accounts
zusammengestellt, die irgendwie beim Thema Bundestagswahl mitmischten
und bin die einfach mal durchgegangen,
an welchen Tagen haben die mehr als 50 Tweets abgesetzt und hier ist
mal so ein bisschen Zusammenfassung: sogar eine CDU/CSU und FDP haben das geschafft.
Genau. Also, 50 Tweets am Tag und schon ist man Social Bot, mit drunter sind
Medien wie Welt, die schaffen 190 am Tag, Focus Online 97 am Tag. Auch Christopher
Lauer 72. Anja Schillhaneck von den Bündnes 90 / Die Grünen im Berliner
Abgeordnetenhaus schafft fast die Grenze mit 50 am Tag. Und natürlich auch die
Parteien vor den Bundestagswahlen, die dann natürlich in den sozialen Netzwerken
besonders aktiv sind, schaffen mehr als 50, und dann noch Hipster, Aktivisten,
AfD-Anhänger darunter geschrieben. Also 50 Tweets am Tag als Kriterium für Social
Bots ist wissenschaftlich unseriös. Da frage ich mich natürlich: Wie kommen die
da drauf? Und davor steht es auch: Das sei das Social Bot-Kriterium der Oxford-
Universität. Das finde ich natürlich spannend, und habe dann angefangen, die
ganzen Studien und wissenschaftlichen Paper dazu durchgelesen wie deren Methode
ist. Und ich hab nur zwei herausgegriffen, weil es wirklich eine Menge ist, die
besonders das deutlich machen. Social Bots bei den US-Wahlen. Das ist ein Paper was
veröffentlicht wurde mit dem Titel "Bots and Automation over Twitter during the
U.S. Election" und ich spule mal vor was an welcher Stelle Sie das definieren. Da
muss ich mal kurz sagen: Sie fangen halt an, von Social Bots zu reden. Dann heißt
es irgendwann "Social Bot like" und dann steht dann so etwas wie "Heavy Automated
Bots". Und dann steht dann zum Schluss "we define a high level of automation as
accounts that post at least 50 times a day using one of these election-related
hashtags". Das heißt also, wer mehr als 50 Mal am Tag ein bestimmtes Hashtag
veröffentlicht, wird als social Bot kategorisiert. Die Hashtags sind die hier.
Der erste Block sind die pro-Trump- Hashtags, zweite Block die pro-Clinton-
Hashtags, und der dritte Block sind Hashtags, die sich generell um die
amerikanische Wahl beschäftigen. Aber zu dieser Definition von Social Bots habe ich
mal ein paar Fragen: Also erstens, warum sind das 50 und nicht 30 oder 100 Tweets
am Tag? Und gilt das dann für alle Länder, also kann man jetzt dieses Kriterium aus
Amerika eins zu eins übernehmen für Deutschland? Und was für Accounts sind das
eigentlich? Ich meine wenn ich die wenn ich die identifizieren kann, dann kann ich
die ja auch mal genauer anschauen, wie viele Follower haben die? Wie viele Favs
und retweets haben sie? Vielleicht veröffentlichen sie ja wahnsinnig viele
Tweets aber keiner liest es. Und über welches Service posten sie? Das hatte ich
vorhin gezeigt, dass man das nachschauen kann. Und klar kann ich verstehen, dass es
halt eine Menge Accounts sind, aber es gibt eine
wissenschaftlich statistisch saubere Methode:
Man nimmt einfach eine Stichprobe, man wählt einfach mal zufällig
100 aus und guckt sich halt an, was das für Accounts sind, um zu gucken, ob sie
tatsächlichen politischen Einfluss haben. Dazu gibts aber in dieser Studie keine und
auch den anderen keine Antwort. Leider kann ich das auch nicht überprüfen, weil
die Universität Oxford die Daten dazu nicht veröffentlicht hat. Das liegt
teilweise an der Developer API von, oder den Guidelines von Twitter. Das liegt aber
auch daran, oder gibt es einen Ausweg da drauß: Und zwar kann man nämlich die Liste
der Twitter IDs veröffentlichen, das darf man nämlich, und kann sich dann sozusagen
nachträglich den Tweet nochmal holen und genauer analysieren. Zum Glück gibt es von
der George Washington Universität eine Veröffentlichung "2016 United States
Presidential Election Tweet IDs". Da gibt es unter anderem auch eine Liste von
Tweets, die den Hashtag "Election Day" verwendet haben. Das heißt ich hab jetzt
leider nicht die gleiche Datenbasis wie die Universität Oxford. Ich kann aber
einen kleinen Ausschnitt rausnehmen und zwar mir nur angucken, wer hat am Wahltag
mehr als 100 mal eines von diesen Hashtags verwendet plus den Hashtag "Election Day".
Und diejenigen, die sogar mehr als 100 Mal am Wahltag getwittert haben sind diese 12,
das sind sozusagen die laut Social Both Kriterien die die am deutlichsten als
Social Bots sich definieren. Und wenn ihr jetzt mal wissen wollt, wer denn dieses
Social Bots wirklich sind: Nehmen wir uns mal Zeit und gucken uns jeden einzelnen
von diesen 12 an. Das erste ist ein @dreamedofdust, der 437 Tweets am Wahltag
veröffentlicht hat (mit diesen erwähnten Hashtags), und was er macht: er twittert
Links zu reddit.com/r/The_Donald zu diesen einzelnen Kommentaren. Und er benutzt
dabei If This Then That. Und bot: klares Ja, auf jeden Fall. Was er aber dabei tut
ist bereits veröffentlichte Kommentare im Reddit-Forum einfach nochmal in diesem
Account zu spiegeln, und ich lehne mich mal aus dem Fenster wenn ich sage:
Einfluss? Kaum. Also völlig kommentarlos, wie gesagt, spiegelt einfach nur Reddit-
Kommentare. Der nächste Account, ITX News, twittert Screenshots von Texten,
völlig abgedrehter Verschwörungsquark, also da ist, da sind Sachen dabei, die
Queen wurde von Hindus vergiftet. Und, also wirklich, find ich völlig abgedreht.
Und er benutzt für seine für seine Screenshots, die er dann veröffentlicht,
immer die aktuellen trending Hashtags. Er hat vier Follower, und er ist ganz klar
kein Bot. Der nächste Account: Er ist Trump-Supporter weil er Clinton furchtbar
findet. Er nutzt intensiv Hashtags, lebt auf Hawaii, schläft sechs Stunden, macht
Mittagspause - das sieht man an den an den Zeiten, wann er twittert. Und der ist auf
jeden Fall kein Bot. Der nächste. Offensichtlich liebt er Bernie Sanders, er
hasst Donald Trump, Hillary Clinton, die Demokraten (weil sie nämlich Hillary
Clinton aufgestellt haben statt Bernie Sanders), Bill und Chelsea Clinton, und er
hasst Expedia, weil Chelsea Clinton jetzt im Board sitzt. Aber ein Bot ist er nicht.
Der nächste. Der sieht mir doch sehr fischig aus. Ich vermute mal, dass es eine
spanischsprachige Click-Farm ist, die versucht, User auf Werbeseiten zu locken.
Die machen dann Werbung für was weiß ich, irgendwelche Apps oder sowas, überhaupt
gar keine politischen Inhalte, denn sie nutzen einfach nur Training Hashtags um
sich in politischen Diskussionen sozusagen da noch nochmal ihre Links zu
veröffentlichen, haben einen Follower. Ob es ein Bot ist oder nicht? Ich sag mal,
vermutlich nicht. Da sind halt Tippfehler drin, das wäre eigentlich ein schlecht
programmierter Bot (oder besonders schlau). Im Zweifelsfall könnt ihr ihn
gern als Bot definieren, aber impact hat er keinen. Jetzt wird es ein bisschen
spannender. Ave Hurley ist eine Oma aus Brooklyn, sie ist eine Künstlerin, malt
Bilder, macht Schmuck, verkauft sie in einem Shop und hat vor kurzem mit dem
Rauchen aufgehört. An dem Wahltag hat sie wie wild für Trump getwittert und hat ihn
unterstützt und hat versucht, Leute zu überzeugen. Aber ein Bot ist sie auch
nicht. Dann hab ich hier noch den hier. Der ist aus Tokio. Ich vermute es ist ein
Student, der twittert auf Japanisch und ab dem Moment war ich so ein bisschen Lost in
Translation um herauszukriegen, was er da möchte. Aber ich vermute, dass er Toru
Hashimoto und Kazuma Ieri hasst, das eine ist ein Politiker, das andere ein
Internet Entrepreneur. Er hat am Wahlabend auf einen Tweet zu Kazuma gefeuert, muss
man sagen, und hat da einfach die aktuellen Trending hashtags genommen, und
da war natürlich auch die Election dabei, aber ein Bot ist es nicht. Der nächste:
Paolo. Paolo kann 13 Tweets in drei Sekunden schicken.
*Gelächter* *Applaus*
Er nutzt dafür drei unbekannte italienische Twitter-Services, einer davon
ist in der Zwischenzeit gesperrt. Pro Hillary. Tweets werden so gut wie gar
nicht gefavt und retweetet. Ein Bot ist er auf jeden Fall, aber einen Einfluss hat
er, glaube ich zumindest, keinen. Dann haben wir noch den hier. Er liebt Jesus,
Die Familie, Trump, Wikileaks, Fox News, und Waffen.
*Gelächter* Hasst Abtreibung, Feminismus, Hillary
Clinton, CNN, und Obamacare. Aber ein Bot ist es nicht. Dann haben wir auch
PresidentDrumf. Der ist ein Satire- Account. Teilweise witzig, hat trotzdem
nur einen Follower. *Gelächter*
Aber ein Bot ist es auch nicht. Dann haben wir noch Maryke. Sie ist Journalistin aus
Südafrika, arbeitet für die französische Presseagentur AFP, und hat über Election
Day live getwittert an dem Abend. Und sie ist auch kein Bot. Dann haben wir noch ein
Dr. Van Nostrand. Ich habe leider kein Bild von ihm gefunden, aber er liebt
Baseball, American Football, Fox News und Trump. Er hasst Hillary und Bill Clinton,
CNN, Islam, Feministen, und Linke. Und er verfolgte Trumps' Sieg live. Hat den
Wahltag intensiv verfolgt und begleitet, aber ein Bot ist er auch nicht. So, und
das war jetzt der zwölfte von den zwölf. Fassen wir mal zusammen. Ich habe ja mal
so ein kleines Tabelle gemacht, spaltenweise pro Clinton, neutral, pro
Trump, und zeilenweise ist es ein Mensch, sind wir uns nicht ganz sicher, oder ist
es ein Social Bot. Wir haben auf jeden Fall ein Social Bot gefunden der pro-
Clinton ist, und wir haben einen Social Bot gefunden von pro-Trump ist, ob es sich
tatsächlich um einen Social Bot handelt wäre ich sehr vorsichtig denn sie haben ja
keine soziale Interaktion bewiesen, sondern alles was sie gemacht haben ist
automatisiert Links und Nachrichten zu veröffentlichen, und hatten auch dabei
nicht wirklich einen Impact weil keiner sie retweetet oder gefavt hat. Eine große
Gruppe die wir gefunden haben waren pro- Trump-Menschen, die alle, auf der pro-
Clinton Seite haben wir nur einen Satire- Account gefunden. Und dazwischen im
neutralen Bereich einen Bernie Sanders- Fan, eine Journalistin, einen Japaner und
einen Verschwörungstheoretiker. Und dann haben wir noch hier unsure derjenige der
seine Links zu App-Webseiten vertreibt. Wenn ich jetzt mal hervorhebe von denen
Accounts von denen ich glaube dass sie tatsächlich an einer politischen
Diskussion teilgenommen haben... sind das die hier und das sind alles Menschen. Ist
nur die Hälfte, aber ja. Die Studie "Bots and Automation over Twitter during U.S.
Election" müsste eigentlich heißen "Highly active Twitter users during US Election".
Social Bots, oder als was wir sie bezeichnet haben, sind politisch aktive
Bürger, Hashtag-Spam, Medien und Journalisten, und einige simple Bots. Auf
Vollständigkeit halber habe ich versucht noch eine Studie zu finden die eine andere
Methodik verwendet. Und da gibt es von der University of South California "Social
bots distort the 2016 U.S. Presidential election online discussion", und was sie
zur Identifizierung von Social Bots verwenden ist ein Service der nennt sich
BotOrNot, in der Zwischenzeit umbenannt in Botometer. Und ich will da nicht zu tief
einsteigen, da gibt's auch nochmal ein Paper dazu, aber was sie im Kern machen
ist im Prinzip das was ich am Anfang gemacht habe – sie versuchen die ganzen
Metadaten rund um einen Account zu kategorisieren, und dann kommt da Machine
Learning oben drauf, und dann wird versucht mit einer Wahrscheinlichkeit
abzuschätzen ob nun ein Account nun ein Bot ist oder nicht, und das ist die Basis
dieser Studie. Ich hab das mal... Unten ist noch mal der Link dazu, falls einer da
selber mit spielen möchte. Vorsichtig, man muss dazu seinen Twitter-Account
autorisieren und das ist dann... der im Gegensatz zu uns keine Leserechte haben
möchte, sondern er möchte auch Schreibrechte haben; für den Fall falls
die gehackt werden, werdet ihr also auch irgendwie Scheiße twittern. Ich hab
einfach mal ein paar Accounts rein geworfen um zu gucken wie vertrauenswürdig
das ist; da habe ich jetzt einfach mal einen erdgeist und einen Frank Rieger und
einen Linuzifer rein geworfen. Das Kriterium übrigens der Studie ist 50%,
alle die unter 50% sind, sind Menschen, alle die über 50%
sind, sind Bots. Gegenübergestellt hab ich nochmal das BMVI, das Bundesministerium
für Justiz und Verbraucherschutz – 55 Prozent, das BKA ist ein Social Bot.
*Applaus* Und vielleicht liegt das an den deutschen
Accounts, da die Studie sich im Speziellen mit den US-Wahlen beschäftigt haben, hab
ich da mal stichprobenartig ein paar rein geworfen. Da haben wir das Wall Street
Journal, LA Times ist ein Bot, CNN und Fox News ist ein Bot, realDonaldTrump ist ein
Bot, und der amerikanische Präsident. *Lachen*
*Applaus* Das könnt ihr ja auch alles selber
ausprobieren. Also wissenschaftlich ist das alles nicht haltbar.
Und wen das noch nicht überzeugt,
Hegelich erwartet keine große Gefahr durch Social Bots im Wahlkampf.
Zusammenfassung. Social Bot, Filterblasen, Fake News. Ich versuche
versuch's mal vorsichtig zu formulieren: die Forschung ist noch in den Anfängen.
Die Methodiken sind neu, teilweise experimentell, und müssen noch überprüft
werden. Und im Speziellen müssen die wissenschaftlichen Publikation überprüft
werden. Falls einer irgendwie in dem Thema gerade arbeitet, den kann ich das ans Herz
legen, als Bachelor- oder Masterarbeit mal ans Herz zu legen, diese Studien
tatsächlich zu überprüfen. Was ich bei Social Bots, Filterblase und Fake News
gefunden habe sind exemplarisch: Egon Dombrowski und Ave Hurley. Wir haben in
den Diskursen die Leute als Nazis, bildungsfern, sozial abgehängt,
Mittelschicht mit Verlustängsten und jetzt auch neu als Social Bots bezeichnet.
Aber was sie alle gemeinsam haben:
Sie haben Angst und sie sind wütend.
Und sie haben Vertrauensverlust in die Institutionen.
Und was wir beobachten ist das neue
gesellschaftliche Gruppen in die sozialen Netzwerke betreten, und sie nutzen ihr
Recht und die Möglichkeit ihrer Meinungsäußerung. Und im Zweifelsfall
greifen sie auch auf Fake News zurück wenn es ihre Ansichten bestätigt.
Was wir aber beobachten ist, dass die sozialen Netzwerke nicht geeignet sind, um
gesellschaftliche Lösungen zu entwickeln. Vielleicht gibt es irgendwann technische
Lösungen. Wer weiß. Vielleicht gehört es aber in Zukunft auch zur Medienkompetenz,
eine gewisse Debattenkultur zu entwickeln. Ich weiß es nicht. Das ist auf jeden Fall,
ich will jetzt den Begriff "Neuland" nicht verwenden, das auf jeden Fall ein neues
Forschungsgebiet. Wir sehen glaube ich dass hier eine neue Wissenschaft beginnt
zu entstehen. Sie steckt noch in den Kinderschuhen, aber sie macht gerade einen
fundamentalen Wandel mit, von einer ideographischen Wissenschaft, also einer
reinen Phänomen beschreibenden, wie Sozialwissenschaft, Kulturwissenschaft
oder Politikwissenschaften, hin zu einer nomothetischen Wissenschaft, die versucht
Regeln zu erkennen, Gesetze zu entdecken, reproduzierbare Ergebnisse zu entwickeln,
so wie man das aus den Naturwissenschaften kennt. Ähnliche Entwicklungen haben wir
auch gesehen, die Astrologie, das war die Lehre von den Sternen, bis dann das
Teleskop erfunden wurde und wir nun anfangen konnten, Gesetze in der Bewegung
von Planeten und Sternen zu entdecken, die reproduzierbar sind. Und aus der
Astrologie wurde dann die Astronomie. Ich sehe, dass wir in den Debatten, die jetzt
in den sozialen Netzwerken stattfinden, eine neue Wissenschaft haben können die
sich mit diesem Thema beschäftigt. Und ich glaube das ist nicht nur möglich ist,
sozusagen als Teleskop oder Mikroskop die für die Gesellschaft, sondern dass es auch
notwendig ist. Und dazu ist viel Forschung nötig und ich animiere jeden, der nicht so
richtig weiß ob er jetzt in dem geisteswissenschaftlichen Bereich oder im
Data Science-Bereich arbeiten möchte, diese beiden Welten miteinander zu
verbinden. Bachelor und Master sind, Arbeiten sind da gut definitiv
prädestiniert um diese wissenschaftlichen Ausarbeitungen zu reproduzieren. Und diese
Studien von der Oxford-Universität oder von South California zu reproduzieren
und zu validieren. Und ich würde das gerne unterstützen, und ich hoffe, die nächsten
zweieinhalb Tage noch Zeit zu finden, Teile meines Frameworks und auch der
Rohdaten zu veröffentlichen. Ansonsten bin ich die nächsten zweieinhalb Tage zu
erreichen: DECT Telefonnummer 360, 3600 Entschuldigung, und Twitter-Account,
@michaelkreil. Ich würde gerne andere Leute, die in dem Bereich forschen oder
sowas zusammenbringen um zu gucken ob wir zum Thema Social Bot da nicht mal eine
Wissenschaftssprache Debatte starten können. Danke schön.
*Applaus* Herald: Mindestens das will ich nachher
nochmal hören. Jetzt haben wir noch, ja, etwas über ne Viertelstunde Zeit für
Fragen und Antworten. Habt ihr Fragen an Michael Kreil? Positioniert euch bitte an
den Mikrophonen, ich versuche einigermaßen ausgeglichen auszuwählen. Falls schon
irgendwo jemand steht, steht schon irgendwo jemand, hebt mal die Hand? Ah, da
hinten. Mikrophon 4, fang an. Mikrophon 4: Jawohl. Ich hab eine Frage
bezüglich State-sponsored Propaganda, also die sind wirklich Leute, die bezahlt
werden von Staaten, damit die Propaganda betreiben. Habt ihr auch in der Forschung
diebezüglich was rausgefunden, oder habt ihr das überhaupt untersucht?
MK: Wir haben versucht, Leute zu finden, die an den Bots, die an den politischen
Diskursen teilnehmen. Ob sie jetzt tatsächlich dafür bezahlt werden oder
nicht ist unmöglich festzustellen. Wir sehen aber, wenn jetzt zum Beispiel jemand
bei der US-Wahl was postet und dann aber in den nächsten Monaten bis heute noch
ganz normales Leben auf den, in den sozialen Netzwerken führt, und parallel
dann auch noch auf Facebook oder sowas, gehen wir eher davon aus, dass es sich
nicht um einen bezahlten Akteur oder Akteure handelt. Die große Frage, die ich
mir eigentlich auch stelle ist dabei: Was ist der tatsächliche impact, also die
Unterstellung mit jemand bezahlt da irgendwie, kann ich wirklich auf Twitter
durch soziale Interaktion Leute davon überzeugen, die politische Richtung zu
wechseln? Das ist eine bisherige Unterstellung, die noch nicht überprüft
wurde, und deswegen finde ich das vorsichtig, bin ich da vorsichtig, sowas
anzunehmen. H: Mikro 2.
M2: Vielen, vielen Dank für den großartigen Vortrag, ich fand' das super
wichtig, anhand von dem kann man eigentlich sehen, was sich wirklich an
wissenschaftlichen Methodiken verändern muss, und von daher vielen, vielen Dank.
Ich habe eine Frage, ich habe mich gerade gefragt, ob man wirklich von Fake News
sprechen sollte, weil offensichtlich spiegeln diese Nachrichten ja nur, was die
Verbreiter und weiteren Re-tweeter der Nachrichten hören oder sehen oder wissen
wollen, also das, was sie eigentlich schon denken, wird quasi nur gespiegelt. Und ich
hab mich gefragt, ob es nicht irreführend ist, dieses Wort "News", und ob man nicht
ein neues Wort dafür finden müsste. MK: Auf jeden Fall, auf jeden Fall. Wir
haben auch zum Beispiel gesehen, dass bei der US-Wahl relativ viele Fake News aus
einer Stadt aus Osteuropa kommt, die aber gar keine politische Agenda haben, sondern
einfach nur Geld damit verdient haben, dass ihre Posts sich so weit verbreitet
haben, und damit klick-Werbung, verstanden haben, Geld gewonnen haben. Da war
überhaupt kein politischer, gar kein politisches Ziel dahinter, im Gegenteil,
laut eigener Aussage haben sie erst pro- Clinton probiert, aber das hat einfach
nicht so gut eingeschlagen wie pro-Trump- Sachen. Deswegen halte ich auch den
Begriff von Fake News dann auch nicht mehr für angebracht.
H: So, aus dem Internet haben wir auch eine Frage.
Signal-Engel: Ja, zuerst auch aus dem IRC großes Lob an den Vortrag, es wurde
angemerkt, es sei sehr interessant, mal den Hashtag #34c3 zu analysieren und
Trolle aufzudecken. Cyberrichter und Afdex lässt fragen: Gibt es schon schlaue Bots
mit Einfluss, ist irgendwas über die Interaktion untereinander bekannt, gibt es
bald Bot Wars? MK: Äh. Flame-Bots, ja, äh. Das sind alles
theoretische Konzepte. Wenn man sich die Studien dazu durchliest, das sind alles
Konzepte "es könne irgendwann mal so sein". Ich stehe auch nicht hier und sage
"sowas wird nie passieren" oder sowas. Keine Ahnung, was es für Entwicklungen mit
KI in den nächsten Tagen oder Monaten oder so gibt. Aber das, was wir jetzt bisher
sehen konnten, waren jetzt nicht irgendwelche KI's, die durchs Internet
laufen. H: Die 3.
M3: Servus. Wunderbar, funktioniert. Das erste harte Kriterium, das mir einfallen
würde, um Bot-Accounts von Menschen- Accounts zu trennen wäre die posting-
Frequenz, und die hat jetzt hier nur einmal Einfluss gefunden - woran liegt
das? MK: Weil sie tatsächlich auch nur einmal
auffällig war. Also, die anderen Accounts, also ich meine, wenn ich jetzt nen Social
Bot entwickle, dann wäre ich jetzt auch schlau zu sagen okay, dann haut der jetzt
nicht alle halbe Sekunde nen tweet raus, wenn ich sowas bauen würde. Aber in diesem
Fall ist es tatsächlich nur einmal aufgetreten, das ein Bot sozusagen den Bug
hatte, das zu tun. M3: Okay, taugt also nicht. Super, danke.
H: Und MIkro 1. M1: Hallo erstmal, ja, jetzt geht's. Ich
wollte fragen ob, weil du ja gesagt hattest dass bei den Social Bots ja
eigentlich der Einfluss sich verliert, ob das dann wiederum heißen könnte, dass die
eigentliche Gefahr von Filterblasen, dass kein Meinungsdiskurs entsteht, oder dass
der halt eingedämmt wird, ob das sich dann verliert oder ob du in den Forschungen
gesehen hast, dass die Gefahr gar nicht so da ist, wie sie irgendwie überall
propagiert wird? Ja. MK: Also, zum Einen: Ich glaube, es gibt
so einen Satz, den man in den letzten 10 Jahren immer wieder gehört hat, das
Internet ist nicht an bestimmten Sachen schuld, sondern das Internet macht nur
einfach wieder Sachen sichtbar. Und ich glaube, dass es eine Menge Leute gibt, die
sich gerne an einem politischen Diskurs beteiligen wollen und nicht die
Möglichkeit hatten, und jetzt nun mit den sozialen Netzen diese Möglichkeit haben,
und dann als Bots klassifiziert werden. Problem ist, dass ich deine Frage
vergessen habe.
M1: Ich wollte eigentlich nur wissen, ob
diese Gefahr, dass man halt sagt, der Diskurs ist so ein bisschen eingedämmt,
weil jeder in seiner eigenen Blase lebt, ob sich das nicht dadurch verliert, weil
du ja gesagt hattest, Social Bots sind unwirksam so wirklich, ob das nicht dann
sich auch sozusagen auf das andere übertragen lässt für unsere, für unseren
normane Gebrauch. MK: Genau, also, ich, kann ich, kann ich
keine abschließende Meinung zu abgeben. Ich weiß aber dass, oder man merkt es
halt, dass die sozialen Netze oft, oder fast immer nicht dazu geeignet sind,
tatsächlich einen Diskurs zu führen, sondern es gibt halt, es ist halt,
endet immer in einem Flame War, sind sozusagen, "du bist, ihr seid die Bösen,
und wir sind die Guten." Aber tatsächlich irgendwie eine Lösung zu entwickeln,
eignet sich nicht dafür, vielleicht ist der Mensch auch nicht dafür gemacht.
Vielleicht haben Netzwerke nen, nen bestimmten flaw, den wir halt noch nicht
kennen, man darf ja auch nicht vergessen, das ist eine extrem experimentelle
Technologie. Noch nie gab es ein Netzwerk, das weltübergreifend so vielen Menschen
die Möglichkeit gibt, miteinander zu kommunizieren und Diskurse zu führen.
M1: Danke. H: Mikro 4.
M4: Ja, Hallo. Erstmal Kompliment für diesen superwichtigen und sehr coolen
Vortrag. Meine Frage: Du hattest ja jetzt ausschließlich über Twitter gesprochen -
habt ihr mal Analysen gefahren über andere soziale Netze, die ja durchaus auch
Verbreitung haben, speziell dazu, auch nicht nur über die Anzahl der Tweets
sondern auch über den Impact, weil die Frage ist ja, die hattest du ja mehrfach
aufgeworfen, was wirkt eigentlich eine Tweet, wenn die, wenn die einen
veröffentlichen, also ein Tweet auf 10.000 Follower könnte möglicherweise wichtiger
sein als 10.000 Tweets mit einem Follower. MK: Genau, da kann man sich halt Metriken
überlegen. Normalerweise ist es für mich halt ein Ausschlusskriterium, wenn ein
Tweet nur, nicht gefavt wird und nicht retweetet wird, das ist für mich, das ist
ein Ausschlusskriterium. Was der tatsächliche Impact ist, obs dafür ne
Metrik gibt, weiß ich nicht. Kann man sich überlegen, wie gesagt, neue Wissenschaft.
Das andere ist, andere soziale Netzwerke. Man sieht, dass auf YouTube ne Menge
passiert. Ganz viele Leute packen im Wohnzimmer die Kamera aus und teilen ihre
politischen Meinungen im Wohnzimmer und veröffentlichen das auf YouTube, es gibt
auch dieses russische Social Network, wie heißt das? VKan... VKan-irgendwas, ja.
Genau, da gibt es - VKontakte, genau - da gibt es auch, kenne ich eine Gruppe die
sich damit beschäftigt hat, wie das da aussieht, das ist aber ein sehr kleiner
Teil, der große Brocken ist natürlich Facebook, und Facebook hat zwei Probleme:
Erstens gibt es eine Menge geschlossene Gruppen wo viel stattfindet, da habe ich
mal rein geguckt, sind die gleichen Themen, es geht halt auch um Asylpolitik
und so weiter. Und das andere Problem mit Facebook ist, die API ist leider nicht so
offen. Es gibt Schwierigkeiten, da große Mengen an Daten rauszuholen. Ich glaube
dass Facebook in diesem Bereich wahnsinnig viel Datenmaterial hat und Forschung dazu
betreiben könnte, aber leider halt nur innerhalb eines Konzerns und nicht
innerhalb der Forschungsgemeindschaft. M4: Okay, danke.
H: Unser Social Bot hat auch noch eine Frage.
Signal: Mie lässt fragen, ob es Studien zu dem realen Ausmaß und dem realen Impact
von Fake News in den sozialen Medien, und wurden die eventuell zur Legitimation des
NetzDGs herangezogen? MK: Habe ich akustisch nicht verstanden.
Signal: Gibt es Studien über das reale Ausmaß von Fake News und wurden die
herangezogen zur Legitimisierung des NetzDGs?
MK: Soweit ich weiß ist mir, mir ist keine Studie bekannt, aus meiner Erfahrung würde
ich sagen: Sie haben keinen Einfluss, weil sie halt erstmal nicht Leute überzeugen,
ich glaube die Leute kommen schon mit einer Überzeugung in die Netzwerke und
werden einfach nur noch weiter zusätzlich bestätigt. Ich glaube, dass es einen
gewissen Impact gibt mit Leuten, die sozusagen Latent ne Sorge um
Flüchtlingspolitik haben und dann nur noch in einer Filterblase stecken und nur noch
mit Flüchtlingskriminalität bombardiert werden. Dass sie dazu dann auch neigen,
eine Angst gegen beispielsweise Migranten zu entwickeln. Aber eine Studie dazu ist
mir noch nicht bekannt, wie das tatsächlich, ob das psychologische
Auswirkungen auf die Menschen hat. H: Und die 2.
Frage M2: Ja hallo, danke für den Vortrag. Du hattest am Anfang so einen schöne
Karte, wo verschiedene Gruppen aus dem Twitternetzwerk aufgezeigt wurden, und
dann hast du gezeigt, da sitzt die AfD und dann kam der Switch und da sind die
Fakenews. Wie hast du denn ermittelt, dass diese Tweets Fakenews waren?
Antwort: Also konkret, ich habe mir Fakenews ausgesucht und hab geguckt wer
sie auf Twitter teilt. Also andersrum, ich hab mir sozusagen Geschichten rausgesucht,
von denen ich weiß dass es Fakenews sind und habe dann beispielsweise Blogpost und
so weiter die es verbreitet haben und diese URL... also wer twittert im Prinzip
Fakenews und genau, dadurch kam dann diese Einfärbung zustande.
H: Mikro 3. M3: Ja ich hab noch ein Frage zu
Antworten, also ich hab oft gehört von Journalisten die sich beschwert haben,
wenn sie über ein bestimmtes Thema berichtet haben, dass da irgendwelche Bots
sie mit Antworten zumüllen oder sowas. Hast du sowas beobachten können wird das
irgendwie als Megafon eingesetzt um dann einfach nochmal ein bisschen mehr Bums
oder Druck zu machen auf solche Accounts? Gibt's das was oder ist das auch
eigentlich alles echte Menschen die wirklich wütend sind?
MK: Ich sag noch nicht, dass das alles echte Menschen sind, also ich kann mit
einem Bot zum Beispiel immer einen Hashtag unbenutzbar machen. Ich kann mir einen
Hashtag raussuchen und kann das dann mit Bots vollmüllen, aber das ist dann
eigentlich mehr ein Spam oder um den Diskurs zu stören, aber nicht wirklich
einen Einfluss zu haben dabei. Zu den Journalisten, ich kenne da einige
Journalisten, die auf Twitter aktiv sind und dann immer wieder mit einer großen
Anzahl Accounts konfrontiert werden. Ich bin mir da auch nicht sicher,
ob es tatsächlich sich um Botnetzwerke handelt, denn es sind immer wieder
vereinzelt Leute die unterschiedliche Tweets machen, es ist ja schon wahnsinnig
schwierig 100.000 künstliche Tweets zu erzeugen mit einer künstlichen Intelligenz
zu erzeugen, die aber unterschiedlich sind. Das ist schon ein relativ hartes
Problem, ich weiß nicht ob das bereits gelöst ist, ich glaube nämlich nicht.
H: Nummer 4 bitte. M4: Eine Frage zu einem Kriterium, bei dem
ich nicht weiß, ob es aufgetaucht ist oder nicht, oder ob ich nur nicht aufmerksam
genug war. Und zwar geht es um gleichlautende Nachrichten in Tweets zum
Beispiel. Also ich weiß, dass bei Fakenews teilweise ganze absatzweise Texte 1 zu 1
kopiert werden und auch manuell sozusagen, trotzdem kommt mir das auch als ein
wichtiges Kriterium vor um, wie gesagt, einen Einflussfaktor, ist es ein Bot oder
nicht festzustellen. Spielt das in den Studien irgend eine Rolle, die Du
untersucht hast oder für Deine Arbeit? MK: In den Studien kann ich es nicht
sagen, die hatten jetzt immer nur ihre Kriterien mit den Hashtags und so weiter.
Was in meiner Arbeit aufgefallen ist, dass ist immer wieder, zum einen es gibt
natürlich Leute die sagen, ich will das jetzt nicht retweeten sondern ich kopiere
den Tweet und sage sozusagen, dass das mein Eigener ist. Aber es gibt tatsächlich
bestimmte Formulierungen die zu 10.000-en identisch auftauchen, aber es
sind tatsächlich nur Textdatenbanken, die da einfach abgespielt werden, auch nicht
mit politischen Inhalten, sondern ... ich weiß nicht vielleicht sind die dormant
oder sowas, aber keinerlei politische Aktivität zu sehen dort.
H: Und die 2 bitte. * Lachen *
M2: Ja hallo, auch nochmal vielen Dank für den Vortrag. Eine Frage zu dem Thema
Schweden-Reisewarnung, was am Anfang kam. Wie viel Handarbeit war dabei die Tweets
quasi rauszufinden, die zu dieser Story gehören, und wie kannst Du Dir sicher
sein, dass Du alle gefunden hast? MK: Ich kann mir nicht sicher sein, dass
ich alle gefunden habe, insbesondere weil immer wieder Tweets gelöscht werden oder
ganze Accounts. Das hat man auch gesehen, wenn man sich die Daten mal ein halbes
Jahr später anschaut, oder wie viele Accounts in der Zwischenzeit weg sind. Ich
kann mir nicht sicher sein, dass ich alle Tweets gefunden habe, natürlich nicht. Was
man halt machen kann ist sich durchzuhangeln. Man fängt dann an mit
sowas wie "Schweden Reisewarnung" und dann sieht man die ersten, und dann kommen da
aber auch noch andere Begriffe zusammen und hier finde ich nochmal einen Link auf
einen Blogpost und dann suche ich mal nach dem und so weiter, und so wird die
Datenbank immer größer und so habe ich glaube ich 1800 Tweets oder sowas gefunden
und versuch die dann so halbautomatisiert zu kategorisieren mit Fakenews und so
weiter. Das ist sozusagen die Methodik, das ist eigentlich so halbautomatisierte
Handarbeit. H: Jetzt aber, Fefe.
Frage M1 [???]: Ich hab eine H: Die eins ist das bitte.
Frage M1: Hallo, hallo. Also ich hab eine kurze Frage und eine Bitte um weitere
Daten. Erstens würde ich gerne wissen, wie viele von Deinen Rohdaten Du
veröffentlichen kannst und tust. Und zweitens Dein Beispiel am Anfang mit der
Twitter-Timeline da ging's irgendwie um 2.000 Tweets oder 2.000 Leute und das ist
eine Größenordnung, die man häufiger sieht in diesen Debatten und da frage ich mich
immer, ich hab mehr ungelesene Mails in meiner Inbox, wieso interessieren mich
2000 Leute? Ist das irgendwie, wieso ist das jetzt eine relevante Größenordnung?
Kannst du da vielleicht noch etwas dazu sagen?
A: Okay, also das erste war, ob ich meine Daten veröffentlichen kann. Es gibt
tatsächlich eine Guideline von Twitter, die es mir nicht erlaubt beispielsweise
von einem bestimmten Account zehntausende von Tweets zu veröffentlichen. Es gibt
bestimmte Sachen, die man machen darf. Da würde ich mich halt, sonst hätte ich es
jetzt einfach mal so "Rechtsklick veröffentlichen" gemacht. Ich würde es mir
jetzt mal nochmal genauer anschauen, was ich machen darf und so weiter. Gerade
"hydrated Tweets" heißt das, also sozusagen nicht nur Twitter-IDs zu haben,
sondern wirklich eine große csv-Datei oder sowas, die man dann sich in Excel mal
durchklicken kann, kann glaube ich bei dem ein oder anderen, der da frisch mit dem
Thema ist schon weiterhelfen. Muss ich halt mal kucken in den nächsten Tagen. Und
die zweite Frage war, inwieweit zweitausend Accounts einen Einfluss haben?
F: Genau, vielleicht ein bisschen Kontext geben. Ist das irgendwie besonders viel
oder ist das üblich oder findest du das eine relavante Größe? Wieso müssen wir
über 2.000 reden, weil mir kommt es intuitiv nicht so viel vor, frage ich
mich. Bei 80 Millionen Leuten sind 2.000 Leute nicht so.
A: Das ist halt auch ein klassisches wichtiges Argument. Ich meine, erstens es
sind nicht alle Leute in sozialen Netzwerken, dann sind eine Menge Leute in
Facebook. Es ist nur ein winzig kleiner Teil davon auf Twitter und inwieweit da
dann irgendwie 2.000 Leute tatsächlich einen Impact haben auf einen politischen
Diskurs in Deutschand, da wird dann immer gesagt: ja aber in den sozialen Netzwerken
sind aber die Aktivisten, die Journalisten usw. und wenn die beeinflusst werden,
irgendwie sowas. Tatsächlich halte ich die Twitter-Diskussion nicht für politisch,
gesellschaftlich relevant in Deutschland. F: *Lachen*
H: So, eine Frage schaffen wir noch. Das ist die 4.
Frage M4: Hallo! Erst kurz Danke, weil Dein Projekt mir im Studium, mich ziemlich
gerettet hat, also Danke. Und dann ist mir halt aufgefallen, gerade bei diesen Troll-
Armeen, keine Ahnung, diese bezahlten, ob Du mal gekuckt hast in den Accounts, wie
oft sich besitmmte Sachen wiederholen? Zum Beispiel haben die ja oft dasselbe
Profilbild und dann Accounts mit fortlaufenden Nummern, wenn der erste
gelöscht wird oder gesperrt? A: Dieses Phänomen sieht man auch
generell. Das sieht man auch bei wütenden Bürgern, die in den sozialen Netzwerken
sind. Dann von beispielsweise Twitter gesperrt werden, dann wieder rauf kommen
und dann packen sie sich hinter ihren alten Usernamen einfach noch eine Zahl
hinten dran. Aber ob die Leute tatsächlich bezahlt werden oder nicht, das kriege ich
über eine Twitter-API auch nicht heraus. Eigentlich müsste man dann fast wie ein
Ethnologe sich mit den Leuten unterhalten und kucken, was sie da für eine Agenda
haben. Ich finde es aber gefährlich dann von vornherein zu sagen, die sind bezaht
oder sind vom Kreml gesteuert oder sind künstliche Intelligenzen oder keine Ahnung
was. Das muss auf jeden Fall wieder eine Debatte sein, die auf evidenzbasierter
Forschung basiert. F: Ja ich hab die auch nur. Bin ich noch
da? H: Ja.
F: Ich hab die auch nur zufällig gefunden, weil ich das halt gemacht hab damals zur
Türkei-Wahl und es halt sehr viele Accounts gab, die immer so türkischen Spam
gepostet haben, sich dann aber plötzlich in sehr schlechtem Deutsch in deutsche
Debatten eingemischt hatten. A: Super, dann sollten wir auf jeden Fall
mal unterhalten, ich glaube da können wir uns gegenseitig helfen.
H: Unterhalten könnt ihr euch gleich neben der Bühne, die Zeit ist nämlich jetzt
leider um. Vielen Dank Michael Kreil! Da geht mehr!
*Applaus*
*Abspannmusik*
Untertitel erstellt von c3subtitles.de im Jahr 2019. Mach mit und hilf uns!