Inhaltsübersicht

• Diskriminierung durch Algorithmen
• Big Data in der Justiz
• Big Data bei Bewerbungen und in der Arbeitswelt
• Nachrichtenauswahl durch unsere Social Networks und Suchmaschinen
• Wahlmanipulation durch Page Ranking oder Nachrichten an ausgewählte Nutzer
• Demokratie, Überwachung der Bürger und ihre Manipulation vertragen sich nicht
• Weiterführende Informationen

Verwandte Themen an anderer Stelle

• Privatsphäre
• Anomymität
• Überwachung
• Social Networks
• Spuren im Internet
• Der gläserne Mensch

 

Von der flächendeckenden Überwachung zur flächendeckenden Lenkung der Bürger - Manipulation durch Algorithmen

Autor: Philipp Schaumann. Letzte Aktualisierung: Mai 2022

An die (freiwillige) flächendeckende Überwachung durch die verschiedenen Dienstleister wie Google, Facebook, Apple, Microsoft, Twitter, WhatsApp, Skype und der vielfältigen Fitness-Tracker haben sich die meisten Nutzer anscheinend bereits gewöhnt. Die meisten wissen, dass bei Nutzung eines Smartphones mit den vielfältigen Apps viel Privates an die jeweiligen Dienstleister geliefert wird. Auch mit der Weitergabe dieser Daten an die „Sicherheitsdienste“ scheinen sich die meisten irgendwie abgefunden zu haben.

Unklar ist den meisten Nutzern aber, dass die Big Data Algorithmen daraus nicht nur benutzer-bezogene Werbung generieren, sondern dass diese (undurchsichtigen und fremdgesteuerten) Algorithmen Entscheidungen für und über die Nutzer treffen, ohne dass der Benutzer dies beeinflussen kann. Das reicht von der Werbung die wir sehen, über die Flüge die wir angeboten bekommen, die Nachrichten die uns gezeigt werden bis zu den Datingpartnern die uns vorgeschlagen werden.

Alle diese und weitere Beispiele bringt auch das "Digital-Manifest" einer Gruppe von Wissenschaftlern im Nov. 2015. (Der verlinkte Artikel fasst ihr längeres Manifest zusammen, hier das Original Digitale Demokratie statt Datendiktatur). Im zweiten Teil des Manifests schlagen sie dann Lösungsstrategien vor, wie wir uns trotz des großflächigen Manipulationsversuchs unsere Demokratie und das selbständige Denken erhalten können. Ich hoffe, dass die Strategie zum Ziel führt - aus Ende 2018 zurückblickend muss man aber leider sagen, dass es deutlich schlimmer geworden ist. Dieses Manifest wurde wurde VOR Brexit, Cambridge Analytica und der Trumpwahl geschrieben, Ereignisse die vielen Menschen aufgezeigt haben, welche Bedrohung die Manipulation durch Social Networks und ihre Algorithmen für die Gesellschaft darstellen).

Ein Beispiel für die kleinen Manipulationen die ständig in unser Leben eingreifen und uns ein klein wenig lenken ist der EdgeRank Algorithmus von Facebook, der darüber entscheidet, welche Postings aus dem "Freundeskreis", bzw. den Firmen die jemand "geliked" hat wirklich angezeigt werden. Mehr dazu in einem Kapitel weiter unten.

Aber es kann auch persönlicher werden: Wissenschaftler haben 2013 auf Facebook an 300 0000 unfreiwilligen Testpersonen demonstriert, wie eine selektive Nachrichtenauswahl die Stimmung von Zielpersonen beeinflusst werden kann. Sie haben dafür den oben erwähnten EdgeRank Algorithmus leicht modifiziert und damit den Anteil der negativen Nachrichten erhöht oder abgesenkt. Als Ergebnis haben diese Benutzer dann selbst entweder mehr positive oder mehr negative Nachrichten gepostet, d.h. Emotionen stecken an.

Dass Gefühle und Einstellungen manipulierbar sind, wird die Werbetreibenden nicht wirklich überraschen: Das ist der Kernpunkt der durch Werbung erreicht werden soll - eine Änderung der Einstellung zu einem Produkt. Und unsere Politik bewegt sich immer mehr in Richtung Nutzung von Marketing-Methoden. Die Spin-Doktoren aus der Werbung nutzen natürlich die gleichen "Tricks", d.h. die gleichen Methoden.

Solche Techniken laufen heute unter dem Schlagwort "Nudging" oder "behavioral science". Dabei geht es darum, dass Menschen erhöhten Denkaufwand in der Regel vermeiden und z.B. die Grundeinstellungen (Defaults) mit einer höheren Wahrscheinlichkeit so lassen wie sie sind. Regierungen und Firmen können dies nutzen um uns zu "lenken". Natürlich kann es dabei zu Gegenreaktionen kommen ("jetzt erst recht!") aber in der Mehrheit der Fälle greifen solche kleinen Manipulationen durchaus. An anderer Stelle mehr zu Nudging.

Wir (die Nutzer der hilfreichen Tools die unsere Daten sammeln) nutzen diese "Helferchen" in einer Mischung aus Begeisterung dass wir einen kostenlosen "coolen" Service nutzen dürfen (Merke: Geiz ist geil), in Verbindung mit einem Schuss Neoliberalismus ("der Markt wird's schon richten") und einer Kapitulation gegenüber der Kombination der Privatisierung aller Dienste und dem Businessmodell, dass diese Dienste mit unseren Daten bezahlt werden müssen.

Die hilfreichen Apps (z.B. Fitness-Tracker oder Ernährungsberater oder Google Now oder . . . ) beginnen damit, "nur zu unserem Besten natürlich", mit ihren guten Tipps, Vorschlägen, Erinnerungen, . . . unser Leben ganz langsam aber sicher zu verändern.

Ein wie ich denke drastisches Beispiel ist die Wahl des Lebenspartners auf Dating-Websites, die schon heute mittels Algorithmen welche Persönlichkeit und Beziehungsglück miteinander verknüpfen, bestimmen, mit wem die Nutzer der Website glücklich sein werden. (Die Details, wie OkCupid dem Benutzer eine enge Auswahl vorlegt, stehen in wired.com). Es liegt nahe, dass der Firma der kurzfristige Umsatz näher liegt als das langfristige Glück in den Beziehungen. D.h. es kommt der Verdacht auf, dass da durchaus im Sinne des Unternehmens optimiert werden könnte.

Cory Doctorow fasst 2016 die Problematik in einem Artikel zusammen: AI's blind spot: garbage in, garbage out. Er verlinkt auch auf die Studie des Obama White House zu "how AI could increase inequality, erode accountability". Jegliche künstliche Intelligenz orientiert sich an den Daten mit denen sie gefüttert wird, und da stecken alle Vorurteile bereits drin.

Auf meiner anderen Website gibt es noch viel mehr zu Problemen mit künstlicher Intelligenz.

Diskriminierung durch Algorithmen

Ganz unschön ist es, wenn die Algorithmen Personengruppen diskriminieren. Das tun Algorithmen natürlich nicht bewusst oder gezielt, sondern diese Möglichkeit liegt in ihrer Natur. Bei Big Data Auswertungen, z.B. wenn Amazon herausfinden will, welche Bücher ein Kunde mögen könnte, ist es komplett egal, warum bestimmte Vorschläge gemacht werden. Unsinnige Vorschläge für einzelne Personen führen auch zu keinerlei Nachteilen für die betroffene Person. Der Algorithmus sucht statistische Datenähnlichkeiten, Cluster genannt. Personen innerhalb eines Clusters haben statistisch eine höhere Wahrscheinlichkeit zu ähnlichem Verhalten. Warum das so ist und welche der Personen auf Grund einer Anomalität in ein Cluster gefallen sind, ist für den Verkaufserfolg nicht interessant. Wichtig ist nur, dass für eine ausreichende Zahl von Menschen die Vorschläge "passen".

Dadurch entsteht die Problematik, dass die lernenden Algorithmus einfach nur die Vergangenheit in die Zukunft projezieren. Dies ist bei Amazon zum Problem bei der Bewerberauswahl geworden. Dort wurde ein Algorithmus mit Hilfe der bisherigen Entscheidungen bei der Auswahl der Bewerber trainiert, dann stellte ich heraus dass bei gleicher Qualifikation von Männern und Frauen, die Frauen keine Chance auf ein Einstellungsgespräch haben. Amazon setzt den Algorithmus nun nicht mehr ein. Selbstlernende Algorithmen verhalten sich genau so, wie sie aus den Lerndaten lernen.

Hier eine gute Erklärung von Zeynep Tufekci wie diese Diskriminierung entsteht:

Die Ergebnisse der statistischen Analysen sind daher dann zumeist nicht im Detail nachvollziehbar. Wichtig ist für das Unternehmen aber nur, dass das Ergebnis mit einer hohen Wahrscheinlichkeit stimmt. Bei Büchern ist das ja OK - nicht OK ist es, wenn dadurch echte Benachteiligungen für konkrete Personen entstehen, siehe mein Artikel zur Bewertung von Arbeitslosen in Österreich, bei der Bewertung der Kreditwürdigkeit und im nächsten Kapitel zur Justiz.

Big Data in der Justiz - Systematische Benachteiligung

In den USA gibt es Programme, die Richtern die Länge der Strafe vorschlagen und auch, ob jemand auf nach Abbüßung einer Teilstrafe auf Bewährung entlassen werden sollte. Hier die Website der Sentence Advisory Commission von Missouri.

Eine Studie des US-Justizministeriums hat 2016 nachgerechnet und gefunden, dass diese Algorithmen, so neutral sie klingen mögen, Afroamerikaner systematisch benachteiligen und in ihren Prognosen trotz (oder wegen) Big Data Analysen des sozialen Hintergrunds des Betroffenen nicht wirklich gut sind. Es werden (korrekte) statistische Aussagen über eine Gruppe auf eine einzelne Person verallgemeinert, obwohl nicht alle Mitglieder der Gruppe gleich sind.

Sehr lesenwert der ausführliche Artikel von Propublica: What Algorithmic Injustice Looks Like in Real Life mit vielen konkreten Beispielen. Der Artikel zeigt, dass die Rückfallwahrscheinlichkeiten bei Schwarzen durch die Algorithemen systematisch höher eingeschätzt wird als bei Weißen und daher die Strafen bei vergleichbaren Vergehen deutlich höher ausfallen. Dies führt dann natürlich auch bei zukünftigen Kontakten mit der Polizei zu negativerer Bewertung.

Grund ist, dass der Algorithmus zwar den Einzelfall analysieren soll, aber aus Hintergrunddaten wie ethnische Zuordnung, Ausbildung, Familienverhältnisse in einer statistischen Analyse ganz automatisch alle Afro-Amerikaner in einen Topf wirft.

Und hier der Link zu einer 2016 Studie des (Obama-)White Houses zu Big Risks, Big Opportunities: the Intersection of Big Data and Civil Rights.

Big Data bei Bewerbungen und in der Arbeitswelt

Hier ist ein Artikel in dem ein Wirtschaftsinformatiker im Interview erklärt, warum er ein Bewerbungsgespräch mit einem Roboter für fairer hält. Aber auch er muss natürlich bestätigen, dass die künstliche Intelligenz alle Vorurteile die im Trainingsmaterial stecken übernehmen wird. Es entsteht lediglich der Anschein von Objektivität. Aber auf diesen Zug wird überall aufgesprungen: Wenn Algorithmen Bewerber und Stelle matchen oder die falsche Behauptung: "Der Algorithmus diskriminiert nicht". Was er dann gleich widerlegt mit: "Weitzel: Es kommt selbstverständlich darauf an, was man ihnen beibringt und wie sie lernen." D.h. ein Algorithmus, der wie das in diesem Fall üblich ist, einem menschlichen Recruiter über die Schulter schaut um zu lernen, der übernimmt alle seine Vorurteile - aber vom Algorithmus bekommt das dann den Augenschein von Objektivität.

Der Block rechts zu Big Five ist ein gutes (schlechtes) Beispiel für Scheinobjektivität auf der Basis von mehr oder weniger zufälligen Korrelationen die sich aus den Big Data Analysen irgendwie ergeben haben. Da wird aus Satzlänge und Wortlänge eine Einordnung in die Big Five Kategorien erstellt und der gewünschten Persönlichkeit für die Neu-Einstellung gegenübergestellt.

Der Artikel Auch künstliche Intelligenz kann Vorurteile entwickeln beschreibt und verlinkt konkrete Versuche die dazu gemacht wurden. Ähnlich wie bei den Assoziationstest mit denen unterschwellige Vorurteile bei Menschen aufgespürt werden, wurde dies auch mit einer AI-Implementierung gemacht. Und siehe, auch die künstliche Intelligenz hatte bereits aus den Vokabeln mit denen sie gefüttert werden musste damit sie kommunizieren kann bereits Kunst mit weiblich, aber Mathematik mit männlich assoziiert. Namen europäischer Herkunft wurden eher mit positiven Eigenschaften verbunden als afroamerikanische Namen. Wired bringt dazu ein Interview Was passiert, wenn KIs unsere schlechten Eigenschaften übernehmen?

Die Bertelsmann-Stiftung hat 2017 eine Studie zu derzeit bereits eingesetzten automatisierten Bewertungssystemen durchgeführt („algorithmic decision making - ADM): Wenn Maschinen Menschen bewerten - Internationale Fallbeispiele für Prozesse algorithmischer Entscheidungsfindung. Sie zeigen, dass der Einsatz durchaus nicht unproblematisch ist. Sie zeigen, dass 2017 bereits 70% der Bewerbungsunterlagen in UK und USA von Algorithmen (vor-)bewertet werden und dass Gerichte in neun US-Bundesstaaten Algorithemen für die Risikoprognosen der Angeklagten nutzen. Die Studie zeigt, dass zwar theoretisch algorithmische Verfahren zu weniger Diskriminierung führen könnten, aber dass zahlreiche Fehler bei der Implementierung der aktuell eingesetzten Algorithmen (bzw. die Vorurteile in den eingesetzten Daten) zu fehlerhaften und diskriminierenden Ergebnissen führen können. Die Autoren bemerken, dass das Kategorisieren von Menschen ohne große Debatte über Fairness, Erklärbarkeit, Überprüfbarkeit oder Korrigierbarkeit der Verfahren eingesetzt wird. Der Einsatz dieser Form von AI (artificial intelligence) löst offenbar nicht die gleichen Ängste aus wie die zielgerichteten Maschinen-Intelligenzen aus Filem, z.B. HAL 9000.

"Self-Tracking" in der Arbeitswelt

In Europa ist der Einsatz von solchen bewertenden Algorithmen zum Glück derzeit (noch) eingeschränkt. So verlangen die Gesetze, dass es eine Einspruchsmöglichkeit gegen solche Entscheidungen geben muss und dass die Entscheidung erklärt werden muss (was z.B. Algorithmen auf der Basis von neuronalen Netzen nicht können). Diese Einspruchsmöglichkeit ist aber oft nur theoretisch, z.B. wenn Bewerbungsschreiben maschinell bewertet werden.

Und wenn wir den Job dann erst mal haben, dann geht die schöne neue Welt immer weiter: Soma Analytics verkauft z.B. eine App an Firmen, die "hilft, deine Angestellten besser kennenzulernen”, den "Gemütszustand" eines Teams, das "Wohlbefinden" einer Abteilung und den individuellen Stresslevel durch Analyse vom Schlaf- und Beischlafverhalten zu analysieren. Die Firma hat dafür (wohl berechtigt) den Big Brother Award in D für 2018 gewonnen, außerdem auch 1,8 Mio Funding durch die EU. Soma Analytics: „Es sieht so aus, als würden wir länger hier bleiben.“

Das ist aber keine Ausnahme: City firm monitors lawyers’ calls in bid to combat stress. Das ist eigentlich in Europa nicht so ganz OK, aber mit Zustimmung der Angestellten stellt der Daten- und Arbeitnehmerschutz kein Problem dar, auch in Deutschland und Österreich. Hier noch Beispiele: Kelaa Mental Resilience, die App für deine Personalabteilung und Kontrolle im Unternehmen Wenn Daten den Wert eines Mitarbeiters bestimmen.

China prescht mit einem Helm der Gehirnaktivitäten misst noch weiter vor. Und mehr zum Thema Self-Tracking und was das für Privatsphäre bedeutet gibt es an anderer Stelle.

Die Nachrichtenauswahl durch unsere Social Networks und Suchmaschinen

Die Nachrichten, die wir alle jeden Tag sehen, werden seit es Zeitungen gibt, selektiv ausgewählt. Jede Redaktion wählt es der riesigen Menge von möglichen Themen diejenigen, die der jeweiligen Redaktion am wichtigsten erscheinen. Und die Leser wählen aus, ob sie lieber eine Boulevard-Zeitung oder lieber eine sog. Qualitätszeitung lesen möchten.

Social Networks haben die Problemstellung, dass die meisten Nutzer so große "Freundeskreise" haben, dass sie von Nachrichten überschwemmt werden würden, wenn alle diese Meldungen jeweils zu einem sog. Newsfeed führen würden (und die Aufmerksamkeit des Nutzer anfordern würden). Daher hat Facebook seinen PageRank Algorithmus, der entscheidet, welche der vielen Nachrichten der jeweilige Nutzer automatisch sehen wird (wenn der Nutzer auf die Timeline jedes Friends geht, so sieht er natürlich dort alle Postiings der Person, aber er wird eben nicht auf alle Posts aufmerksam gemacht). Twitter und Youtube und alle ähnlichen Dienste arbeiten sehr ähnlich, auch sie entscheiden für den Benutzer.

Nach der Veröffentlichung der Studie bei der Facebook Forscher durch gezielte Manipulation der Auswahl Forschung betreiben wollten ist dies zu einem Thema in der Öffentlichkeit geworden. Der Artikel The secret system controlling your Facebook News Feed beschreibt Reaktionen von Nutzern auf die Nachricht, dass sie nicht alles automatisch sehen, was die Friends posten. In dem Fall hatten 62% keine Ahnung von der Auswahl und waren ziemlich erzürnt, wenn die Posts von engen Freunden oder Familie nicht prominent dargestellt worden waren. Hier Details [und praktische Übungen] zum Algorithmus mit dem Facebook auswählt welche Nachrichten von "friends" und Werbefirmen in der Timeline gezeigt werden.

Durch die automatische Auswahl der Artikel in den Facebook Newsfeeds waren die Nachrichten rund um den Tod von Michael Brown in Ferguson 2014 lange Zeit kein Thema, Klatschgeschichten waren als "relevanter" eingestuft.

Sept. 2014: Jetzt steigt auch Twitter ein: Twitter: Algorithmen sollen mehr Einfluss auf die Timeline bekommen. Zitat: "Dadurch sollen sie [die Benutzer] weniger Inhalte verpassen, die die Plattform für wichtig erachtet." Ich kann mir gut vorstellen, dass Werbe-Tweets von Twitter unter "die die Plattform für wichtig erachtet" fallen könnten. Der Artikel erwähnt auch: "Diese zentrale Funktionsweise der Timeline war außerdem durch die ohne viele Worte eingeführte Einschleusung fremder Tweets verändert worden. Eine Möglichkeit, sich ihr zu entziehen, ist nicht vorgesehen."

Beispiel Wahlmanipulation durch Page Ranking oder Nachrichten an ausgewählte Nutzergruppen

Für Wahlmanimpulationen gibt es viele Möglichkeiten. Für die Page Ranking Algorithmen der Suchmaschinen gibt es die Option der selektiven Auswahl des Lesestoffs. Das wurde bereits 2013 gezeigt: Manipulating Search Rankings Can Shift Voters’ Preferences Substantially Without Their Awareness. In dem Experiment wurde den amerikanischen Testpersonen die Aufgabe gestellt, sich für einen von 2 australischen Politikern als Premierninister zu entscheiden. Grundlage waren Suchergebnisse, die für unterschiedliche Personen unterschiedlich manipuliert wurden. Auf diese Weise konnte, wenig überraschend, das Wahlergebnis gesteuert werden. Getestet wurde aber vor allen Dingen auch, ob die Testpersonen gemerkt haben, dass sie einseitige Ergebnisse geliefert bekamen. Durch geschicktes Ausbalancieren der Manipulation wurde erreicht, dass die Testpersonen nichts merkten.

Aber auch Facebook hatte bereits in 2010 erfolgreich mit Wahlmanipulation experimentiert. Ganz harmlos: sie haben ausgewählten Personen am Wahltag eine Aufforderung gezeigt, doch wählen zu gehen. Am effektivsten war jedoch, wenn den Nutzern gezeigt wurde, welche der "friends" bereits gewählt hatten. Den Erfolg haben die Facebook-Forscher gemessen, indem sie nachträglich in Wahlregistern geprüft haben, ob diese Personen verstärkt zur Wahl gegangen sind.

Das klingt jetzt erst mal vergleichsweise harmlos, aber Facebook (und alle anderen sozialen Netze) wissen natürlich aus dem Beobachten des Surf-Verhaltens, wie eine Person mit hoher Wahrscheinlichkeit wählen wird. D.h. es ist sehr einfach, nur die Sympathisanten eines bestimmten Kandidatens zu den Urnen zu schicken. Und damit es nicht auffällt braucht das gar nicht flächendeckend zu sein. Oft fallen in einzelnen Wahlbezirken die Ergebnisse extrem knapp aus - es reicht, wenn sich die Manipulation auf Wahlbezirke konzentriert, bei denen ein knappes Ergebnis vorhergesagt wird (und das wissen die Statistiker der Social Networks sehr gut, auch aus ihren eigenen Beobachtungen der Benutzer). Auch die Zeitschrift Schweizermonat ist darüber beunruhigt: Wird Facebook bald Wahlen entscheiden?

Stand 2018: Eine Studie der University of Oxford: Challenging Truth and Trust: A Global Inventory of Organized Social Media Manipulation.
Hier die Zusammenfassung:

• 2018 We have found evidence of formally organized social media manipulation campaigns in 48 countries, up from 28 countries last year (2017). In each country there is at least one political party or government agency using social media to manipulate public opinion domestically.
• In a fifth of these 48 countries—mostly across the Global South—we found evidence of disinformation campaigns operating over chat applications such as WhatsApp, Telegram and WeChat.
• Computational propaganda still involves social media account automation and online commentary teams, but is making increasing use of paid advertisements and search engine optimization on a widening array of Internet platforms. Social media manipulation is big business. Since 2010, political parties and governments have spent more than half a billion dollars on the research, development, and implementation of psychological operations and public opinion manipulation over social media. . . . in most countries this involves the spread junk news and misinformation during elections, military crises, and complex humanitarian disasters

Ziel der Forscher bei Facebook und den anderen ist die möglichst effektive und heimliche Manipulation des Verhaltens von Käufern, Wählern und Staatsbürgern. Hier noch einige Hintergründe zu den Forschungen bei Facebook: Facebook-Wissenschaftler hatten kaum Grenzen und Facebook experimentiert schon länger mit Nutzerdaten.

Siehe auch dieser Auszug aus dem neuen Buch von Bruce Schneier: Surveillance-based manipulation: How Facebook or Google could tilt elections.

Eine Studie aus 2018 untersucht den Search Engine Manipulation Effect (SEME): The Unprecedented Power of Digital Platforms to Control Opinions and Votes. Der Psychologe, der bereits 2013 diesen Effekt nachweisen konnte argumentiert heute, dass ca. ein Viertel aller Wahlen dadurch beeinflusst werden, wie und mit welchen Artikeln die Kandidaten in Google erscheinen. Bei seinen Untersuchungen wurden in 39 Ländern mit mehr als 10 000 Personen durchgeführt. Google kontrolliert weltweit ca. 90% aller Suchanfragen. Experimente zu Wahlen haben gezeigt, dass Menschen selbst extrem beeinflusste Rankings der Suchergebnisse als korrektes Abbild der Meinungen im Internet nehmen.

Wie können solche Manipulationen durch Suchmaschinen überhaupt entdeckt werden? Dies ist nicht einfach, aber hier ein Beispiel aus den USA: Could Google rankings skew an election? New group aims to find out. Die Antwort ist JA, Manipulationen von Suchergebnissen finden auch bei Wahlen statt. (Manipulationen von Suchergebnissen werden SEO genannt (Search Engine Optimization und sind ein wichtiger Wirtschaftszweig. Einige Firmen arbeiten mit ethischen und legalen Mitteln, z.B. Optimierung der Inhalte für Suchmaschinen, aber eine große Zahl nutzt illegale oder zumindest stark manipulative Mittel).

Aufgedeckt werden könnnen solche Manipulationen von Wählern mittels Browser-Plugins die regelmäßig Suchanfragen in den Browsern von realen Personen mit ihrer eigenen Suchhistorie machen. Solche Forschungen finden in den USA statt, aber auch in Deutschland vor der letzten Bundestagswahl 2017.

Hier ein Artikel von Robert Epstein, ein amerikanischer Psychologe der durch ein Monitoring System versucht, Wahlmanipulationen durch Suchmaschinen zu erkennen: Taming Big Tech: The Case for Monitoring.

Julia Zeh: „Corpus Delicti“ Sie beschreibt eine Welt, in der alle Menschen Fitness-Tracker tragen müssen. Einige Zitate aus einem Interview mit Julia Zeh (sie wird befragt zur Idee der Versicherungen, die Fitness der Kunden zu messen und zu belohnen/bestrafen): . . . Menschen ändern automatisch ihr Verhalten, wenn sie überwacht werden. Jeder kann das an sich selbst beobachten. Es reicht, wenn ein Auto anzeigt, wie viel Sprit es gerade verbraucht - schon fahren wir schonender. . . . . Der Mensch ist ein Sozialtier, und soziale Ordnungen beruhen immer auf Hierarchien, also Rankings. Je mehr wir "vermessen" werden, desto mehr werden wir verglichen. . . . . Totalitäre Strukturen kleiden sich heute ins Gewand von Serviceangeboten.

Gefahr für die Demokratie

Mit dieser leichten Steuerbarkeit der Menschen ist aber auch unser demokratisches Gesellschaftssystem in Gefahr: Wenn sich eine ausreichende Zahl von Menschen durch die Dienste im Internet steuern und manipulieren lässt und gleichzeitig die Anonymität mehr oder weniger schleichend immer stärker abgebaut wird, so ist wirkliche Demokratie nicht mehr möglich.

Dann ist auch die Frage beantwortet, ob die "autoritären" Gesellschaften wie die chinesische für ihre wachsende global vernetzte Mittelklasse mehr Demokratie einführen muss, längst beantwortet: Das "Problem der Demokratie" wird durch die Social Networks gerade gelöst. ;-)

Da bleibt nur die Frage offen, ob wir von den Kontrolleuren der Social Networks gesteuert werden, oder ob nicht diese auch irgendwann die Kontrolle verlieren und die Algorithmen so komplex werden, dass sie nicht mehr durchschaubar sind. Dann bleibt offen, ob wir die letzte Generation vor der (befürchteten oder erhofften) Singularität sind oder nicht vielleicht die erste Generation danach.

Aus dem Jahr 2012 eine sehr lesenswerte Serie von Robert Epstein: Why Google Should Be Regulated. Ebenso dieser Artikel US-Professor warnt: Google-Algorithmus kann Demokratie gefährden.

Weiterführende Informationen

Ein langer wissenschaftlicher Text von Tarleton Gillespie The Relevance of Algorithms beschreibt die 6 Dimensionen, die er bei der Untersuchung der Macht durch und von Algorithmen erkennt.

1. Patterns of inclusion: the choices behind what makes it into an index in the first place, what is excluded, and how data is made algorithm ready
2. Cycles of anticipation: the implications of algorithm providers' attempts to thoroughly know and predict their users, and how the conclusions they draw can matter
3. The evaluation of relevance: the criteria by which algorithms determine what is relevant, how those criteria are obscured from us, and how they enact political choices about appropriate and legitimate knowledge
4. The promise of algorithmic objectivity: the way the technical character of the algorithm is positioned as an assurance of impartiality, and how that claim is maintained in the face of controversy
5. Entanglement with practice: how users reshape their practices to suit the algorithms they depend on, and how they can turn algorithms into terrains for political contest, sometimes even to interrogate the politics of the algorithm itself
6. The production of calculated publics: how the algorithmic presentation of publics back to themselves shape a public's sense of itself, and who is best positioned to benefit from that knowledge.