Weiter zum Inhalt Skip to table of contents

SwipeAway Wie ein TikTok-Simulator Desinformation entlarvt

Von|
SwipeAway hilft dir, menschenfeindliche Erzählungen auf Social-Media-Plattformen zu erkennen und einzuordnen. (Quelle: Screenshot von SwipeAway)

Das Projekt re:set der Amadeu Antonio Stiftung arbeitet vor allem zu gruppenbezogener Menschenfeindlichkeit und der extremen Rechten im digitalen Raum. re:set stellt Bildungsmaterialien rund um das Thema „Hass im Netz” zur Verfügung, führt Workshops für Jugendliche und junge Erwachsene durch und bietet Fortbildungen für politische Bildner*innen sowie pädagogische Fachkräfte an. Der Kern der Arbeit von re:set ist die Verbindung von politischer Bildung mit medienpädagogischen Ansätzen, das alles mit besonderem Fokus auf Sachsen. Jetzt hat das Projekt SwipeAway veröffentlicht, ein digitales Tool, das Desinformation und extrem rechter Propaganda etwas entgegensetzen soll.

Belltower.News: Wie seid ihr auf die Idee für „SwipeAway“ gekommen?
re:set:
Daran ist womöglich Maximilian Krah Schuld. Als politische Bildner*innen widmen wir uns schon länger TikTok als Plattform für die unterschiedlichsten Diskurse. Spätestens, als das „echte Männer sind rechts”-Video des AfD-Spitzenkandidaten bei der Europawahl getrendet ist, war uns klar, dass wir ein Tool entwickeln wollen, was viele Leute erreicht, um über Plattformen wie TikTok aufzuklären – und gleichzeitig Pädagog*innen dabei hilft, mit jungen Menschen darüber ins Gespräch zu kommen. Damit menschen- und demokratiefeindlicher Content nicht unwidersprochen rezipiert wird.

Wie ist denn der aktuelle Stand des Umgangs bei Pädagog*innen?
Generell ist unsere Erfahrung, dass Jugendliche offen sind, über ihre Mediennutzung zu sprechen. Pädagogische Fachkräfte haben allerdings oft Berührungsängste – obwohl es notwendig ist, Jugendliche gerade in diesen Sozialräumen nicht unbegleitet zu lassen. Das Internet wird nach wie vor oft als wahrgenommen, in dem über Hassrede und extrem rechte Akteur*innen schnell hinweggeswipet wird. An der Stelle setzen wir mit SwipeAway an und schaffen kleine Reflexionsmomente in der Social-Media-Nutzung.

Was versprecht ihr euch davon?
SwipeAway macht deutlich, wie unterschwellig und nebenbei extrem rechte und menschenfeindliche Inhalte in unseren Feeds auftauchen. Wir zeigen, warum das so gut funktioniert und wie bestimmte Rahmenbedingungen auf Social-Media-Plattformen ganz bewusst als Strategie eingesetzt werden.

SwipeAway hat das Potenzial, eine attraktives Lerntool für verschiedene Zielgruppen zu sein: Für jugendliche Internetnutzer*innen hat es den Spaßfaktor, sich in einer gewohnten Umgebung mit bestimmten Themen auseinanderzusetzen. SwipeAway ist stark an den Look and Feel von tatsächlichen Social-Media-Plattformen angelehnt, indem auch kleine alltägliche Funktionen wie Liken und Teilen und sogar ein bisschen Fun-Content abgebildet sind. Pädagog*innen, die sich nicht so gut mit Plattformen wie TikTok auskennen, können dabei noch etwas über entsprechende Funktionsweisen lernen – im besten Fall, indem sie es sich von den jugendlichen oder jungen Nutzer*innen erklären lassen.

+++ SwipeAway – Hier ausprobieren +++

So entsteht ein Gesprächsraum über Mediennutzung ganz allgemein und konkret über problematische Internetphänomene. Dabei ist es wichtig zu betonen, welche positiven Seiten Social-Media-Plattformen haben, dass sie sogar für Bildungszwecke genutzt werden können. Nicht zuletzt dafür haben wir auch eine ganze Reihe an Positivbeispielen von tollen Accounts integriert, die über verschiedene Themen aufklären oder unterschiedliche Perspektiven zeigen.

SwipeAway zeigt das ja ziemlich genau: Auf TikTok folgt rechtsextreme Hetze einem Katzenvideo, Antisemitismus wird in einem Tanzvideo versteckt und das alles in einem unendlichen Feed. Was macht das mit dem politischen Diskurs?
Eine kontroverse Debatte ist ja erst einmal nichts Schlechtes – im Gegenteil. Das Problem an der Mischung im Feed ist, dass einerseits die Grenzen der freien Meinungsäußerung überschritten werden: Nämlich dann, wenn menschenfeindliche Inhalte geteilt werden. Dadurch, dass Regulierung durch die Plattformen in der Praxis oft nicht ausreichend funktioniert, steht entsprechender Content so oft unwidersprochen neben anderem. Das kann einen Gewöhnungs- oder auch Normalisierungseffekt verursachen. Dass viele explizite Inhalte beispielsweise über Codes versteckt kommuniziert werden, verstärkt diesen Effekt noch.
Außerdem ist ein Feed heute immer personalisiert: Der Algorithmus präsentiert Nutzer*innen speziell auf sie zugeschnittene Videos. An einem Ort, der für viele (nicht nur) junge Menschen maßgeblich zur eigenen Meinungsbildung beiträgt, wird also kein wirklich pluralistisches Meinungsbild abgebildet. Ganz zu schweigen von Falschinformationen, die kursieren. So können sich Positionen bei jungen Menschen unwidersprochen verstärken bzw. festigen.

Wie funktioniert Gegenrede im Videoformat?
Im Prinzip wird in der Kommunikationslogik der Video-Plattformen auf Hassrede reagiert. Was wir also an schriftlicher Gegenrede aus der Kommentarspalte kennen – beispielsweise als Antwort auf einen Kommentar – funktioniert auch mit der Stitch-Funktion auf TikTok. Das heißt ich nehme Videoschnipsel aus einem anderen Post und baue diese in meinen Kommentar dazu ein. Kreative Möglichkeiten durch Sound- und Videoeffekte sind größer als in der reinen Schriftform. Die üblichen inhaltlichen Gegenredestrategien, also das Richtigstellen von Falschinformationen, das Benennen von Diskriminierungsformen oder der Appell an andere Nutzer*innen funktionieren genauso wie die unterschiedlichen Umsetzungsformen über Humor, Nachfragen, Quellenarbeit usw.

SwipeAway macht auch deutlich: KI-Videos sind fast nicht mehr erkennbar. Was heißt das für Desinformation und Fake News?
Die Bearbeitung von Bild- und Videomaterial zu propagandistischen Zwecken ist keine neue Methode, aber durch den Einsatz von Künstlicher Intelligenz ist es viel einfacher geworden. KI ermöglicht es nicht nur, vorhandene Inhalte zu manipulieren, sondern auch völlig neue, täuschend echte in Sekunden zu erstellen – und das ohne besondere Vorkenntnisse. So können Szenen, die es in der Realität gar nicht gibt, künstlich erschaffen werden, um gewünschte Narrative zu untermalen. Ein Beispiel: Möchte man das Bild eines wütenden Mobs zur Dramatisierung einer Nachricht beispielsweise über Geflüchtete verbreiten, kann dies durch KI leicht erzeugt werden, selbst wenn es eine solche Situation nie gegeben hat. So können nicht nur Ereignisse erfunden, sondern auch passende visuelle „Beweise“ geschaffen werden. So funktioniert Desinformation.

Durch KI gibt es mehr Desinformationen, auch weil die entsprechenden Tools immer einfacher zugänglich und qualitativ besser geworden sind. Was heißt das für den Umgang mit audiovisuellen Medien im Netz?
Die grundsätzliche Annahme sollte sein, dass ein Inhalt manipuliert ist, bis das Gegenteil bewiesen werden kann. Daher wird es immer wichtiger, Fähigkeiten in der Analyse von Bild- und Videomaterial sowie der Überprüfung von Quellen zu entwickeln. Techniken wie die Rückwärts-Bildersuche gewinnen zunehmend an Bedeutung. Selbst wenn Inhalte offensichtlich KI-generiert sind, erzeugen sie den Eindruck, dass sie einen gewissen Realitätsbezug haben. Sie wirken oft, als wäre lediglich ein Filter über echte Szenen gelegt worden, was ihre Wirkung verstärkt.

Zusätzlich erschweren extrem rechte und antidemokratische Akteur*innen diese Überprüfung, indem sie digitale Räume gezielt mit entsprechenden Inhalten überfluten. Desinformationen werden glaubwürdiger, je öfter sie wiederholt werden. Software zur Erkennung von KI-generierten Inhalten muss zum Standardwerkzeug der Nutzer*innen werden und in die politische Medienbildung integriert sein. Solche Tools sollten idealerweise auch direkt in Plattformen implementiert werden.

Ihr benutzt aber auch KI-Content?
Bei SwipeAway haben wir uns bewusst dazu entschieden, mit KI-generierten Inhalten zu arbeiten, um aktuelle Sehgewohnheiten abzubilden und die kreativen Möglichkeiten digitaler Bild- und Videobearbeitung aufzuzeigen. Alle problematischen Videos wurden auf Bild- und Ton-Ebene durch KI realisiert, um das Potenzial und die Risiken dieser Technologie zu verdeutlichen und damit wir nicht auf Primärquellen verweisen müssen.

Wie habt ihr das Tool eigentlich entwickelt?
Wir wollten vor allem ein authentisches Tool entwickeln, das einen echten Anreiz schafft, sich mit Themen wie Hassrede und Menschenfeindlichkeit im Netz auseinanderzusetzen. Dabei war es uns wichtig, sowohl eine medienpädagogische Ebene zu schaffen, die die Funktionsweise der Plattform vermittelt, als auch die Inhalte kritisch zu hinterfragen, um politische Bildung zu fördern.

Zur Erstellung der problematischen Lerninhalte haben wir uns von bekannten Accounts auf TikTok oder Instagram inspirieren lassen, die Klassismus, Rassismus und Hassrede verbreiten. Zusätzlich haben wir abgewandelte, strafbewehrte Zitate von AfD-Politiker*innen aus einer Datenbank benutzt. Dadurch sind die problematischen Aussagen bei SwipeAway sehr realitätsnah und orientieren sich an tatsächlich verbreiteten Kurzvideo-Inhalten.

SwipeAway lässt aber Hassrede und gruppenbezogene Menschenfeindlichkeit nicht einfach stehen, sondern ordnet sie immer direkt ein?
Zentral ist das Erkennen von problematischen Inhalten. Nach unserer Erfahrung fällt es vielen Menschen schwer, diskriminierende Aussagen als solche zu benennen. Darüber hinaus beleuchten wir Strategien der Manipulation, Emotionalisierung und Desinformation, die in der digitalen Kommunikation häufig vorkommen. Ein weiterer Fokus liegt auf den Funktionsweisen der Plattform: Was bewirkt ein Like, das Teilen oder Kommentieren? Interaktive Elemente und Gamification regen die User*innen dazu an, Hassrede zu erkennen, sich zu positionieren und progressive Influencer*innen zu unterstützen.

Mit SwipeAway möchten wir nicht zuletzt auch Handlungsoptionen aufzeigen, die elementar sind, wenn wir uns auf Social-Media-Plattformen bewegen und auf problematischen Content stoßen. Hierzu gehört im Sinne digitaler Zivilcourage ganz zentral das Melden von entsprechenden Inhalten sowie eine aktive Solidaritätsbekundung gegenüber (potenziell) Betroffenen.

Was ist re:set eigentlich?
„reset” ist das englische Wort für „zurücksetzen”. Wir bei re:set wollen als Bildungsprojekt genau das: Ein kurzes Zurücksetzen bzw. Innehalten, wenn wir über Hassrede im Netz stolpern, um darüber zu sprechen: Was steckt dahinter und wie kann ich im Sinne digitaler Zivilcourage darauf reagieren? Dazu machen wir seit einigen Jahren Bildungsarbeit, in Form von Workshops mit Jugendlichen oder jungen Erwachsenen, aber auch im Rahmen von Fortbildungen mit Pädagog*innen, Sozialarbeitenden oder Lehrkräften. Dank unseres tollen Netzwerks aus über 60 Teamenden können wir sachsenweit Veranstaltungen anbieten.

Weiterlesen

Eine Plattform der