Soziale Medien sind allgegenwärtig. Ob Facebook, Instagram oder TikTok – immer mehr Menschen nutzen diese Plattformen, um ihre Erlebnisse, Meinungen und Interessen direkt mit anderen zu teilen. Doch was bedeutet das für unsere Erfahrungen in diesen digitalen Räumen – und welche Effekte hat dies auf unsere politische Meinungsbildung? Insbesondere immersive Erfahrungen, die Nutzer:innen in diesen Medienumgebungen erleben, können starke emotionale Wirkungen hervorrufen und politische oder ideologische Einstellungen beeinflussen. In diesem Blogbeitrag beschäftigten wir uns mit diesen immersiven Effekten von Social-Media-Plattformen. Neben einer detaillierten Auseinandersetzung mit der Frage, was Immersivität in diesem Zusammenhang genau bedeuten kann, stellen wir vor dem Hintergrund medien- und kommunikationswissenschaftlicher sowie psychologischer Konzepte und Theorien Mechanismen vor, die zur Immersivität rechter Kommunikation in sozialen Medien beitragen. Basierend auf diesen Erkenntnissen geben wir abschließend Handlungsempfehlungen, die darauf abzielen, präventive und repressive Maßnahmen gegen den missbräuchlichen und antidemokratischen Einsatz immersiver Umgebungen zu entwickeln.

Social-Media-Plattformen wie Instagram oder TikTok sind ein beliebtes Tool rechtsextremer Akteur:innen. Als politische Außenseiter:innen machen sie sich die Möglichkeiten sozialer Medien zunutze, sich als ein unabhängiges Sprachrohr jenseits journalistischer Medien zu etablieren, um so ihre Narrative zu inszenieren, politische Meinungen und ideologische Einstellungen zu kanalisieren sowie neue Mitglieder zu rekrutieren (Fielitz & Marcks, 2020; Rau et al., 2022; Schmitt, Harles, et al., 2020; Schwarz, 2020). Auf Instagram setzt die rechte Szene gezielt auf Creator:innen, Lifestyle und Naturverbundenheit, um die Ideologie leichter „verdaulich“ zu gestalten (Echtermann et al., 2020). Dabei werden ideologische Inhalte nicht nur subtil aufbereitet, oft werden die entsprechenden ideologischen Perspektiven explizit formuliert (Kero, im Druck). Aber auch TikTok, beliebt insbesondere bei jungen Nutzer:innen (mpfs, 2022), gewinnt als Plattform zunehmend an Bedeutung für die rechte Szene, um mit noch politisch wenig gefestigten Zielgruppen zu interagieren (pre:bunk, 2023). Auch hier ist die Bandbreite der Aufbereitung an Inhalten groß: Neben vermeintlich humoristisch und musikalisch aufbereiteten Content finden sich hier auch Formate von AfD-Politiker:innen, die ihre Überzeugungen zur Schau stellen. Durch Normalisierungsstrategien, z.B. pseudowissenschaftliche Falschinformationen oder Emotionalisierung, wird extrem rechtes Gedankengut anschlussfähig (Müller, 2022).

Social-Media-Plattformen bieten nicht nur jeder Person die Möglichkeit, in den öffentlichen politischen Diskurs einzutreten. Die verbreiteten Inhalte lassen zudem die Grenzen zwischen politischer Information, Unterhaltung und Sozialem verschwimmen. Gleichzeitig begünstigen unterschiedliche Funktionalitäten sozialer Medien immersive Erfahrungen der Nutzer:innen – ein Umstand, von dem insbesondere rechtsextremistische Akteur:innen im Rahmen ihrer Kommunikationspraktiken profitieren können. 

Dieser Beitrag hat zum Ziel, Immersivität rechtsextremistischer Inhalte in sozialen Medien zu kontextualisieren und ausgewählte immersive Mechanismen innerhalb dieser Umgebungen exemplarisch darzustellen. Aufbauend darauf sollen Präventionsmaßnahmen abgeleitet werden. 

Grundlegend bezieht sich Immersion auf das Eintauchen oder Vertiefen in eine bestimmte Umgebung, Aktivität oder Erfahrung (Murray, 1998). Immersion wird oft als Eigenschaft digitaler Technologien wie etwa Virtual Reality (VR), Augmented Reality (AR) oder im Gaming-Bereich diskutiert (Mühlhoff & Schütz, 2019; Nilsson et al., 2016). Aus medientheoretischer und medienpsychologischer Perspektive beschreibt der Begriff primär den Zustand der Auflösung physischer und fiktiver Grenzen; also die subjektiven Erfahrungen von Nutzer:innen, in eine fiktive Welt oder eine erzählerische Umgebung einzutauchen und in diese emotional involviert zu sein (z.B. E. Brown & Cairns, 2004; Haywood & Cairns, 2006). Damit verbunden ist in der Regel ein starkes Gefühl von Präsenz, bei dem die Wahrnehmung und Aufmerksamkeit auf die jeweiligen immersiven Inhalte gerichtet sind, die Aufmerksamkeit für Zeit und (realen) Raum dagegen sinkt für die Dauer der Immersion (Cairns et al., 2014; Curran, 2018). Immersive Umgebungen und Mechanismen können Engagement und Lernen (Dede, 2009), aber auch die ideologische Wirkung von Inhalten bei den Nutzenden begünstigen (Braddock & Dillard, 2016).

Losgelöst von einem Begriffsverständnis, das sich auf ein technik- oder kulturversiertes bzw. psychologisches Phänomen beschränkt, betrachten Mühlhoff und Schütz (2019) Immersion aus einer affekttheoretischen sowie sozialtheoretischen Perspektive. Immersion wird hier als eine dynamische Wechselwirkung zwischen (nicht-)menschlichen Individuen untereinander und ihrer Umgebung beschrieben, also als „einen bestimmten Modus emotionaler und affektiver Einbindung in ein gegenwärtiges oder mediatisiertes soziales Geschehen“ (S. 20). Affekte sind dabei spontane, instinktive Reaktionen, die sowohl individuell als auch sozial beeinflusst sein können und das Verhalten einer Person prägen (u.a. Strick, 2021). Die Gestaltung bestimmter (Medien-)Umgebungen kann gezielt affektive Reaktionen beeinflussen und somit auch Machtverhältnisse und soziale Dynamiken modulieren (Mühlhoff & Schütz, 2019). In diesem Sinne können bestimmte Immersionsangebote dazu beitragen, Verhalten zu steuern und zu regulieren – also eine „immersive Macht“ (S. 30) erzeugen. Immersion kann daher als eine Form situativer Einflussnahme auf das Denken und Fühlen des Individuums betrachtet werden. Sie stellt eine indirekte Ausübung von Macht dar, die hierarchiefrei und durch soziale Kontexte entsteht.

Immersion wird aus den unterschiedlichsten wissenschaftlichen Disziplinen (z.B. Psychologie, Computerwissenschaften, Kognitionswissenschaften, Design) betrachtet, ebenso vielfältig sind daher auch die Synonyme bzw. eng verwandten Konzepte. So findet man in der Literatur Begriffe wie Präsenz, Flow, Involvement und Engagement, welche ähnliche Phänomene beschreiben (siehe dazu z.B. Curran, 2018; Nilsson et al., 2016). Für die Umschreibung psychologischer Immersion im Rahmen der Rezeption narrativ gestalteter Medieninhalte wird in der medienpsychologischen und kommunikationswissenschaftlichen Forschung der Begriff Transportation verwendet (siehe z.B. Moyer-Gusé, 2008). Immersion als subjektive Erfahrung von Nutzer:innen ist dabei nicht auf ein spezifisches Medium oder auf eine spezifische Technologie limitiert. So kann neben einem Computerspiel oder einer VR-Anwendung auch eine Lernsituation, ein Buch, Film oder aber auch ein Social-Media-Angebot immersiv wirken.

Vor dem Hintergrund dieses integrativen Begriffsverständnisses befassen wir uns in dem vorliegenden Beitrag mit immersiven Mechanismen in und durch soziale Medien und ihren Inhalten. Dabei geht es uns vor allem um die soziale und psychologische Dimension von Immersivität.

Soziale Medien können auf unterschiedliche Weise zu immersiven Mechanismen und Effekten beitragen. Vor dem Hintergrund des medientheoretischen und -psychologischen Verständnisses von Immersion betreffen diese Erfahrungen einerseits die stetige Präsenz von Smartphones und, mit ihnen, Applikationen sozialer Medien in unserem Alltag, welche zu einer Verschmelzung von virtuellem, physischem und sozialem Raum führt. Auch die primäre Nutzungsart von Social-Media-Plattformen, so etwa das direkte Teilen von Alltagserfahrungen, Interessen und Meinungen, sowie die (psychologische) Verbindung mit solchen individuellen Inhaltehersteller:innen, folgend „Creator:innen“, und ihren Postings verstärken die emotionale Involviertheit der Nutzer:innen. Aus sozialtheoretischer Perspektive entsteht hier ein Machtgefüge, in welchem affektive Dynamiken gezielt genutzt werden können, um Verhaltensweisen, Einstellungen und Wahrnehmungen von Individuen zu beeinflussen.

Im Folgenden wollen wir uns zugrunde liegenden Mechanismen eingehender widmen, um dem immersiven Potenzial sozialer Medien in der Kommunikation rechtsextremistischer Creator:innen auf den Grund zu gehen. Dabei soll folgend zwischen zwei Kontexten unterschieden werden: der Plattformumgebung als Umgebung des sozialen Geschehens sowie der Wechselwirkung zwischen Individuen und Inhalten in dieser Umgebung.

Um die Konkurrenz um die uneingeschränkte Aufmerksamkeit der Nutzer:innen schalten sich in sozialen Medien auch diverse rechtsextremistische Akteur:innen ein. Der Anteil an rechtsextremem Content wächst seit Jahren stetig (siehe z.B. Munger & Phillips, 2022). Meinungen werden zum Verkaufsgegenstand. Social Media-Marketingstrategien werden dazu genutzt, um die Aufmerksamkeit der Nutzer:innen zu binden (Cotter, 2019) und Meinungsbildung im Sinne der rechten Ideologie zu betreiben. Dabei spielen die Inszenierung der eigenen Medienfigur und die Art und Weise, wie die Geschichten erzählt werden, eine wichtige Rolle für die Immersivität und Wirkung der bereitgestellten Inhalte.

Aus der rechten Szene heraus haben sich in den vergangenen Jahren eine Reihe von Creator:innen sowie auch Influencer:innen entwickelt. Sie sind eine wichtige Voraussetzung dafür, Nutzer:innen zu erreichen – v.a. solche, die sich sonst nicht für politische Inhalte interessieren. Im Allgemeinen handelt es sich bei den Influencer:innen um zuvor unbekannte Social Media-Nutzer:innen, die sich durch eine durchdachte Selbstinszenierung und das regelmäßige Verbreiten von Inhalten in den sozialen Medien zu bekannten Persönlichkeiten entwickeln und eine Bandbreite von Themen auf ihren Kanälen behandeln (Bauer, 2016). 

Insbesondere weibliche Aktivist:innen nutzen beliebte Social-Media-Plattformen, um die rechtsextreme Ideologie persönlich und emotional verpackt in Kochrezepten, Beauty-Tipps und inspirierenden Landschaftsbildern bei einem großen Publikum zu platzieren (Ayyadi, 2021; Echtermann et al., 2020; Kero, im Druck); die Grenzen zwischen Unterhaltung, Lifestyle und Politik sind dabei fließend. Die Creator:innen dienen als Rollenmodelle (Zimmermann et al., 2022), Meinungsführer:innen im Hinblick auf demokratiegefährdende Inhalte (Harff et al., 2022), können User:innen an Inhalte und Kanäle binden und über persönliche Bezüge zur Interaktion animieren (Leite et al., 2022). Je vertrauenswürdiger und zentraler Creator:innen wahrgenommen werden, desto mehr berichten Rezipient:innen über immersive Erfahrungen mit dem Medienangebot (Jung & Im, 2021).

Dabei sind es vor allem die kommunikativen Vermittlungsstile der Inhaltsproduzierenden, die die Rezipient:innen in ihre Alltagswelt regelrecht eintauchen lassen. Sie erzählen Geschichten von Natur, Heimat und einem souveränen deutschen Volk, geben einfache Antworten auf komplexe politische Fragestellungen, Feindbilder als Verantwortliche für gesellschaftliche Problemlagen sind schnell gefunden und anhand vermeintlich eindeutiger Charakteristiken schnell identifiziert (siehe Abbildung 1). Sie greifen durch ihre Narrative nicht nur identitäts- und sinnstiftend ein, sondern bieten Rezipient:innen eine starke Gruppe, die Interessierten einen Rahmen und (politische) Orientierung gibt. Humoristische sowie an Pop- und Jugendkultur orientierte Formate werden dafür genutzt, Inhalte leicht verdaulich zu gestalten und die Rezipient:innen an Kanäle und Creator:innen zu binden (Schmitt, Harles, et al., 2020, siehe auch Abbildung 2). Das Netz an rechten Akteur:innen in den sozialen Medien ist dicht, sie verweisen gegenseitig auf ihre Geschichten und Narrative – und das auch plattformübergreifend (Chadwick & Stanyer, 2022). Eine vermeintliche Konsistenz von Erzählungen, d.h. die gleiche Geschichte wird durch mehrere Akteur:innen erzählt, lässt eine Geschichte dadurch zusätzlich glaubwürdig erscheinen.

Die medienpsychologische und kommunikationswissenschaftliche Forschung identifiziert drei Mechanismen, die Geschichten überzeugend und rechtsextremistische Kommunikation damit besonders immersiv und wirksam machen: Transportation, Identifikation und parasoziale Interaktionen (siehe z.B. Braddock, 2020). 

Transportation beschreibt den Umstand, dass Menschen, um das in einer Geschichte präsentierte Narrativ zu verstehen, ihre Aufmerksamkeit von der realen, sie umgebenden Welt auf die in dem Narrativ konstruierten Welt richten müssen. Im Idealfall verlieren sie als Ergebnis einer solchen psychologischen Immersion das Bewusstsein für die reale Welt und tauchen vollständig in die fiktionale Welt ein (Braddock, 2020). Je größer das Engagement mit der narrativen Welt ist, desto weniger werden persuasive Informationen infrage gestellt (Igartua & Cachón-Ramón, 2023; Moyer-Gusé, 2008).

Mit Identifikation ist die Übernahme des Standpunktes bzw. einer Perspektive des medialen Charakters durch Rezipient:innen gemeint. Das geschieht z.B. dadurch, dass die Medienfigur als besonders ähnlich wahrgenommen wird. 

Die parasoziale Interaktion ist ein psychologischer Prozess, in dessen Rahmen Mediennutzer:innen eine Medienfigur so sehr mögen und/oder vertrauen, dass sie das Gefühl haben, sie wären mit ihr verbunden. Geschieht dies über einen längeren Zeitraum, z.B. über mehrere Videos, Beiträge usw. hinweg, spricht man auch von einer parasozialen Beziehung. Eine parasoziale Interaktion oder Beziehung zu einer Medienfigur verringert die Reaktanz gegenüber den von ihr präsentierten Inhalten auf Seiten der Nutzenden und das Bedürfnis, Inhalten widersprechen zu wollen. Das erleichtert die Übernahme von Überzeugungen, Einstellungen und Verhaltensweisen (Braddock, 2020).

Durch narratives Storytelling und die unmittelbare Präsentation von Alltagssituationen, Selbstoffenbarung oder Direktansprachen der Rezipient:innen können rechte Creator:innen den Grad ihrer Authentizität erhöhen und parasoziale Beziehungen mit ihren Follower:innen intensivieren. Je sozial attraktiver eine Medienfigur wahrgenommen wird (Masuda et al., 2022) und je größer die Identifikation der Rezipient:innen mit der Medienfigur (Eyal & Dailey, 2012), umso stärker ist die parasoziale Beziehung. Social-Media-Creator:innen bieten insbesondere jungen Nutzer:innen großes Identifikationspotenzial, indem sie sich als ihnen ähnlich und nahbar präsentieren (Farivar & Wang, 2022; Schouten et al., 2020). Beispielhaft dafür steht der Kanal von Freya Rosi, einen jungen rechten Creatorin. Mit Beauty-, Back- und Kochtipps sowie Naturaufnahmen inszeniert sie das Bild einer nahbaren, traditionellen und heimat-verbundenen jungen Rechten(eine detaillierte Analyse des Kanals findet sich auch bei Rösch, 2023). Eine besonders enge und überdauernde parasoziale Beziehung zu Social-Media-Protagonist:innen kann sogar zu suchtähnlichen Verhaltensweisen bei den Nutzenden führen (de Bérail et al., 2019). In anderen Worten: Die Nutzenden haben Schwierigkeiten, sich der fiktiven Welt, die durch die Social Media-Creator:innen erzeugt wird, zu entziehen – in diesem Kontext wirken ihre Inhalte also besonders immersiv.

Die Selbstoffenbarung von Creator:innen kann bei ihren Follower:innen über das Gefühl sozialer Präsenz – also der Wahrnehmung der medialen Figur als eine natürliche Person – zu einem höheren Maß an parasozialen Interaktionen und Beziehungen (Kim et al., 2019; Kim & Song, 2016)sowie zu mehr Engagement und Commitment mit Kommunikator:innen und ihren Inhalten führen (Osei-Frimpong & McLean, 2018). Das Gefühl sozialer Präsenz wiederum macht es unwahrscheinlicher, dass Menschen den Wahrheitsgehalt von Informationen prüfen (Jun et al., 2017). Das ist insbesondere problematisch im Umgang mit rechtsextremistischem Content, z.B. Desinformationen oder Verschwörungserzählungen. 

Im Kontext ihrer Kommunikation adressieren radikalisierte Kommunikator:innen Ängste, Unsicherheiten und Entwicklungsaufgaben, außerdem nutzen sie emotionalisierende Inhalte und Bilder, um ihre Inhalte anschlussfähig zu machen und ihre Follower:innen von ihrem Weltbild zu überzeugen (Frischlich, 2021; Frischlich et al., 2021; Schmitt, Harles, et al., 2020; Schneider et al., 2019). Im sogenannten postfaktischen Zeitalter werden Emotionen neben gefühlten Wahrheiten zu einem zentralen Manipulations-Tool rechtsextremistischer Creator:innen. Eine experimentelle Studie von Lillie und Kolleg:innen (2021) deutet darauf hin, dass narrative Inhalte, die Angst bei den Rezipient:innen auslösen, zu mehr Flow-Erleben – also dem vollkommenes Aufgehen der Nutzer:innen in die Rezeption der Inhalte – führen und Handlungsintentionen begünstigen; auf der anderen Seite reduziert Angst die Bereitschaft, Inhalten zu widersprechen. Sie wirken dadurch überzeugender. 

Die Entwicklung sozialer Medien hin zu Plattformen für die Erstellung, Veröffentlichung und Interaktion mit (audio-)visuellen Inhalten unterstützt die Vermittlung und Wirkung derartiger Inhalte. Insbesondere (audio-)visuell aufbereitete Inhalte sind geeignet, um emotionale Botschaften zu übermitteln (Houwer & Hermans, 1994) und damit entsprechende emotionale Antworten zu erzeugen. Diese wiederum beeinträchtigen die Informationsverarbeitung, da das Gehirn größere Aufmerksamkeit auf die Verarbeitung der emotionalen Reaktion als auf die Information richtet (Yang et al., 2023). Laut Tritt et al. (2016) scheinen politisch konservativ eingestellte Menschen leichter auf emotionale Stimuli anzusprechen als liberal einstellte.

Die bis hierhin skizzierten immersiven Effekte können dazu führen, dass die Follower:innen verstärkt in die dargestellte Welt der Creator:innen involviert werden, sie eine tiefere emotionale Verbindung herstellen sowie sich verstärkt mit den präsentierten Inhalten identifizieren (Feng et al., 2021; Hu et al., 2020; Slater & Rouner, 2002; Wunderlich, 2023).

Zeit spielt in den sozialen Medien eine wichtige Rolle. In kurzer Zeit muss die Aufmerksamkeit der Nutzenden gebunden werden, um sie in die Plattform reinzuziehen. Es ist anzunehmen, dass immersive Effekte der Kommunikation auf sozialen Medien durch Gestaltung und Funktionslogiken der Plattformen verstärkt werden. Dabei spielen plattformspezifische Algorithmen und sogenannte Dark Patterns eine besondere Rolle. 

Neben der Hervorhebung von Relevanz und Bedeutung bestimmter Inhalte fördern Algorithmen die emotionale Involviertheit der Nutzenden, indem sie ihnen bevorzugt diejenigen Inhalte zeigen, die sie bzw. ähnliche Nutzer:innen potenziell präferieren. Es geht darum, die Nutzenden so lange wie möglich an die Plattform und die Inhalte zu binden; schließlich ist das Teil des Geschäftsmodells der Plattformen. Damit lassen die Plattformen die Nutzenden stetig tiefer in die virtuellen Welten „eintauchen“. Sie werden dadurch zu einem immersiven und wirksamen Rekrutierungstool. Die algorithmische Auswahl und Sortierung bestimmter Inhalte hängt dabei von verschiedenen Faktoren ab, z.B. der Art des Inhalts, seiner Platzierung, der verwendeten Sprache, vom Grad der Vernetzung derjenigen, die ihn verbreiten, sowie von den Reaktionen der Nutzer:innen (Peters & Puschmann, 2017).

Kommerzielle Plattformen priorisieren Beiträge, die emotionale Reaktionen hervorrufen, polarisieren oder eine intensive Kommunikation der Mitglieder fördern (Grandinetti & Bruinsma, 2023; Huszár et al., 2022; Morris, 2021). Insbesondere visuelle Darstellungen wie Bilder, Videos oder Memes erzeugen affektive Emotionen sowie Reaktionen der Rezipient:innen und ziehen diese in ihren ‚Bann‘ (Maschewski & Nosthoff, 2019). Die emotionale Bindung und Involviertheit der Nutzenden mit den Inhalten wird durch die algorithmische Vernetzung technisch verstärkt. Das gilt auch für den Kontakt zu antidemokratischen Inhalten. Studien legen nahe, dass Social-Media-Algorithmen die Verbreitung rechtsextremistischer Aktivitäten begünstigen können (Whittaker et al., 2021; Yesilada & Lewandowsky, 2022) – zuweilen genügen ähnliche Keywords wie bei unproblematischen Inhalten (Schmitt et al., 2018). Insbesondere Personen, die sich für Nischenthemen (z.B. Verschwörungserzählungen) interessieren (Ledwich et al., 2022) und lange den Plattform-Empfehlungen (M. A. Brown et al., 2022) folgen, werden durch die Algorithmen in entsprechende Filterblasen manövriert. Gleichzeitig bekommt aber der Großteil der Nutzenden moderate Inhalte zugespielt (M. A. Brown et al., 2022; Ledwich et al., 2022).

TikTok rückte in den vergangenen Jahren v.a. wegen seiner besonders starken algorithmischen Steuerung in den Fokus. Diese macht es noch wahrscheinlicher, unintentional mit radikalisierten Inhalten in Kontakt zu kommen (Weimann & Masri, 2021). Gleichzeitig sorgt die Tatsache, dass der Stream ständig weiterläuft, wenn man ihn als Nutzende:r nicht aktiv unterbricht, für eine deutlich größere Immersivität der Plattform im Vergleich zu anderen sozialen Medien (Su, Zhou, Gong, et al., 2021; Su, Zhou, Wang, et al., 2021). Zuweilen wird der Plattform aufgrund ihrer Funktionalitäten sogar Suchtpotenzial zugeschrieben (siehe z.B. Qin et al., 2022). Der „Absprung“ fällt schwer, was insbesondere vor dem Hintergrund der Zunahme extremistischer Kommunikation auf TikTok eine große Gefahr für die Nutzenden darstellt. 

Im Hinblick auf die immersive Wirkung von sozialen Medien werden auch sogenannte Dark Patterns diskutiert. Diese beschreiben Designentscheidungen von Plattformen, die trügerische oder manipulative Taktiken anwenden, um Nutzer:innen auf den Plattformen zu halten und zu (uninformierten) Nutzungsentscheidungen zu bewegen (Gray et al., 2023). In den sozialen Medien zielen Dark Patterns maßgeblich darauf, die Aufmerksamkeit der Nutzenden dauerhaft zu binden, eine exzessive und immersive Nutzung der Plattformen zu bewirken und die Nutzer:innen zu Aktionen (z.B. Likes) zu bewegen. Beispiele für Dark Patterns sind Aktivitätsbenachrichtigungen, bei Facebook die große Herausforderung, sich wirklich von der Plattform abzumelden oder gar ein Konto zu löschen, oder die oftmals konterintuitive farbliche Gestaltung von Cookie-Notifikationen, damit Nutzer:innen möglichst alle – auch unnötige – akzeptieren. Fast alle gängigen Plattformen und Anwendungen verfügen über Dark Patterns, viele Nutzer:innen bemerken sie nicht (Bongard-Blanchy et al., 2021; Di Geronimo et al., 2020). Auch Creator:innen wollen das Verhalten von Nutzer:innen durch Dark Patterns beeinflussen. So versuchen sie beispielsweise, durch die Manipulation von Popularitätsmetriken (z.B. Likes, Anzahl von Follower:innen) und Bilder ihre Glaubwürdigkeit künstlich zu erhöhen und Aufmerksamkeit für ihre Inhalte zu generieren (Luo et al., 2022).

Die Immersivität extremistischer Social-Media-Kommunikation stellt mit Blick auf Präventionsmaßnahmen eine große Herausforderung dar. Dies betrifft insbesondere die Vielzahl an Ebenen, welche in diesem Kontext berücksichtigt werden müssen. Im Folgenden wollen wir Überlegungen von Präventionsmaßnahmen auf der a) Inhaltsebene, b) Plattformebene sowie c) Medienebene präzisieren. Für die Konkretisierung von Maßnahmen aus Sicht der Nutzenden werden wir die drei Präventionsebenen Awareness, Reflection und Empowerment heranziehen (Schmitt, Ernst, et al., 2020). Während Awareness eine generelle Aufmerksamkeit bzw. ein generelles Bewusstsein (z.B. für das eigene Nutzungsverhalten, extremistische Narrative, Funktionsweise der Plattformen) umfasst, bezieht sich die Ebene Reflection auf die kritische Reflexion von Inhalten und Funktionsweisen von Medien. Empowerment hingegen meint die Fähigkeit von Rezipient:innen, sich gegenüber bestimmten Medieninhalten oder Funktionalitäten positionieren zu können und handlungsfähig zu sein. 

Auf der Inhaltsebene (a) muss für extremistische Inhalte sowie ihre spezifischen digitalen Kommunikations- und Darstellungsformen auf sozialen Medien sensibilisiert werden. So geht es hier darum, ein Bewusstsein dafür zu schaffen, wie rechtsextreme Creator:innen kommunizieren, um die Aufmerksamkeit von Social-Media-Nutzer:innen zu gewinnen, sie für ihre Narrative zu begeistern und letztlich zu Handlungen im Sinne des rechtsextremen Weltbildes zu motivieren (Schmitt, Ernst, et al., 2020). Nutzer:innen sollten weiterhin dazu befähigt werden, eine kritische Haltung gegenüber extremistischen Inhalten einzunehmen, um sich in sozialen Diskursen dazu entsprechend positionieren zu können. Diese Positionierung muss nicht nur im Rahmen politischer Diskussionen erfolgen – auch die Tatsache, Inhalte bei der Plattform selbst oder an eine der gängigen Meldeplattformen (z.B. Jugendschutz.net) zu melden, verdeutlicht eine Haltung. Neben einer ausgeprägten Medienkritikfähigkeit ist hier v.a. auch historisches, interkulturelles und politisches Wissen von Bedeutung. Weiterhin eine ausgeprägte Ambiguitätstoleranz, die es Menschen ermöglicht, auch komplexe und möglicherweise widersprüchliche Informationen zu ertragen.

Plattformbezogene Präventionsmaßnahmen (b) sollten auf der einen Seite Nutzer:innen Bewusstsein, Wissen und Reflexion über algorithmische Funktionslogiken vermitteln (z.B. Was wird ‚mir‘ angezeigt und warum?) sowie über Wirkmechanismen des Plattformdesigns aufklären (z.B. Wie werden mir Inhalte angezeigt? Inwiefern beeinflusst das meine Handlungen?) (Di Geronimo et al., 2020; Silva et al., 2022; Taylor & Brisini, 2023). Für den schulischen Kontext gibt es z.B. das zweite Lernarrangement der Unterrichtsreihe CONTRA (Ernst et al., 2020), das explizit für die Förderung von Medienkritikfähigkeit im Hinblick auf Algorithmen gestaltet worden ist. 

Aufseiten der Plattformen gilt es hier, Transparenz über die Algorithmen zu schaffen. Eine Offenlegung des Plattformdesigns, so etwa die über die Funktionslogik des Empfehlungsalgorithmus, kann dazu beitragen, Dark Patterns zu erkennen – und somit auch die potenzielle Verbreitungsdynamik extremistischer Botschaften zu verstehen und diesen entgegenzuwirken (Rau et al., 2022). Im Kontext sozialer Medien gelten Dark Patterns bisher als relativ schlecht erforscht (Mildner et al., 2023). Aufklärungsarbeit aus der Forschung bietet hier etwa das Projekt Dark Pattern Detection Project, welches zudem eine Meldefunktion von Dark Patterns für Nutzer:innen zur Verfügung stellt. 

Auch politische Regulierungsmaßnahmen, wie etwa in Gesetzen wie dem NetzDG oder Digital Services Act (DSA), können im Kontext der Offenlegung des Plattformdesigns Abhilfe schaffen und diese bspw. zu Transparenzberichten verpflichten. Mit Blick auf potenziell neu entstehende virtuelle Medienumgebungen – so etwa dem Metaverse – gilt es, Transparenzregeln durchzusetzen und neue Formen ihres Designs zu berücksichtigen. Unter welchen Umständen kommt die virtuelle Interaktion zustande? Wie gestalten sich die digitalen Handlungsräume? Nach welchen Kriterien erfolgt die visuelle Repräsentation der Akteur:innen, beispielsweise mit Blick auf Avatare, und wie inklusiv sind diese gestaltet? 

Auf der Medienebene (c) gilt es, den Nutzer:innen ein Bewusstsein über ihr eigenes Medienverhalten zu verschaffen und darüber zur Reflexion anzuregen. Dies betrifft unter anderem Fragen der Nutzungsdauer einer bestimmten Anwendung (z.B. „Wie viel Zeit habe ich heute mit TikTok verbracht?“), aber auch der Nutzungsart¹Über Tools wie Dataskop kann die Nutzung von TikTok sichtbar gemacht werden. (z.B. „Welche Inhalte und Mechanismen „saugen“ mich ein?“). Eine Hilfestellung dabei könnten Apps sein, die Zeitlimits oder Warnhinweise zu Nutzungszeiten anderer Apps liefern oder diese blockieren (z.B. StayFree oder Forest). Die Funktion des „digitalen Wohlbefindens“, welche die Nutzungszeit einzelner Apps messen kann, ist bereits in verschiedenen Smartphone-Marken etabliert. 

Die bisherigen Ausführungen verdeutlichen, auf wie vielen Ebenen die Kommunikation rechtsextremer Creator:innen in den sozialen Medien aus sozialer und psychologischer Perspektive immersiv wirken können. Das geschieht einerseits aufgrund der von ihnen gewählten Kommunikationsstile, andererseits über die Plattformen selbst. Zusammengenommen entsteht dadurch eine Parallelwelt – ein Metaverse –, welche die Nutzenden auf vielfältige Weise an sich bindet und dadurch Wirkung entfalten kann. 

Aus Forschungsperspektive ergeben sich eine Vielzahl offener Fragen. So sollte etwa TikTok als überaus beliebte Plattform noch eingehender auf ihr immersives Potenzial geprüft werden. Die neuen Möglichkeiten KI-basierter Bildgenerierungstools werfen zudem Fragen nach der Wirkung und Immersivität synthetischer Bildsprache extremistischer Kommunikator:innen auf. Außerdem hat das Thema Gaming und Rechtsextremismus in den vergangenen Jahren stark an Aufmerksamkeit gewonnen (siehe z.B. Amadeu Antonio Stiftung, 2022; Schlegel, o. J., 2021). Von den virtuellen Welten aufgesogen zu werden, ist eine zentrale Motivation von Spielenden (für einen Überblick siehe z.B. Cairns et al., 2014). Im Hinblick auf die Art und Weise, wie rechtsextreme Akteur:innen Gaming für ihre Zwecke genau nutzen, welche Rolle dabei Avatare, 3D-Welten und VR spielen und wie sich das im Kontext von Radikalisierungsprozessen auswirken kann, darüber gibt es derzeit noch relativ wenig gesicherte Befunde. Erste Erkenntnisse gibt es hingegen darüber, wie interaktive Spiele und VR für die Prävention eingesetzt werden können (siehe z.B. Bachen et al., 2015; Dishon & Kafai, 2022). Durch einen spielerischen und immersiven Ansatz können abstraktere Themen wie Politik und Demokratie – einschließlich ihrer kontroversen Aspekte – auf eine erlebnisreiche und kooperative Weise erkundet werden. Dies ermöglicht das Einnehmen unterschiedlicher Standpunkte, das Erlernen und Üben von Interaktionspraktiken, die auch im alltäglichen Leben relevant sind. Darüber hinaus können Spiele Wissen, Empathie und kritisches Denken fördern. Sowohl die Forschung als auch die Präventionspraxis sollte diese Potenziale noch ausführlicher explorieren. Wenngleich wir eine Auswahl an Überlegungen für die Prävention immersiver extremistischer Kommunikation skizziert haben, ist die Präventionspraxis gefragt, sich noch eingehender mit den unterschiedlichen Facetten von Immersivität zu befassen und vergleichbare Mechanismen u.U. für die eigenen Ziele zu nutzen –natürlich unter Berücksichtigung des Überwältigungsverbots (bpb, 2011; zur Kritik am Beutelsbacher Konsens siehe auch Widmaier & Zorn, 2016).

Amadeu Antonio Stiftung. (2022). Unverpixelter Hass—Gaming zwischen Massenphänomen und rechtsextremen Radikalisierungsraum? https://www.amadeu-antonio-stiftung.de/neue-handreichung-unverpixelter-hass-gaming-zwischen-massenphaenomen-und-rechtsextremen-radikalisierungsraum-81173/

Ayyadi, K. (2021, August 25). Rechte Influencerinnen: Rechtsextreme Inhalte schön verpackt. Belltow-er.News. https://www.belltower.news/rechte-influencerinnen-rechtsextreme-inhalte-schoen-verpackt-120301/

Bachen, C. M., Hernández-Ramos, P. F., Raphael, C., & Waldron, A. (2015). Civic Play and Civic Gaps: Can Life Simulation Games Advance Educational Equity? Journal of Information Technology & Politics, 12(4), 378–395. https://doi.org/10.1080/19331681.2015.1101038

Bongard-Blanchy, K., Rossi, A., Rivas, S., Doublet, S., Koenig, V., & Lenzini, G. (2021). ”I am Definitely Manipulated, Even When I am Aware of it. It’s Ridiculous!”—Dark Patterns from the End-User Perspective. Proceedings of the 2021 ACM Designing Interactive Systems Conference, 763–776. https://doi.org/10.1145/3461778.3462086

bpb. (2011, April 7). Beutelsbacher Konsens. bpb.de. https://www.bpb.de/die-bpb/ueber-uns/auftrag/51310/beutelsbacher-konsens/

Braddock, K. (2020). Narrative Persuasion and Violent Extremism: Foundations and Implications. In J. B. Schmitt, J. Ernst, D. Rieger, & H.-J. Roth (Hrsg.), Propaganda und Prävention: Forschungser-gebnisse, didaktische Ansätze, interdisziplinäre Perspektiven zur pädagogischen Arbeit zu ext-remistischer Internetpropaganda (S. 527–538). Springer Fachmedien. https://doi.org/10.1007/978-3-658-28538-8_28

Braddock, K., & Dillard, J. P. (2016). Meta-analytic evidence for the persuasive effect of narratives on beliefs, attitudes, intentions, and behaviors. Communication Monographs, 83(4), 446–467. https://doi.org/10.1080/03637751.2015.1128555

Brown, E., & Cairns, P. (2004). A grounded investigation of game immersion. CHI ’04 Extended Ab-stracts on Human Factors in Computing Systems, 1297–1300. https://doi.org/10.1145/985921.986048

Brown, M. A., Bisbee, J., Lai, A., Bonneau, R., Nagler, J., & Tucker, J. A. (2022). Echo Chambers, Rabbit Holes, and Algorithmic Bias: How YouTube Recommends Content to Real Users (SSRN Scholar-ly Paper 4114905). https://doi.org/10.2139/ssrn.4114905

Cairns, P., Cox, A., & Nordin, A. I. (2014). Immersion in Digital Games: Review of Gaming Experience Research. In Handbook of Digital Games (S. 337–361). John Wiley & Sons, Ltd. https://doi.org/10.1002/9781118796443.ch12

Chadwick, A., & Stanyer, J. (2022). Deception as a Bridging Concept in the Study of Disinformation, Misinformation, and Misperceptions: Toward a Holistic Framework. Communication Theory, 32(1), 1–24. https://doi.org/10.1093/ct/qtab019

Cotter, K. (2019). Playing the visibility game: How digital influencers and algorithms negotiate influ-ence on Instagram. New Media & Society, 21(4), 895–913. https://doi.org/10.1177/1461444818815684

Curran, N. (2018). Factors of Immersion. In The Wiley Handbook of Human Computer Interaction (S. 239–254). John Wiley & Sons, Ltd. https://doi.org/10.1002/9781118976005.ch13

de Bérail, P., Guillon, M., & Bungener, C. (2019). The relations between YouTube addiction, social anxie-ty and parasocial relationships with YouTubers: A moderated-mediation model based on a cognitive-behavioral framework. Computers in Human Behavior, 99, 190–204. https://doi.org/10.1016/j.chb.2019.05.007

Dede, C. (2009). Immersive Interfaces for Engagement and Learning. Science, 323(5910), 66–69. https://doi.org/10.1126/science.1167311

Di Geronimo, L., Braz, L., Fregnan, E., Palomba, F., & Bacchelli, A. (2020). UI Dark Patterns and Where to Find Them: A Study on Mobile Applications and User Perception. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–14. https://doi.org/10.1145/3313831.3376600

Dishon, G., & Kafai, Y. B. (2022). Connected civic gaming: Rethinking the role of video games in civic education. Interactive Learning Environments, 30(6), 999–1010. https://doi.org/10.1080/10494820.2019.1704791

Echtermann, A., Steinberg, A., Diaz, C., Kommerell, C., & Eckert, T. (2020). Kein Filter für Rechts. cor-rectiv.org. https://correctiv.org/top-stories/2020/10/06/kein-filter-fuer-rechts-instagram-rechtsextremismus-frauen-der-rechten-szene/?lang=de

Ernst, J., Schmitt, J. B., Rieger, D., & Roth, H.-J. (2020). #weARE – Drei Lernarrangements zur Förderung von Medienkritikfähigkeit im Umgang mit Online-Propaganda in der Schule. In J. B. Schmitt, J. Ernst, D. Rieger, & H.-J. Roth (Hrsg.), Propaganda und Prävention: Forschungsergebnisse, di-daktische Ansätze, interdisziplinäre Perspektiven zur pädagogischen Arbeit zu extremistischer Internetpropaganda (S. 361–393). Springer Fachmedien. https://doi.org/10.1007/978-3-658-28538-8_17

Eyal, K., & Dailey, R. M. (2012). Examining Relational Maintenance in Parasocial Relationships. Mass Communication and Society, 15(5), 758–781. https://doi.org/10.1080/15205436.2011.616276

Farivar, S., & Wang, F. (2022). Effective influencer marketing: A social identity perspective. Journal of Retailing and Consumer Services, 67, 103026. https://doi.org/10.1016/j.jretconser.2022.103026

Feng, Y., Chen, H., & Kong, Q. (2021). An expert with whom i can identify: The role of narratives in in-fluencer marketing. International Journal of Advertising, 40(7), 972–993. https://doi.org/10.1080/02650487.2020.1824751

Fielitz, M., & Marcks, H. (2020). Digitaler Faschismus: Die sozialen Medien als Motor des Rechtsext-remismus. Dudenverlag.

Frischlich, L. (2021). #Dark inspiration: Eudaimonic entertainment in extremist Instagram posts. New Media & Society, 23(3), 554–577. https://doi.org/10.1177/1461444819899625

Frischlich, L., Hahn, L., & Rieger, D. (2021). The Promises and Pitfalls of Inspirational Media: What do We Know, and Where do We Go from Here? Media and Communication, 9(2), 162–166. https://doi.org/10.17645/mac.v9i2.4271

Grandinetti, J., & Bruinsma, J. (2023). The Affective Algorithms of Conspiracy TikTok. Journal of Broad-casting & Electronic Media, 67(3), 274–293. https://doi.org/10.1080/08838151.2022.2140806

Gray, C. M., Sanchez Chamorro, L., Obi, I., & Duane, J.-N. (2023). Mapping the Landscape of Dark Patterns Scholarship: A Systematic Literature Review. Companion Publication of the 2023 ACM Designing Interactive Systems Conference, 188–193. https://doi.org/10.1145/3563703.3596635

Harff, D., Bollen, C., & Schmuck, D. (2022). Responses to Social Media Influencers’ Misinformation about COVID-19: A Pre-Registered Multiple-Exposure Experiment. Media Psychology, 25(6), 831–850. https://doi.org/10.1080/15213269.2022.2080711

Haywood, N., & Cairns, P. (2006). Engagement with an Interactive Museum Exhibit. In T. McEwan, J. Gulliksen, & D. Benyon (Hrsg.), People and Computers XIX — The Bigger Picture (S. 113–129). Springer. https://doi.org/10.1007/1-84628-249-7_8

Houwer, J. D., & Hermans, D. (1994). Differences in the affective processing of words and pictures. Cognition and Emotion, 8(1), 1–20. https://doi.org/10.1080/02699939408408925

Hu, L., Min, Q., Han, S., & Liu, Z. (2020). Understanding followers’ stickiness to digital influencers: The effect of psychological responses. International Journal of Information Management, 54, 102169. https://doi.org/10.1016/j.ijinfomgt.2020.102169

Huszár, F., Ktena, S. I., O’Brien, C., Belli, L., Schlaikjer, A., & Hardt, M. (2022). Algorithmic amplification of politics on Twitter. Proceedings of the National Academy of Sciences, 119(1), e2025334119. https://doi.org/10.1073/pnas.2025334119

Igartua, J.-J., & Cachón-Ramón, D. (2023). Personal narratives to improve attitudes towards stigma-tized immigrants: A parallel-serial mediation model. Group Processes & Intergroup Relations, 26(1), 96–119. https://doi.org/10.1177/13684302211052511

Jun, Y., Meng, R., & Johar, G. V. (2017). Perceived social presence reduces fact-checking. Proceedings of the National Academy of Sciences, 114(23), 5976–5981. https://doi.org/10.1073/pnas.1700175114

Jung, N., & Im, S. (2021). The mechanism of social media marketing: Influencer characteristics, con-sumer empathy, immersion, and sponsorship disclosure. International Journal of Advertising, 40(8), 1265–1293. https://doi.org/10.1080/02650487.2021.1991107

Kero, S. (im Druck). Jung, weiblich und extrem rechts. Die narrative Kommunikation weiblicher Akteu-rinnen auf der Plattform Instagram. easy_social sciences.

Kim, J., Kim, J., & Yang, H. (2019). Loneliness and the use of social media to follow celebrities: A mod-erating role of social presence. The Social Science Journal, 56(1), 21–29. https://doi.org/10.1016/j.soscij.2018.12.007

Kim, J., & Song, H. (2016). Celebrity’s self-disclosure on Twitter and parasocial relationships: A medi-ating role of social presence. Computers in Human Behavior, 62, 570–577. https://doi.org/10.1016/j.chb.2016.03.083

Ledwich, M., Zaitsev, A., & Laukemper, A. (2022). Radical bubbles on YouTube? Revisiting algorithmic extremism with personalised recommendations. First Monday. https://doi.org/10.5210/fm.v27i12.12552

Leite, F. P., Pontes, N., & Baptista, P. de P. (2022). Oops, I’ve overshared! When social media influenc-ers’ self-disclosure damage perceptions of source credibility. Computers in Human Behavior, 133, 107274. https://doi.org/10.1016/j.chb.2022.107274

Lillie, H. M., Jensen, J. D., Pokharel, M., & Upshaw, S. J. (2021). Death Narratives, Negative Emotion, and Counterarguing: Testing Fear, Anger, and Sadness as Mechanisms of Effect. Journal of Health Communication, 26(8), 586–595. https://doi.org/10.1080/10810730.2021.1981495

Luo, M., Hancock, J. T., & Markowitz, D. M. (2022). Credibility Perceptions and Detection Accuracy of Fake News Headlines on Social Media: Effects of Truth-Bias and Endorsement Cues. Communi-cation Research, 49(2), 171–195. https://doi.org/10.1177/0093650220921321

Maschewski, F., & Nosthoff, A.-V. (2019). Netzwerkaffekte. Über Facebook als kybernetische Regie-rungsmaschine und das Verschwinden des Subjekts. In R. Mühlhoff, A. Breljak, & J. Slaby (Hrsg.), Affekt Macht Netz: Auf dem Weg zu einer Sozialtheorie der Digitalen Gesellschaft (1. Aufl., Bd. 22, S. 55–80). transcript Verlag. https://doi.org/10.14361/9783839444399

Masuda, H., Han, S. H., & Lee, J. (2022). Impacts of influencer attributes on purchase intentions in so-cial media influencer marketing: Mediating roles of characterizations. Technological Fore-casting and Social Change, 174, 121246. https://doi.org/10.1016/j.techfore.2021.121246

Mildner, T., Savino, G.-L., Doyle, P. R., Cowan, B. R., & Malaka, R. (2023). About Engaging and Govern-ing Strategies: A Thematic Analysis of Dark Patterns in Social Networking Services. Proceed-ings of the 2023 CHI Conference on Human Factors in Computing Systems, 1–15. https://doi.org/10.1145/3544548.3580695

Morris, L. (2021, Oktober 27). In Poland’s politics, a ‚so- cial civil war‘ brewed as Facebook rewarded online anger. The Washington Post. https://www.washingtonpost.com/world/2021/10/27/poland-facebook-algorithm/

Moyer-Gusé, E. (2008). Toward a Theory of Entertainment Persuasion: Explaining the Persuasive Effects of Entertainment-Education Messages. Communication Theory, 18(3), 407–425. https://doi.org/10.1111/j.1468-2885.2008.00328.x

mpfs. (2022). JIM-Studie 2022. Jugend, Information, Medien. Basisuntersuchung zum Medienumgang 12- bis 19-Jähriger. https://www.mpfs.de/fileadmin/files/Studien/JIM/2022/JIM_2022_Web_final.pdf

Mühlhoff, R., & Schütz, T. (2019). Die Macht der Immersion. Eine affekttheoretische Perspektive. https://doi.org/10.25969/MEDIAREP/12593

Müller, P. (2022). Extrem rechte Influencer*innen auf Telegram: Normalisierungsstrategien in der Corona-Pandemie. ZRex – Zeitschrift für Rechtsextremismusforschung, 2(1), Art. 1. https://www.budrich-journals.de/index.php/zrex/article/view/39600

Munger, K., & Phillips, J. (2022). Right-Wing YouTube: A Supply and Demand Perspective. The Interna-tional Journal of Press/Politics, 27(1), 186–219. https://doi.org/10.1177/1940161220964767

Murray, J. H. (1998). Hamlet on the Holodeck: The Future of Narrative in Cyberspace. The MIT Press.

Nilsson, N. Chr., Nordahl, R., & Serafin, S. (2016). Immersion revisited: A review of existing definitions of immersion and their relation to different theories of presence. Human Technology, 12(2), 108–134.

Osei-Frimpong, K., & McLean, G. (2018). Examining online social brand engagement: A social presence theory perspective. Technological Forecasting and Social Change, 128, 10–21. https://doi.org/10.1016/j.techfore.2017.10.010

Peters, I., & Puschmann, C. (2017). Informationsverbreitung in sozialen Medien. In J.-H. Schmidt & M. Taddicken (Hrsg.), Handbuch soziale Medien (S. 211–232). Springer VS.

pre:bunk. (2023). Rechtsextremismus und TikTok, Teil 1: Von Hatefluencer*innen über AfD und bis rechter Terror. Belltower.News. https://www.belltower.news/rechtsextremismus-und-tiktok-teil-1-147835/

Qin, Y., Omar, B., & Musetti, A. (2022). The addiction behavior of short-form video app TikTok: The information quality and system quality perspective. Frontiers in Psychology, 13. https://www.frontiersin.org/articles/10.3389/fpsyg.2022.932805

Rau, J., Kero, S., Hofmann, V., Dinar, C., & Heldt, A. P. (2022). Rechtsextreme Online-Kommunikation in Krisenzeiten: Herausforderungen und Interventionsmöglichkeiten aus Sicht der Rechtsextre-mismus- und Platform-Governance-Forschung. Arbeitspapiere des Hans-Bredow-Instituts. https://doi.org/10.21241/SSOAR.78072

Rösch, V. (2023). Heimatromantik und rechter Lifestyle. Die rechte Influencerin zwischen Self-Branding und ideologischem Traditionalismus. GENDER – Zeitschrift für Geschlecht, Kultur und Gesell-schaft, 15(2), Art. 2. https://www.budrich-journals.de/index.php/gender/article/view/41966

Schlegel, L. (o. J.). Super Mario Brothers Extreme. Gaming und Rechtsextremismus. Abgerufen 9. Sep-tember 2023, von https://gaming-rechtsextremismus.de/themen/super-mario-brothers-extreme/

Schlegel, L. (2021). The Role of Gamification in Radicalization Processes. modus | zad. https://modus-zad.de/publikation/report/working-paper-1-2021-the-role-of-gamification-in-radicalization-processes/

Schmitt, J. B., Ernst, J., Rieger, D., & Roth, H.-J. (2020). Die Förderung von Medienkritikfähigkeit zur Prävention der Wirkung extremistischer Online-Propaganda. In J. B. Schmitt, J. Ernst, D. Rieger, & H.-J. Roth (Hrsg.), Propaganda und Prävention: Forschungsergebnisse, didaktische Ansätze, interdisziplinäre Perspektiven zur pädagogischen Arbeit zu extremistischer Internetpropagan-da (S. 29–44). Springer Fachmedien. https://doi.org/10.1007/978-3-658-28538-8_2

Schmitt, J. B., Harles, D., & Rieger, D. (2020). Themen, Motive und Mainstreaming in rechtsextremen Online-Memes. Medien & Kommunikationswissenschaft, 68(1–2), 73–93. https://doi.org/10.5771/1615-634X-2020-1-2-73

Schmitt, J. B., Rieger, D., Rutkowski, O., & Ernst, J. (2018). Counter-messages as Prevention or Promoti-on of Extremism?! The Potential Role of YouTube Recommendation Algorithms. Journal of Communication, 68(4), 780–808. https://doi.org/10.1093/joc/jqy029

Schneider, J., Schmitt, J. B., Ernst, J., & Rieger, D. (2019). Verschwörungstheorien und Kriminalitäts-furcht in rechtsextremen und islamistischen YouTube-Videos. Praxis der Rechtspsychologie, 1, Art. 1.

Schouten, A. P., Janssen, L., & Verspaget, M. (2020). Celebrity vs. Influencer endorsements in adverti-sing: The role of identification, credibility, and Product-Endorser fit. International Journal of Advertising, 39(2), 258–281. https://doi.org/10.1080/02650487.2019.1634898

Schwarz, K. (2020). Hasskrieger: Der neue globale Rechtsextremismus. Herder.

Silva, D. E., Chen, C., & Zhu, Y. (2022). Facets of algorithmic literacy: Information, experience, and indi-vidual factors predict attitudes toward algorithmic systems. New Media & Society, 14614448221098042. https://doi.org/10.1177/14614448221098042

Slater, M. D., & Rouner, D. (2002). Entertainment—Education and Elaboration Likelihood: Under-standing the Processing of Narrative Persuasion. Communication Theory, 12(2), 173–191. https://doi.org/10.1111/j.1468-2885.2002.tb00265.x

Strick, S. (2021). Rechte Gefühle: Affekte und Strategien des digitalen Faschismus. Transcript.

Su, C., Zhou, H., Gong, L., Teng, B., Geng, F., & Hu, Y. (2021). Viewing personalized video clips recom-mended by TikTok activates default mode network and ventral tegmental area. NeuroImage, 237, 118136. https://doi.org/10.1016/j.neuroimage.2021.118136

Su, C., Zhou, H., Wang, C., Geng, F., & Hu, Y. (2021). Individualized video recommendation modulates functional connectivity between large scale networks. Human Brain Mapping, 42(16), 5288–5299. https://doi.org/10.1002/hbm.25616

Taylor, S. H., & Brisini, K. S. C. (2023). Parenting the Tiktok Algorithm: An Algorithm Awareness as Pro-cess Approach to Online Risks and Opportunities for Teens on Tiktok (SSRN Scholarly Paper 4446575). https://doi.org/10.2139/ssrn.4446575

Tritt, S. M., Peterson, J. B., Page-Gould, E., & Inzlicht, M. (2016). Ideological reactivity: Political conser-vatism and brain responsivity to emotional and neutral stimuli. Emotion, 16(8), 1172–1185. https://doi.org/10.1037/emo0000150

Weimann, G., & Masri, N. (2021). TikTok’s Spiral of Antisemitism. Journalism and Media, 2(4), Art. 4. https://doi.org/10.3390/journalmedia2040041

Whittaker, J., Looney, S.-0007-3114-0806, Reed, A., & Votta, F. (2021). Recommender systems and the amplification of extremist content. https://doi.org/10.14763/2021.2.1565

Widmaier, B., & Zorn, P. (Hrsg.). (2016). Brauchen wir den Beutelsbacher Konsens? Eine Debatte der politischen Bildung. Bundeszentrale für politische Bildung. https://www.lpb-mv.de/nc/publikationen/detail/brauchen-wir-den-beutelsbacher-konsens-eine-debatte-der-politischen-bildung/

Wunderlich, L. (2023). Parasoziale Meinungsführer? Eine qualitative Untersuchung zur Rolle von Social Media Influencer*innen im Informationsverhalten und in Meinungsbildungsprozessen junger Menschen. Medien & Kommunikationswissenschaft, 71(1–2), 37–60. https://doi.org/10.5771/1615-634X-2023-1-2-37

Yang, Y., Xiu, L., Chen, X., & Yu, G. (2023). Do emotions conquer facts? A CCME model for the impact of emotional information on implicit attitudes in the post-truth era. Humanities and Social Sci-ences Communications, 10(1), Art. 1. https://doi.org/10.1057/s41599-023-01861-1

Yesilada, M., & Lewandowsky, S. (2022). Systematic review: YouTube recommendations and proble-matic content. Internet policy review, 11(1), 1652. https://doi.org/10.14763/2022.1.1652

Zimmermann, D., Noll, C., Gräßer, L., Hugger, K.-U., Braun, L. M., Nowak, T., & Kaspar, K. (2022). In-fluencers on YouTube: A quantitative study on young people’s use and perception of videos about political and societal topics. Current Psychology, 41(10), 6808–6824. https://doi.org/10.1007/s12144-020-01164-7

Die Metaversen^[1] sind phänomenologisch vielfältig; technisch komplex; wirtschaftlich mit viel Potenzial ausgestattet; fordern tradierte Konzepte demokratischer Mitbestimmung heraus; und rechtlich noch kaum verfasst. „Wir werden im Metaversum fast alles tun können, was innerhalb unserer Vorstellungskraft liegt: [Bekannte] und Familie treffen, arbeiten, lernen, spielen, shoppen, Inhalte erstellen“, erklärt Metas Mark Zuckerburg seine Vision, „– und völlig neue Dinge, die wir uns […] noch gar nicht vorstellen können.“ Wo eingekauft wird, gelernt, gespielt, wo Äußerung getätigt, wo Verträge eingegangen werden,  da sind Normen relevant. Wo wir aktiv sind, äußern wir Meinungen, wir treten mit anderen in Kontakt und in Konflikt. Normen im Metaverse – wie Normen generell – lösen Verteilungsprobleme, Koordinationsprobleme, Kooperationsprobleme; sie haben eine Gestaltungs-, Befriedungs- und Ausgleichsfunktion. Aber wer setzt die Regeln für die Governance der Metaverse; und die Governance in den Metaversen? 

Schon diese Grundfragen sind aus demokratietheoretischer Sicht nicht einfach zu beantworten. Aber wir können aus der Geschichte lernen: Metaverse stehen heute in mancherlei Hinsicht da, wo digitale Plattformen um die Jahrtausendwende standen: weniger reguliert, mit viel Potenzial behaftet. Mit Aufkommen der Plattformen sind die kommunikativen Infrastrukturen demokratischer Öffentlichkeiten erheblichen Wandlungsprozessen ausgesetzt gewesen. Mit dem Metaversen beschleunigen sich die Herausforderungen noch. Bei Plattformen haben aktuell institutionelle Lösungsansätze für eine demokratische Rückbindung Vorderwasser; selbst in den Koalitionsvertrag der aktuellen Deutschen Bundesregierung haben sie es geschafft.^[2] Auch in der Wissenschaft hat sich dieser Prozess als „Konstitutionalisierung“ der sozialen Medien etabliert (Celeste/Heldt/Keller 2022; Celeste 2022; De Gregorio 2022). Für die Metaverse stehen diese Schritte noch aus. Eine Untersuchung einiger rechtlicher Aspekte der Metaverse leistet dazu einen Beitrag. 

Zentrale Herausforderungen der Regulierung des Metaverse als virtuelles, immersives und interaktives Raumkonzept, das durch die Verschmelzung der physischen und digitalen Welt entsteht, liegen demanch in den Bereichen Datenschutz und Privatsphäre, Sicherheit, Content Governance, Interoperabilität, Offenheit und demokratische Teilhabe. Einige davon greift dieser Beitrag auf.

Nach der Einführung (1) untersuchen zwei Kapitel die Regulierung des Metaverse (2) und ausgewählte Rechtsfragen der Regelanwendung im Metaverse (3), bevor zukünftige Entwicklungen in den Blick genommen werden (4).^[3]

Weder der nationale noch der der unionale Gesetzgeber haben bisher ein ausgefeiltes Regulierungskonzept für die entstehenden Metaversen erarbeitet;^[4] aktuell ist das Stadium normativer „Visionen“ erreicht (Europäische Kommission 2023).^[5] Dennoch unterliegen einzelne Merkmale der Metaverse, ihre Anbieter und die Aktanten in ihnen (die Avatare) verschiedenen Regelungen im normativen Mehrebenensystem zwischen privaten Regeln, nationalem Recht und EU-Recht. Auch die technischen Eingangstore zu den Metaversen sind reguliert: Namentlich die VR-Brillen oder ähnliche Verbindungsobjekte unterliegen den bestehenden Regelungen im Bereich der Produktsicherheit.

Auch der Kommunikationsraum Metaversum ist an Normen gebunden. Dazu gehören privatrechtliche (was erlaubt die Plattform) und nationalrechtliche Normen (was erlaubt der Staat) sowie – aufgrund der wachsenden Regulierungsdichte hinsichtlich digitaler Dienste, Märkte, Daten und Algorithmen – zunehmend europäisches Recht. 

Das Gesetz über digitale Dienste (Digital Services Act, DSA)^[6] ist eine Verordnung der EU, die im November 2022 in Kraft getreten ist. Der DSA und das zeitgleich mitverhandelte Gesetz über digitale Märkte (Digital Markets Act, DMA) zielen darauf ab, einen sichereren digitalen Raum zu schaffen, in dem die Grundrechte der Nutzenden digitaler Dienste geschützt sind, und gleiche Wettbewerbsbedingungen zu schaffen, um Innovation, Wachstum und Wettbewerbsfähigkeit im europäischen Binnenmarkt zu fördern.

Der DSA findet gemäß Art. 2 Abs. 1 DSA Anwendung auf Vermittlungsdienste, die Nutzenden in der Europäischen Union angeboten werden – unabhängig davon, ob der Anbieter einen Niederlassungsort in der EU besitzt. In vergleichbarer Weise wird der Anwendungsbereich des DMA in Art. 1 Abs. 2 DMA geregelt. Bei einem Angebot für Nutzende in der EU fallen Metaversen daher in den Anwendungsbereich des DSA. In sachlicher Hinsicht sind Metaversen in der Dreiteilung der Vermittlungsdienste als Hostingdienste anzusehen: Zur Darstellung der virtuellen Welt und der Interaktion mit dieser müssen durch die Betreibenden Informationen der Nutzenden in deren Auftrag gespeichert werden, sodass die Anforderungen von Art. 3 lit. G Ziff. Iii DSA an Hostingdienste erfüllt sind. Einen Sonderfall stellen vollständig dezentral organisierte Metaversen dar. Hier fehlt es nicht an einem Hostingdienst, der das Metaversum betreibt, sondern es liegen mehrere Betreibende vor. 

Zunächst müssen die Betreibenden von Metaversen die für alle Vermittlungsdienste geltenden Regelungen der Art. 11–15 DSA erfüllen. Hier werden nun gegenüber der E-Commerce-Richtlinie weitere Pflichten eingeführt: So müssen etwa Kontaktstellen für Behörden, die Kommission und Nutzende bereitgehalten werden (Art. 11, 12 DSA), was durch eine entsprechende Ausgestaltung des Impressums iSd § 5 TMG erfüllt sein sollte. Schließlich müssen die Allgemeinen Geschäftsbedingungen aller Vermittlungsdienste bestimmten Anforderungen entsprechen (Art. 14 DSA), insbesondere rechtssicheres und bekämpfbares Moderationsverhalten sicherstellen. 

Neben den in Art. 14 Abs. 1 DSA beschriebenen Mindestanforderungen an den Inhalt der AGB verlangt Art. 14 Abs. 4 das, dass die Interessen der Nutzenden bei der Moderation von Inhalten und bei Beschwerden, die von Plattformen bearbeitet werden, zu berücksichtigen sind. Ausdrücklich werden hierbei die Grundrechte Nutzender genannt, etwa das Grundrecht auf freie Meinungsäußerung. Entgegen der bisherigen Rechtsprechung des BGH handelt es sich damit um eine unmittelbare, „horizontale“ Grundrechtsbindung der Plattformen unabhängig von ihrer Größe^[7](Quintais/Appelman/Fahy 2022). Metaverse-Betreibende müssen daher klar festlegen, wann und warum sie Moderationsakte setzen und welche Rechtsmittel bestehen. Einschlägig wird auch Art. 15 zur Transparenzpflicht  bei der Inhalte-Moderation sein.

Der Digital Markets Act (DMA)^[8] versucht, die wirtschaftliche Macht der „Big Tech“-Plattformen auf den digitalen Märkten einzuschränken. Für die Anwendung des DMA auf Metaversen fehlt es – unabhängig von den mit Blick auf die Zukunft variablen Voraussetzungen des Einflusses auf den Binnenmarkt und der gefestigten und dauerhaften Position – an einer Benennung von Metaversen als zentrale Plattformdienste.

Der Daten-Governance-Rechtsakt (DGA)^[9] ist der erste Rechtsakt auf Unionsebene, der sich mit dem Teilen von Daten befasst. Während sich die DSGVO mit dem Schutz personenbezogener Daten befasst, will der DGA zunächst die wirtschaftliche Nutzung von Daten im Allgemeinen, d.h. von personenbezogenen und nicht personenbezogenen Daten, reglementieren und stellt somit eine Neuausrichtung der Politik der Union dar (Metzger/Schweitzer 2023).

Der Vorschlag der Europäischen Kommission zum Datengesetz^[10] ist das Kernstück der „Datenstrategie“. Ziel ist es, die Menge der öffentlich verfügbaren Daten zu erhöhen. Derzeit werden durch Geräte des Internets der Dinge (IoT) riesige Datenmengen generiert, die in der Regel bei den Herstellenden verbleiben und nur in Ausnahmefällen abgerufen werden können. Hier mehr Datenaltruismus oder Datentreuhandmodelle zu entwickeln, wäre ein Mehrwert für (auch kleinere) Metaverse-Betreibende.

Der Vorschlag der Europäischen Kommission für ein Gesetz über Künstliche Intelligenz^[11] ist eine risikobasierte Regulierung (Ebers et al. 2021, 589 (589); De Gregorio/Dunn, 473 (488ff.)), bei der der Einsatz von KI-Systemen in verschiedene Risikokategorien eingeteilt wird, mit weitergehenden Regelungen für höhere Risiken für die Grundrechte der Nutzenden.

Möglich erscheint auch, dass die aktuell primär an Kommunikationsdiensten ausgerichteten Interoperabilitätsregelungen für eine gewisse Standardisierung der Datenformate bei Metaversen sorgen können. Die Vorschriften zur Interoperabilität von Daten gilt zwar aktuell nur für Datenvermittlungsdienste (Art. 26 Abs. 3, 4 iVm Art. 29 DatenG-E) und Betreibende von Datenräumen gemäß Art. 28 ff. DatenG-E. Haben diese Dienste allerdings den von der Kommission prognostizierten Erfolg (Europäische Kommission o.J.), so werden weite Teile der Digitalwirtschaft, etwa Betreibende von Metaversen, in naher Zukunft Datenvermittlungsdienste und Datenräume nutzen und damit zwangsläufig den Standardisierungsregeln folgen müssen. 

Es zeigt sich, dass die bestehenden Regulierungen die wesentlichen Merkmale des Metaversums, namentlich die Hardware, Software sowie den „Content“, nur am Rande regulieren und stark abhängig davon sind, welche Metaversen sich am Markt durchsetzen werden und wie sie konkret ausgestaltet sind. Prägende Akteure sind vielmehr die zuvor beschriebenen digitalen Unternehmen mit ihren vertragsbasierten privaten Ordnungen.

Die privaten Ordnungen auf digitalen Plattformen, wie sozialen Medien, unterliegen heutzutage zunächst technischen Einstellungen, aber auch den Richtlinien, welche das digitale Unternehmen selbst erarbeitet hat (Quintais/de Gregorio/Magalhães 2023). Diese Regeln werden häufig „Community Guidelines“ genannt. Community Guidelines beschreiben die Nutzer:innen-Verhältnisse zueinander, aber auch das Verhältnis zwischen den Nutzenden und der Plattform.^[12] Diese Regeln haben zwar de facto eine ordnungsschaffende Wirkung, denn sie konstituieren die private Kommunikationsordnung als eine Teilregimeverfassung. Sie sind aber systematisch dem Zivilrecht zuzuordnen und entfalten eine konkrete Wirkung aufgrund der privatrechtlichen Rechtsbeziehung (Quintais/de Gregorio/Magalhães 2023). Die Zulässigkeit von solchen Regelungen lässt sich wiederum aus dem Grundgesetz ableiten, konkret aus den Grundrechten der Privatautonomie, der Berufsfreiheit sowie der Eigentumsfreiheit, da die Grundsätze es Privaten ermöglichen, innerhalb der gesetzlichen Vorgaben private Strukturen und Ordnungen zu organisieren (Teubner 2012, 36ff.; Mast/Kettemann/Schulz 2023 i.E.).

Die Nutzung einer Plattform ist nur nach vorheriger Zustimmung zu den Nutzungsbedingungen möglich, welche die Community Guidelines beinhalten. Hierdurch wird typischerweise ein Plattformnutzungsvertrag geschlossen.^[13] Die Nutzungsbedingungen selbst werden dabei regelmäßig nach § 305 Abs. 1 S. 1 BGB in den Vertrag als Allgemeine Geschäftsbedingungen mit einbezogen.^[14] Die Zuordnung als allgemeine Geschäfts­bedingungen ist insoweit unproblematisch, da die Nutzungsbedingungen einseitig von dem die Plattform betreibenden Unternehmen für eine Vielzahl von Verträgen gestellt werden, vorformuliert sind und grundsätzlich nicht verhandelbar sind. Insofern ist das AGB-Recht auf die Nutzungsbedingungen anwendbar. Die einzelnen Klauseln müssen für sich genommen einer gerichtlichen AGB-Kontrolle standhalten. 

Neben den konkreten Klauselverboten aus §§ 308 f. BGB bietet § 307 Abs. 1 S. 1 BGB über den Grundsatz von Treu und Glauben die Möglichkeit, als zivilrechtliche Öffnungsklausel Wertungen des Verfassungsrechts zu berücksichtigen.^[15] Dies hat sich die Rechtsprechung zunutze gemacht und über die Lehre der mittelbaren Drittwirkung^[16] eine Grundrechtsbindung für Betreibende von Online-Plattformen begründet,^[17] welche bei der Ausgestaltung von Nutzungs­bedingungen berücksichtigt werden muss. Die Grundrechte würden die Plattformen dabei nicht unmittelbar binden, da sie private Unternehmen seien und keine staatliche oder staats­gleiche Funktion innehätten.^[18] Eine staatsgleiche Funktion sei nur dann anzunehmen, wenn ein Privater in tatsächlicher Hinsicht „in eine vergleichbare Pflichten- oder Garantenstellung hineinwachse […] wie traditionell der Staat“^[19]. Dies sei im Bereich der Kommunikation, in welchem sich auch die Plattformen – und zukünftig mitunter auch die Metaversen – bewegen (werden), nur anzunehmen, wenn „private Unternehmen die Bereit­stellung schon der Rahmenbedingungen öffentlicher Kommunikation selbst übernehmen und damit in Funktionen eintreten, die – wie die Sicherstellung der Post- und Telekommunikations­dienstleistungen – früher dem Staat als Aufgabe der Daseinsvorsorge zugewiesen waren.“^[20] Eine solche Kommunikationsbereitstellung findet aber (noch) nicht statt. Gänzlich auszuschließen ist sie nicht, da Metaverse-Zugänge sehr viel stärker privat reguliert sind. 

In Metaversen handeln menschliche Akteure vermittelt über nichtphysische Aktanten, die Avatare. In zivilrechtlicher Hinsicht stellt sich die Frage, wie der Aspekt der Verschmelzung der realen Welt mit der Welt des Metaverse über einen Avatar auf zivilrechtliche Zurechnungsfragen wirkt. Klar ist, dass der Avatar zentraler Anknüpfungspunkt für Handlungen im Metaverse ist. Die Avatare stellen die digitale Identität einer natürlichen oder juristischen Person dar und werden als verlängerter Arm eines Rechtssubjekts betrachtet (Kaulartz/Schmid/Müller-Eising 2022). Der Avatar wird das maßgebliche Zurechnungsobjekt im Metaversum darstellen, welches sämtliche Handlungen im Metaverse für bzw. durch das Rechtssubjekt vornehmen wird (Rippert/Weimer 2007). Wer über das Internet etwas bestellt, handelt auch technologievermittelt – ein Avatar ist in dieser Sicht nicht grundsätzlich anders als eine E-Mail, die man lustig anziehen kann. Avataren ist es möglich, Willenserklärungen im Metaversum abzugeben, etwa um Konzerttickets oder andere Güter und Dienstleistungen zu erwerben (Kaulartz/Schmid/Müller-Eising 2022). Indes handelt nicht „der Avatar“, sondern der Mensch dahinter.

Können sich Avatare strafbar machen? Nein, aber die Menschen, die durch sie handeln, schon. Genauso wie nicht ein Posting oder eine E-Mail eine Beleidigung begeht, muss der Blick vom Aktanten, dem Avatar, auf den Menschen gerichtet werden, sobald rechtliche Verantwortlichkeit zugeschrieben werden soll. Dies setzt jedoch die Anwendbarkeit  eines nationalen Strafrechts, wie des deutschen StGB, voraus. Aufgrund des Territorialprinzips ist die hoheitliche Strafgewalt auf das eigene Hoheitsgebiet beschränkt (näher zum Territorialprinzip: Mills 2006, grundlegend: Schmalenbach/Bast 2017). Bei der Bestimmung des Tatorts von strafrechtlichen Handlungen im Internet ist anerkannt, dass zumindest solche Straftaten dem deutschen Strafrecht unterliegen, die gegen einen deutschen Staatsangehörigen begangen wurden oder von diesem begangen wurden (Schönke/Schröder/Eser/Weißer o.J.). Dies lässt sich grundsätzlich auf das Metaverse übertragen, wenn die Möglichkeit bestehen wird, den Avatar des Metaverse einer bestimmten realen Person zuzuordnen (zustimmend: Kaulartz/Schmid/Müller-Eising 2022, 521 (529f.).

Ins Gegenteil gekehrt: Wird ein Avatar zum Opfer einer Tat, zum Beispiel einer Beleidigung, betrifft das immer auch die Person dahinter? Das kommt darauf an: Ein Avatar ist ein Kommunikationsmedium. Ein Handy kann ich nicht beleidigen, aber bei einem Avatar ist zu differenzieren, wie stark der Bezug zwischen Avatar und Realperson dahinter ist. Besteht ein sehr starker Bezug – gibt ein Avatar etwa eine Person in zentralen Eigenschaften wieder, sodass davon auszugehen ist, dass die Realperson identifizierbar ist –, dann wird eine Beleidigungseigenschaft wohl anzunehmen sein (allerdings eben der Person dahinter). 

Manche Rechtsverletzungen kann man „an Avataren“ nicht begehen, etwa einen Mord oder einen ‚klassischen‘ Diebstahl. Bei anderen Rechtsverletzungen können andere Tatbestände als „in real life“ angewandt werden. Wer etwa einen Avatar „entführt“, könnte wegen computerbezogenen Rechtsverstößen (Hacking) zur Rechenschaft gezogen werden können. 

Dürfen Avatare kopiert oder verfremdet werden? Auch das kommt darauf an. Zwar haben sie keine eigenen Persönlichkeitsrechte, aber insofern eine Realperson erkennbar ist, schlagen die Rechte dieser Person durch. Auch bei Avataren, die niemand ähneln, könnten geistige Eigentumsrechte relevant sein. Nicht jeder kann etwa einen Avatar in Form einer Disney-Figur erstellen.

Die Metaverse-Technologie ist trotz substanzieller Investitionen weder marktreif noch flächendeckend im Einsatz. Das ermöglicht dem nationalen wie europäischen Gesetzgeber mit sinnvollen Regeln proaktiv individuelle Freiheitsräume zu schützen und negative gesellschaftliche Folgen abzumildern. Während das Recht der Plattformen (DSA und DMA) erst etwa 20 Jahre nach deren Bedeutungsgewinn zu Anfang des 21. Jahrhunderts entstanden ist, kann kluge Metaverse-Regulierung effektiv Rechtsgüterschutz sicherstellen. Auch die Konstitutionalisierungsprozesse der Plattformen durch interne Verrechtlichung und externe Responsibilisierung (etwa durch Verfahrenspflichten und AGB-Kontrolle sowie durch Transparenzvorschriften und Risikominimierungspflichten) können für Metaverse weit früher – vor dem breiten Nutzung – zielführend einsetzen.

Zentralisierte Metaversen bergen Risiken für demokratische Werte, für offene Diskurse, für rationale Selbstbestimmungsprozesse. Metaverse-Betreibende können ihre besondere Einflussposition auf die Regeln und Moderationspraxen missbrauchen. Die Öffnung der Plattformen und ihre verstärkte Kritik aus Perspektive der Demokratietheorie zeigt klar, in welche Richtung der regulative Wind weht (Hermann 2022). 

Gerade mit Bezug auf die Metaverse spricht viel dafür, innovative Modelle für die institutionelle Beschränkung der Macht der Betreibenden und der Verbesserung der Legitimität der sozialen Ordnungen des Metaverse zu entwickeln.  Das sollte in enger Abstimmung mit allen Stakeholdern der digitalen Wendezeiten geschehen. Wie die Nationale Akademie der Wissenschaften fordert, müssen, „[i]nno­vative Partizipationsideen […] gezielt gefördert werden, da etablierte Plattform­betreiber und Diensteanbieter ihren gängigen Geschäfts- und Beteiligungs­modellen verhaftet sein dürften, was die Unterstützung demokratiefreundlicher, kommerziell weniger verwertbarer Formate von privatwirtschaftlicher Seite behindern könnte“ (Deutsche Akademie der Naturforscher Leopoldina e.V./acatech – Deutsche Akademie der Technikwissenschaften e.V./Union der deutschen Akademien der Wissenschaften e. V. 2021, 56) Demokratie im Metaverse könnte also von Initiativen von „unten“ und „außen“ getragen werden. 

Das hat die EU erkannt und breitangelegte unionsweite Bürgerräte eingesetzt. Diese haben, neben einem Leitfaden für „gutes“ Verhalten im Metaverse, weitere Empfehlungen sowie acht Grundprinzipien erarbeitet, die bei der Regulierung des Metaverse und im Metaverse gelten sollen (Bürgerrat.de 2023). Als besonders wichtiges Grundprinzip wurde dabei der Schutz der Nutzenden herausgestellt. Solche Partizipations­verfahren – ähnliche hat Meta selbst global organsiert –  sind wichtige Vorstufen zur Entwicklung legitimer Regeln für virtuelle Welten. Eine Anpassung der Regulierung wäre vor dem Hintergrund des sog. Brussels effect effektiv, da demnach unionale Rechtsakte eine Strahlkraft in der internationalen Gemeinschaft erzeugen und andere Staaten dazu anregen, die Regeln zu übernehmen oder eigene ähnliche Rechtsakte zu erlassen. In diese Richtung gehen auch die ersten Vorstudien europäischer Institutionen, darunter ein Dokument des Kultur- und Bildungskomitees^[21] und eine längere Studie des Rechtskomitees des Europäischen Parlaments (European Parliament Committee on Legal Affairs 2023).

Wünschenswert wäre zusätzlich ein völkerrechtlicher Rahmen, der den Zugang sowie die Entwicklung der Metaversen mitbestimmt, da das Metaverse nicht nationalstaatlich gedacht werden kann, sondern global betrachtet werden muss, zumal es auf eine globale Nutzung ausgerichtet ist. Eine globale Regulierung sollte auch Fragen der internationalen Solidarität nicht ausklammern: Aktuell ist ein Zugang zum Metaverse nämlich privilegienbehaftet. Wenn sich das Metaverse zu einem fairen und offenen, rechtsunterlegten Kommunikationsraum entwickeln soll, müssen auch Perspektiven eines Zugangs für alle entwickelt werden.

Bürgerrat.de, Virtuelle Welten für alle vom 24.4.2023, https://www.buergerrat.de/aktuelles/virtuelle-welten-fuer-alle.

Celeste/Heldt/Keller (Hrsg), Constitutionalising Social Media (2022)

Celeste, Digital Constitutionalism (2022)

Sam Jungyun Choi et al. (2023). Regulating the Metaverse in Europe, https://www.globalpolicywatch.com/2023/04/regulating-the-metaverse-in-europe.

De Gregorio, Digital Constitutionalism in Europe (2022).

De Gregorio/Dunn Common (2022). Market Law Review, 473 (488 ff.).

Europäische Kommission (o.J.). Europäische Datenstrategie, https://commission.europa.eu/strategy-and-       policy/priorities-2019-2024/europe-fit-digital-age/european-data-strategy_de (zuletzt abgerufen: 6.6.2023).

Deutsche Akademie der Naturforscher Leopoldina e.V./acatech – Deutsche Akademie der Technikwissenschaften e.V./Union der deutschen Akademien der Wissenschaften e. V. (S. 56).

Ebers et al. (2021). Multidisciplinary Scientific Journal, 589. 

Europäische Kommission (2023). Virtual worlds (metaverses) – a vision for openness, safety and respect, https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/13757-Virtual-worlds-metaverses-a-vision-for-openness-safety-and-respect_en

European Parliament Committee on Legal Affairs, Metaverse, https://www.europarl.europa.eu/RegData/etudes/STUD/2023/751222/IPOL_STU(2023)751222_EN.pdf.

Hermann, Demokratische Werte nach europäischem Verständnis im Metaverse (2022).

Kettemann/Böck (2023), Regulierung des Metaverse. In Steege/Chibanguza (Hrsg.), Metaverse 

Kettemann/Müller (2023), Plattformregulierung, jeweils in Steege/Chibanguza (Hrsg.), Metaverse (2023) (im Erscheinen). 

Mast/Kettemann/Schulz (2023, im Erscheinen). In Puppis/Mansell/van den Bulck (Hrsg.), Handbook of Media and Communication Governance.

Metzger Axel/Schweitzer, Heike (2022). Shaping Markets: A Critical Evaluation of the Draft Data Act. ZEuP, 01, 42.

Mills, International and Comparative Law Quarterly 55 (2006), 1 (13)

Müller/Kettemann (2023, im Erscheinen). European approaches to the regulation of digital technologies. In Werthner et al. (Hrsg.), Introduction to Digital Humanism (2023)

Quintais/Appelman/Fahy (2022). “Using Terms and Conditions to Apply Fundamental Rights to Content Moderation”, https://ssrn.com/abstract=4286147, 25.

Quintais, João Pedro/De Gregorio, Giovanni/Magalhães, João C. (). How platforms govern users’ copyright-protected content: Exploring the power of private ordering and its implications. Computer Law & Security Review, 48 (Article 105792), 3.

Quintais/de Gregorio/Magalhães, Computer Law & Security Review 2023, 105792, 5.

Schmalenbach/Bast, VVDStRL 2017, 245 (248).

^[1] Das Metaversum wird im Sinne einer (nicht bindenden) Definition der EU verstanden als „immersive and constant virtual 3D world where people interact through an avatar to enjoy entertainment, make purchases and carry out transactions with crypto-assets, or work without leaving their seat” (Europäische Kommission/Analysis and Research Team, Metaverse – Virtual World, Real Challenges vom 9.3.2022, S. 3.), wobei verschiedene Metaversen existieren.

^[2] Auch die Nationale Akademie der Wissenschaften Leopoldina empfiehlt die verstärkte demokratische Rückbindung von Plattformen, siehe Leoplodina, Union der deutschen Akademien der Wissenschaften, acatech – Deutsche Akademie der Technikwissenschaften (2021): Digitalisierung und Demokratie, https://www.leopoldina.org/uploads/tx_leopublication/2021_Stellungnahme_Digitalisierung_und_Demokratie_web_01.pdf, S. 46.

^[3] Ausführlicher zur Rolle von Recht im Metaverse und mit weiteren Nachweisen: Kettemann/Böck (2023, im Erscheinen) sowie Kettemann/Müller (2023, im Erscheinen). Ausführlicheres zur Plattformregulierung findet sich bei Müller/Kettemann (2023, im Erscheinen). Dieser Beitrag baut auf diesen Ausführungen auf und fasst diese zusammen.

^[4] Konsultationen wurden hingegen schon durchgeführt, vgl. Choi et al. 2023.

^[5] “The European Commission will develop a vision for emerging virtual worlds (e.g. metaverses), based on respect for digital rights and EU laws and values. The aim is open, interoperable and innovative virtual worlds that can be used safely and with confidence by the public and businesses.“ (Europäische Kommission 2023).

^[6] VO (EU) 2022/2065 des Europäischen Parlaments und des Rates vom 19.10.2022 über einen Binnenmarkt für digitale Dienste und zur Änderung der RL 2000/31/EG (Gesetz über digitale Dienste), ABl. L 277, 1.

^[7] Spindler, GRUR 2021, 545 (551); Mast, JZ 2023, 287 (289).

^[8] VO (EU) 2022/1925 des Europäischen Parlaments und des Rates vom 14.9.2022 über bestreitbare und faire Märkte im digitalen Sektor und zur Änderung der RL (EU) 2019/1937 und (EU) 2020/1828 (Gesetz über digitale Märkte), ABl. L 265, 1.

^[9] VO (EU) 2022/868 des Europäischen Parlaments und des Rates vom 30.5.2022 über europäische Daten-Governance und zur Änderung der VO (EU) 2018/1724 (Daten-Governance-Rechtsakt), ABl. L 152, 1.

^[10] Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates über harmonisierte Vorschriften für einen fairen Datenzugang und eine faire Datennutzung (Datengesetz), COM(2022) 68 final.

^[11] Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, COM(2021) 206 final.

^[12] Vergleiche: Community Guidelines Instagram, abrufbar unter: https://help.instagram.com/477434105621119/?helpref=hc_fnav; genauer bei: Mast/Kettemann/Schulz (2023, im Erscheinen).

^[13] Friehe NJW 2020, 1697 (1697); grundlegend OLG München NJW 2018, 3115 (3116); zustimmend: BGH ZUM 2021, 953 (957 f.).

^[14] Spindler, CR 2019, 238 (240); Friehe, NJW 2020, 1697 (1697); OLG München NJW 2018, 3115 (3116).

^[15] MüKoBGB/Wurmnest, BGB § 307 Rn. 57.

^[16] Grundlegend BVerfGE 7, 198 (205 ff.).

^[17] Grundlegend BVerfG NJW 2019, 1935 (1936) mit Bezug zu digitalen Plattformen; auch: BGH NJW 2012, 148 (150 f.); BGH NJW 2016, 2106 (2107 ff.) mit Bezug zur Haftung von Hostingdiensten.

^[18] BGH ZUM 2021, 953 (961).

^[19] BGH ZUM 2021, 953 (960); BVerfG ZUM 2020, 58 (70) mwN.

^[20] BGH ZUM 2021, 953 (960); BVerfG ZUM 2020, 58 (70 f.) mwN.

^[21] Draft Opinion of the Committee on Culture and Education for the Committee on the Internal Market and Consumer Protection on virtual worlds – opportunities, risks and policy implications for the single market (2022/2198(INI)), 27.4.2023, https://www.europarl.europa.eu/doceo/document/CULT-PA-746918_EN.pdf; mit Ergänzungen: Amendments 1-64, Draft opinion by Laurence Farreng (PE746.918v01-00), Virtual worlds – opportunities, risks and policy implications for the single market (2022/2198(INI)), 5.6.2023, https://www.europarl.europa.eu/doceo/document/CULT-AM-749262_EN.pdf.

Die Digitalisierung der Öffentlichkeit stellt politische Bildner*innen unter einen nicht unerheblichen Druck: Mit jeder neuen Technologie, jeder neuen App entsteht ein neues Forum, das zugleich zu ihrem Problem werden kann (als Mittel demokratiefeindlicher Agitation) – aber auch die Chance bietet, Demokratiebildung für noch mehr Menschen noch besser zu machen. Rassismus, Antisemitismus oder andere Gefahren für die Demokratie ziehen sich durch alle Lebensbereiche und schnell erobern sie auch die neuen Welten, die digitale Technologien erschaffen. Gleichzeitig wird mit jedem neuen Raum Demokratie auch neu verhandelt – und die politische Bildung ist aufgerufen, sich in diese Verhandlung einzuschalten.

Dazu gehören ohne Zweifel auch immersive Umgebungen (IU). Potenziell lassen sich hier mehr Menschen niederschwelliger und mit einem anderen Grad des Involvements erreichen; es gibt ein großes Interesse des ganzen Bereichs der politischen Bildung, in diesen neuen Welten wirksam zu werden. Eventuell können gar wichtige Zeugnisse und Zeug:innen der Geschichte erhalten bleiben, indem sie in virtuellen Realitäten nachgebildet werden. Deshalb ist es vor allem die historisch-politische Bildung, sind es vor allem Gedenkstätten und Museen, die trotz der unzureichend erforschten Möglichkeitsräume von immersiven Umgebungen Projekte lancieren. 
Gerade Gedenkstätten spüren den Druck besonders stark, Orte des Gedenkens lebendig werden zu lassen, und natürlich besonders im Bereich Shoa-Education: Die letzten Zeitzeug*innen verlassen uns. Der Bericht aus erster Hand wird nicht mehr möglich sein. Viele Akteur*innen der Politischen Bildung sehen IU als Möglichkeit, die Authentizität einer Zeitzeug*innen-Begegnung zu rekonstruieren. Da ist etwa das Anne-Frank-Haus in Amsterdam, dessen digitale VR-Ausstellung einen Rundgang durch das Versteck der Familie erlaubt. Da ist die App „Inside Auschwitz“, vom WDR entwickelt, das die Berichte dreier Zeitzeug*innen mit einem virtuellen Besuch der Gedenkstätte verbindet.^[1] Da ist das Projekt „Dimensions in Testimony” der USC Shoah Foundation (USC SF), das Zeitzeug*innen als KI-basiertes Hologramm zu uns sprechen lässt.^[2] Da sind erste Projekte, in denen Studierende im Metaverse zu zentralen Momenten Schwarzer Geschichte „zurückreisen“.^[3] Allen Akteur*innen im Bereich ist gemein, dass sie die neuen Möglichkeiten von IU als sehr wichtig empfinden, mitunter viel in den Bereich investieren, hohe Erwartungen an die Möglichkeiten haben, gleichzeitig aber eher restriktiv damit umgehen. Das VR-Anne-Frank-Haus hat etwa gar keine Protagonist*innen, stellt dafür das Versteck, im Gegensatz zur physischen Ausstellung, möbliert da. Andere Anwendungen lassen nur bestimmte Charaktere zu, die meistens eine Bystander-Rolle innehaben. Dahinter liegt die noch offene Frage, wie die Möglichkeiten neuer Technologie mit den Grundsätzen politischer Bildung vereint werden kann. Es wird von der Qualität der Antworten abhängen, ob IU in der Demokratiebildung und Geschichtsvermittlung massentauglich werden. 

Wie es auch angegangen wird, IU wird an Grenzen stoßen – an technologische, oft aber auch an erziehungstheoretische: Ist „künstliche Authentizität“ überhaupt möglich? Ist sie pädagogisch sinnvoll? Oder wird hier eine ohnehin nicht rekonstruierbare Unmittelbarkeit fetischisiert?

Besonders die Grenzen der Immersion werden bei solchen Anwendungen lebhaft diskutiert – eine Diskussion, die übrigens älter ist als IU: In der Gedenkstättenpädagogik wurde lange vor Ankunft des Internets diskutiert, wie tief die Erfahrung der Besucher*innen gehen soll. Hier ging es vor allem darum, ob eine solche Erfahrung begleitet oder unbegleitet erfolgen sollte. In deutschsprachigen Kontexten orientierte man sich hier am sog. Beutelsbacher Konsens, der das Verbot der Überwältigung, das Gebot der Kontroversität und die Schüler*innenorientierung in den Vordergrund stellt: Das Angebot soll auf ihre Perspektive zugeschnitten sein, alle möglichen Facetten kontrovers abbilden und sie nicht mit überlegenem Pathos, Autorität oder Wissen überwältigen. Schon systembedingt ist es schwer, Beutelsbach auf IU anzuwenden: Solche Umgebungen überwältigen meist schon aus ihrer Spiellogik heraus. In den USA liegt der Fokus nach unserer Erfahrung hingegen fast im Gegenteil, nämlich auf „Empathy Education“, die Entwicklung von Mitgefühl und Verständnis – und das oft mit Methoden, die durchaus „überwältigend“ sind.^[4] Das Problem „künstlicher Authentizität“, die zudem noch durch Distanzierungs- bzw. Empathiegebote aufgeladen wird, liegt auf der Hand: Geschichte kann potenziell verfälscht werden. Ein rein imaginiertes Bild der Vergangenheit entsteht, das weder mit den historischen Erkenntnissen noch mit der Erfahrungswelt der Opfer deckungsgleich ist.
Abgesehen von den immanenten pädagogischen Risiken der Technologie geht die Kontroverse auch ins Inhaltliche. Der größte Streitpunkt ist die Möglichkeit für Nicht-Betroffene, in IU Rassismus- oder Antisemitismus-Betroffene spielen zu können. Was die einen als Möglichkeit für Empathie und Perspektivwechsel sehen, kann für andere als unsensibel, als kulturelle Aneignung, als falsche Angleichung von Täter:innen und Opfern, als Verstoß gegen das Überwältigungsverbot und als potenzieller Trigger für (transgenerationales) Trauma gesehen werden. Komplexe Merkmalszusammensetzungen werden verkürzt und können in ihrer Tiefe gar nicht erforscht werden, zumal, wenn etwa eine typische VR-Sitzung eine Stunde meist nicht überschreitet. Die gesellschaftspolitische Wirkung auf die Dominanzgesellschaft darf ebenfalls nicht unterschätzt werden: Erinnerungspolitische Problematiken und Entlastungsnarrative können verstärkt werden, wenn sich die Nachfahren der Täter:innen durch IU noch stärker als Teil der Verfolgten fühlen können.

Die Balance von Distanz und Empathie, die politische Bildung in IU halten muss, ließe sich als eine Art Variante des „uncanny valley”-Effekts verstehen – ab einem bestimmten Realitätsgrad der Simulation wird es seltsam, „creepy”. Wie schwierig dieser Balanceakt ist, verdeutlicht das schon erwähnte Beispiel der WDR-App „Inside Auschwitz“. Einerseits setzt sie darauf, die Distanz bewusst aufzuheben: „Die Nutzerinnen und Nutzer sollen bewusst keine distanzierte Position einnehmen, sondern die Gedenkstätte erkunden, als besuchten sie diese zu Fuß.”^[5] Andererseits warnen die Produzent*innen der App vor zu viel Nähe und empfehlen sogar, auf VR-Brillen im schulischen Kontext zu verzichten, da die fehlende Distanz Schüler:innen verstören kann.^[6]
Offenbar werden solche Anwendungen besser akzeptiert, wenn sie Verfremdungseffekte einsetzen, einen Mischraum konstruieren, nicht real, aber auch nicht völlig fiktional, nicht identifizierend, aber sympathisierend. Das scheint auf das Medium insgesamt zuzutreffen: Während VR/AR immer noch Nischenprodukte sind, funktionieren etwa MMORPG^[7]s als Massenmedium hervorragend. Hier ist es anscheinend oft gerade die Künstlichkeit der Umgebung, die einen souveränen Umgang mit ihr ermöglicht. Es besteht nie ein Zweifel, dass ich nicht in der Realität bin; ein Avatar, der mir nicht ähnelt, ermöglicht eine größere Identifikation als die klinische Perfektion von VR/AR, die mir oft gar kein Körpererleben ermöglichen, denn wenn ich mit einer VR-Brille nach unten blicke, sehe ich nicht meinen Körper, sondern den Boden.

Es scheint nahezu unmöglich, jede*n potenzielle*n Anwender*in und jede mögliche Mehrfachbetroffenheit mitzubedenken. Können wir hier nicht ähnlich unserer Alltagserfahrung operieren – mit begrenztem Wissen, aber mit Raum zum Lernen? Auch unser tägliches Verhalten basiert auf begrenztem Wissen, trotzdem kommen wir auch hier schon sehr weit.
Die erziehungswissenschaftlichen Erkenntnisse zur pädagogischen Wirkung von IU sind noch überschaubar: Für „Anne Frank House VR“ wurden gemischte Resultate im Vergleich zum desktop learning festgestellt – während die Identifikation mit den Betroffenen stärker war, wurden gleichzeitig weniger Inhalte aufgenommen.^[8] Die Lerndynamiken sind komplex und müssen intensiver erforscht werden.

Sicherlich die bekannteste IU-Anwendung ist Mark Zuckerbergs „Horizon Worlds“, weitläufig auch einfach als Metaverse^[9] abgekürzt – bekannt sowohl in Hinblick auf Ambition als auch für Negativschlagzeilen. Für unseren Bereich ist weniger wichtig, ob „das Metaverse“, also Horizon Worlds selbst Erfolg hat, sondern ob eine solche IU-Anwendung ähnliche Plattform Erfolg haben könnte: Die Politische Bildung muss sich darauf vorbereiten, dass so eine Plattform ein Massenmedium werden könnte. Hier lassen sich evtl. Vergleiche zu der gescheiterten Plattform „Second Life“ ziehen.

Zunächst gelten für das Metaverse ähnliche Fragen wie für die sozialen Medien: Wer führt die Diskurse? Wer dominiert? Fühlen sich diskriminierte Personen im Metaverse sicher? Der höhere Realitätsgrad von IU stellt hier die klassischen Probleme der sozialen Medien in ein schärferes Licht. Noch ist wenig erforscht, ob IU ein noch höheres Radikalisierungspotenzial haben als soziale Medien ohnehin schon. Heuristisch reicht es vermutlich, eine ähnliche Gefährdungslage wie bei sozialen Medien zu vermuten. Hinzu kommt, dass adaptiver und reaktiver Content in IU verstärkt von KIs produziert werden wird, da menschliche Content-Entwicklung schlicht der Nachfrage an diese anspruchsvollen Umwelten nicht mehr gerecht werden kann – so sieht es zum Beispiel auch ein Beitrag des Weltwirtschaftsforums.^[10] In diesem Zuge ist ein Szenario denkbar, in welchem KI-Sprachmodelle personalisierte Welten bauen, die die Einstellungen der Nutzer*innen im Wesentlichen affirmieren, sie in problematischen Haltungen bestärken, ideologische Cocooning-Effekte forcieren und sie in Radikalisierungstunnel treiben. Die ohnehin niedrige Hemmschwelle im Metaverse tut da ein Übriges.^[11] Die oben genannten strukturellen Aspekte von KI-Rassismus könnten in immersiven Umgebungen einen exponentiellen Effekt haben: Rassistische Echokammern in virtuellen Welten werden zwangsläufig nach außen leaken, die Gesellschaft prägen – und diese wiederum als Quelle von KI-Content-Generatoren dienen. 

Wie wahrscheinlich dieses Szenario ist, ist auch von den Menschen abhängig, die das Metaverse entwickeln. Diese müssten vom Recruiting an bis zum Beta-Test in allen Arbeitsbereichen diversitäts- und diskriminierungssensibilisierend informiert werden. Erfahrungsgemäß gelingt das nicht durch Beschluss, sondern durch die aktive Teilhabe betroffener Menschen. Auch die Frage, wer das Metaverse überhaupt benutzt und warum, ist hier noch gar nicht beantwortet. Welche Hemmschwellen bestehen potenziell für bestimmte Teile der Gesellschaft, das Metaverse zu nutzen? Warum ist das so? Steuern Konzerne wie Meta solchen Tendenzen aktiv entgegen? Was wird getan, um für Repräsentanz und Schutz zu sorgen? Wie verhindern Meta und Co. rechte Unterwanderungen, wie sie auch bei anderen digitalen Plattformen, die eher in der Nische operieren, zu beobachten sind?

Abgesehen von diesen Fragen stellt sich in unserem Handlungsfeld diese Aufgabe: Wie soll die Politische Bildung auf diese und ähnliche Fragen reagieren? In unseren Augen sollte die Frage nicht sein, ob die Politische Bildung jetzt „ins Metaverse investieren” soll. Ein solcher generalistischer Ansatz muss scheitern. Es sollte aber unbedingt damit experimentiert werden – das Metaverse sollte als Software angesehen werden, in der konkrete, begrenzte Settings ausprobiert werden. Die Maxime sollte also nicht lauten „Wir bringen unsere ganze Gedenkstätte ins Metaverse“, sondern: „Diese spezifische Ausstellung kann (auch) im Metaverse besucht werden.“

Die Potenziale solcher Schritte können heute schon beobachtet werden, beispielsweise in Minecraft. So wurde etwa eine Bibliothek Schwarzer Literatur nicht auf Metas „Horizon Worlds“ gerettet, sondern auf einen Minecraft-Server. Eine Erklärung für den Erfolg von Minecraft könnte auch im „uncanny valley“ zu suchen sein: Minecraft versucht nicht, die Realität zu imitieren. Derzeit läuft ein Projekt, die Gedenkstätte Yad Va-Shem auf Minecraft zu übertragen.^[12] Es gibt auch private Projekte, die bemüht sind, den Holocaust auf Minecraft zu reflektieren.^[13] Das darf aber nicht darüber hinwegtäuschen, dass Minecraft auch von der Gegenseite genutzt wird: Immer wieder weisen Minecraft-Nutzer*innen auf Server hin, auf denen Nazis NS-Gräueltaten glorifizieren.

Die wachsende Bedeutung, die KI für solche Umgebungen haben wird, ist plattformunabhängig – und bedarf einer eigenen Analyse. Die Sprache, in der z.Zt. über „Künstliche Intelligenz“ diskutiert wird, verheißt nicht weniger als eine Revolution des gesamten Lebens – von der Arbeitswelt über Makroökonomie bis hin zu Literatur und Kunst. Dabei miterzählt wird ein Gerechtigkeitsversprechen, das auf Verfahrensrationalität und der absoluten Neutralität des Algorithmus basiert. Ausschlüsse, die aus menschenfeindlichen Einstellungen resultieren, können demnach automatisiert vermieden werden: Die Beurteilung erfolgt auf Basis einer behaupteten Objektivität, die von Menschen gar nicht geleistet werden könne.

Tatsächlich scheinen die öffentlich bekannten Sprachmodelle, allen voran natürlich ChatGPT, nicht zur Reproduktion diskriminierender Sprache geeignet – gerade ChatGPT zeichnet sich hier durch ein robustes ethisches framework aus. ChatGPT tritt vehement gegen Rassismus und Diskriminierung ein. Alle Versuche, die Software zur Produktion rassistischer Texte zu verwenden, sollen theoretisch schon im Ansatz scheitern (was jedoch mit den geeigneten Prompts umgangen werden kann). Nicht vergessen werden dürfen Vorhaben, die Sprachmodelle gerade zum Kampf gegen Menschenfeindlichkeit trainieren – wie etwa das internationale Forschungsprojekt „Decoding Antisemitism”^[14].

Gleichzeitig mehren sich die Berichte, nach denen struktureller Rassismus, z. B. von intelligenter Bilderkennungssoftware, eher noch verstärkt wird. Der Algorithmus orientiert sich an Mustern, die er schon in der Gesellschaft vorfindet, und bewertet bspw. nicht-weiße Personen anders als weiße. So wird Rassismus auf einer linguistischen Ebene vermieden, während er auf einer operativen Ebene weiter fortgeschrieben, automatisiert und industrialisiert wird – meist ohne Transparenz für die Betroffenen. Wo KI bei Kredit- und Wohnungsvergabe, bei Bewerbungen und bei Sozialprognosen künftig mitentscheiden, sind die Probleme absehbar. Denn im Gegensatz zu menschlichen Entscheidungen immunisiert die scheinbare Objektivität der Maschine sie noch gegen Kritik.

Die Rahmenbedingungen der KI-Industrie bedürfen ebenfalls einer kritischen Prüfung – nur ein Beispiel sind die unterbezahlten kenianischen Arbeiter:innen, deren Leistung wesentlich für den Erfolg von ChatGPT war.^[15] Auch auf ökonomischer Ebene reproduziert K.I. den Kapitalismus, statt ihn kritisch zu hinterfragen – und dies entlang rassistischer Unterscheidungen. Wem gehören die Systeme? Wer darf ihre Leistungen vermarkten und wer profitiert von der gewonnenen Produktivität? Wem gehört AI-Kunst, in deren Erstellungs-Prompts die Namen bekannter Künstler*innen einfließen? Wer kann in dieser neuen KI-Welt arbeiten, wessen Job wird wegrationalisiert und wessen Leben wird von der K.I. verwaltet? Alles deutet darauf hin, dass von Rassismus Betroffene keine hoffnungsvollen Antworten auf diese Fragen erhalten werden und dass die negativen Folgen der Revolution sie besonders stark treffen werden.

Auch die Bedeutung für Antisemitismus darf nicht unterschätzt werden. Schon jetzt unterliegt die Darstellung jüdischer Menschen einem historischen Bias – Bilderzeugungsprogramme greifen vor allem auf geschichtliche Darstellungen und Bilder von ultraorthodoxen Gruppierungen zurück. Jüdische Menschen, die heute völlig selbstverständlich am modernen Leben teilnehmen, verschwinden so aus der kollektiven Imagination.

Nicht zuletzt können K.I.-Systeme schon jetzt dafür eingesetzt werden, einen endlosen Strom von Fake News, Deep-Fakes und verschwörungstheoretischen Inhalten zu erzeugen – mit einer Plausibilität und einer scheinbaren Authentizität, von der jetzige Verschwörungsideolog:innen nur träumen können. Die Auswirkungen werden aller Voraussicht nach jüdische Menschen besonders stark zu spüren bekommen.

All diese Fragen stellen sich mit erhöhter Dringlichkeit, wenn KI nicht ein schönes Spielzeug innerhalb von IU, sondern für sie konstitutiv ist. Wie werden sich Bildungs-IU verändern, wenn hier nicht mehr von Menschen vorgefertigte Inhalte präsentiert werden, sondern KI dynamisch solche Inhalte generiert? Wenn KI-basierte Avatare Nutzer*innen ansprechen und mit personalisierter Propaganda radikalisieren oder einschüchtern? Wo ist die Kontrolle? Und wie können automatisierte Reproduktionsmuster menschenfeindlicher Einstellungen unterbrochen werden?

Dazu muss man sich Fragen stellen, die natürlich über das Feld von IU in der Politischen Bildung hinausweisen, nämlich: Welche Gelingensbedingungen benötigen wir für eine diskriminierungssensible KI-Ethik? Wie lässt sich der KI beibringen, Machtasymmetrien zu erkennen? Hier zeigen sich Grenzen, die schon in der gegenwärtigen Arbeitsweise von KI angelegt sind – sie ist grundsätzlich reproduzierend.

Vielleicht ist es ja gar nicht zielführend, Verfolgungsgeschichten und Diskriminierungserfahrungen für die politische Bildung aufwendig in IU zu rekonstruieren. Vielleicht wäre es ja gerade sinnvoll, in IU Welten zu simulieren, in der eine bestimmte utopische Hoffnung real geworden ist. Statt Lernende in eine pädagogische Kapsel zu stecken, mit bestimmten vorgefassten Inhalten und Lernzielen, könnten sie selbstständig Welten erkunden, die schon befreit sind. Der Lerneffekt entstünde gerade aus der Abwesenheit eines heute alltäglichen Gewaltzusammenhangs.

Ein Beispiel ist die Alltags-Simulation „Die Sims“ (Erscheinungsjahr: 2000) und ihre Rolle für homosexuelle/queere Emanzipation. In dem Alltags-Simulator für PC konnten erstmalig in einem Mainstream-Gaming-Titel queere Beziehungen gelebt werden, ohne dass es jedes Mal thematisiert wurde. Viele queere Menschen berichten heute, hier zum ersten Mal queere Repräsentation und queeres Empowerment erlebt zu haben; einfach dadurch, dass es diese Möglichkeit gab, die nicht oktroyiert oder belehrend eingesetzt wurde, sondern explorativ und intrinsisch motiviert. 

Vielleicht müsste sich Politische Bildung für IU ähnlich aufstellen: eine konkrete Utopie bereitstellen, die sich erforschen lässt, mit deren Möglichkeiten die Nutzer*innen frei experimentieren können – und dabei Ängste und Vorurteile abbauen. Das Virtuelle wird zum Vorbild für die Realität, nicht umgekehrt.

Dieses Vorgehen hätte womöglich den Vorteil, den zahlreichen oben genannten Fallstricken, die der Politische Bildung in IU drohen, von vornherein aus dem Weg zu gehen. Die Grenzen der Nutzer*innenerfahrung müssen ebenfalls weniger eng gezogen werden, es braucht weniger pädagogische Vorgaben, insgesamt weniger Von-Oben-Herab.

^[1] Planet Schule: Inside Auschwitz | Erzählungen Überlebender und 360 Grad-Videosa (10.12.22), URL: https://www1.wdr.de/schule/digital/unterrichtsmaterial/dreisechzig-inside-auschwitz-100.html (Stand: 12.09.23).

^[2] N.N.: Dimensions in Testimony. Speak with survivors and other witnesses to the Holocaust and other genocides through their interactive biographies. (o.J.), URL: https://sfi.usc.edu/dit (Stand: 12.09.23).

^[3] N.N.: Education in the Metaverse takes students back in history (01.12.23), URL: https://www.wbur.org/hereandnow/2022/12/01/black-history-metaverse (Stand: 12.09.23).

^[4] Besand, A., Overwien, B., & Zorn, P. (Hrsg.) (2019): Politische Bildung mit Gefühl. Bundeszentrale für politische Bildung, Bonn.

^[5] Verena Lucia Nägel, Sanna Stegmaier: AR und VR in der historisch-politischen Bildung zum Nationalsozialismus und Holocaust – (Interaktives) Lernen oder emotionale Überwältigung? (08.10.2019), URL: https://www.bpb.de/lernen/digitale-bildung/werkstatt/298168/ar-und-vr-in-der-historisch-politischen-bildung-zum-nationalsozialismus-und-holocaust-interaktives-lernen-oder-emotionale-ueberwaeltigung/ (Stand: 12.09.23). 

^[6] „Die Erzählungen der Zeitzeuginnen und die Bilder aus dem Lager können für sensible Schüler:innen oder Jugendliche mit eigener Kriegs- und Fluchterfahrung herausfordernd sein. Es kann helfen, die Videos mit etwas mehr räumlichem Abstand zu betrachten (zum Beispiel über die Schulter eines Mitschülers oder einer Mitschülerin, der/die das Tablet hält). Zudem ist es ratsam, keine Kopfhörer oder VR-Brillen zu nutzen. Das schafft mehr Distanz zu den Erzählungen der Zeitzeuginnen und den Simulationen.“ Planet Schule: Inside Auschwitz | Erzählungen Überlebender und 360 Grad-Videosa (10.12.22), URL: https://www1.wdr.de/schule/digital/unterrichtsmaterial/dreisechzig-inside-auschwitz-100.html (Stand: 12.09.23).

^[7] Massively Multiplayer Online Role-Playing Games, Online-Videospiel-Welten mit vielen tausend Nutzer:innen.

^[8] Miriam Mulders: Learning about Victims of Holocaust in Virtual Reality: The Main, Mediating and Moderating Effects of Technology, Instructional Method, Flow, Presence, and Prior Knowledge.(06.03.23), URL: https://www.mdpi.com/2414-4088/7/3/28 (Stand: 12.09.23).

^[9] Der Begriff „Metaverse“ im engeren Sinne soll theoretisch alle immersiven Umgebungen und deren Verbindung miteinander fassen – in diesem Sinne existiert „das Metaverse“ noch nicht, wohl aber einzelne IU Horizon Worlds, Minecraft etc. ChatGPT bietet folgende Definition des Metaverse an (prompt: write a scientific definition of the metaverse): „The Metaverse is a comprehensive, large-scale virtual environment that integrates multiple interconnected digital spaces, facilitating seamless interactions, communication, and collaboration among users, who are represented by digital representations known as avatars. This virtual framework merges aspects of virtual reality, augmented reality, and interconnected networks to create an immersive and persistent ecosystem for users, with wide-ranging applications spanning entertainment, social interaction, education, commerce, and various other domains. By transcending physical limitations and geographical boundaries, the Metaverse fosters novel opportunities for creative expression, innovation, and interaction in the digital realm.“

^[10] N.N.: AI is shaping the metaverse – but how? Industry experts explain” (9.05.2023). URL:
https://www.weforum.org/agenda/2023/05/generative-ai-and-how-can-it-shape-the-metaverse-industry-experts-explain/ (Stand: 12.09.23)

^[11] vgl. nur Yinka Bokinni: A barrage of assault, racism and rape jokes: my nightmare trip into the metaverse. (25.04.22.) URL: https://www.theguardian.com/tv-and-radio/2022/apr/25/a-barrage-of-assault-racism-and-jokes-my-nightmare-trip-into-the-metaverse (Stand: 12.09.23)

^[12] N.N.: Yad Vashem comes to Minecraft for International Holocaust Day. (26.01.23) URL: https://www.i24news.tv/en/news/israel/technology-science/1674714331-yad-vashem-comes-to-minecraft-for-international-holocaust-day (Stand: 12.09.23)

^[13] Jcirque25: Using Minecraft as a medium to reflect on the Holocaust (2020). URL: https://www.reddit.com/r/Minecraft/comments/htlst6/using_minecraft_as_a_medium_to_reflect_on_the (Stand: 12.09.23)

^[14] https://decoding-antisemitism.eu/ (Stand: 12.09.23).

^[15] Billy Perigo: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic (18.01.23). URL:https://time.com/6247678/openai-chatgpt-kenya-workers/ (Stand: 12.09.23).

The transition from Web 2.0 to Web 3.0 is likely to leverage the latest technological advances including AI, machine learning and blockchain technology. This might not only bring about a new interplay of the physical, virtual and augmented reality but could also fundamentally change the ways in which corporate entities, social communities and political movements organise themselves. 

Decentralisation is a key property of the Metaverse. Policies, legal contracts and financial transactions that were traditionally the domain of governments, courts and banks might be replaced with smart contracts and financial transactions in blockchain. Cryptocurrencies can be used as a new medium of exchange outside of established banking systems, while non-fungible token (NFT) might serve as unique digital identifiers to certify ownership and authenticity. Taken together, these new forms of self-governance could lead to the explosion of so-called Decentralized Autonomous Organisations (DAOs) in the Metaverse.

Decentralized Autonomous Organisations (DAOs) are digital entities that are collaboratively governed without central leadership and operate based on blockchain (Jentzsch, 2016). As such, DAOs allow internet users to establish their own organisational structures, which no longer require the involvement of a third party in financial transactions and rulemaking. DAOs allow online communities to simplify their transactions and use a community-based approach to establish rules (World Economic Forum, 2023). However, as this study will explore, they might also give rise to new threats emerging from decentralised extremist mobilisation, pose a risk to minority rights, challenge the rule of law, and disrupt institutions that are currently considered fundamental pillars of our democratic systems.

The aim of this research paper is to explore potential ways in which DAOs could be exploited by extremist and anti-democratic actors. To what extent are extremist movements incentivised and able to make use of such new forms of self-governance? What are the types of threats that might emerge from anti-democratic or anti-minority DAOs? 

To make progress on these research questions, the project reviewed existing literature and used a combination of expert interviews and digital ethnographic research. More specifically, qualitative interviews were carried out with two leading experts on DAOs, a manual review of roughly 350 existing DAOs was performed, and exploratory digital ethnographic research was carried out across the extremist fringe platforms Odysee, Bitchute and Gab as well as the encrypted apps Telegram and Discord. ¹All quoted and referenced primary source content was documented and archived in the form of screenshots and can be made available to fellow researchers upon request.

The report will first provide an overview of DAOs, their relationship with the Metaverse and current use cases. It will then assess potential areas of misuse before providing an outlook of future trends, including key challenges and opportunities, and ideas for future research areas. 

The next iteration of the internet, the Metaverse, is inherently tied to decentralised forms of communication, collaboration and finance. The metaverse is built on blockchain technology. Researchers have pointed out that collective governance and decentralised finance will likely be a key characteristic of the Metaverse (Chao et al, 2022; Goldberg & Schär, 2023; Tole & Aisyahrani, 2023). Ownership over an asset or “a piece of land” in the Metaverse would be governed by NFTs (Laeeq, 2022). 

The World Economic Forum described DAOs as “an experiment to reimagine how we connect, collaborate and create” (World Economic Forum, 2023, 27). DAOs operate differently from traditional organisations in their allocation of resources, coordination of activities and decision-making processes. Code-driven and community-oriented structures allow stakeholders to be directly involved in governance and operations via voting systems (World Economic Forum, 2023). Decentraland is the first large-scale virtual world based on the architecture and premises of a DAO. With the aim of distributing power among its participating users, it operates on the Ethereum blockchain. The “residents” of Decentraland can initiate policy updates based on decentralised voting systems that are embedded in Decentraland DAO governance structure (Goldberg & Schär, 2023, 3).

There is an active ongoing debate about the legal status of DAOs. Proponents of DAOs have argued that smart contracts are self-executing codes on blockchain that can operate independently of legal systems. They point to lower transaction costs and reduce the need for intermediaries. However, more skeptical commentators have suggested that DAOs should be owned and/or operated by humans (Jentzsch, 2016, Mondoh et al, 2022). A more detailed discussion of existing efforts to regulate DAOs can be found in the final section of this report. 

To date, research into DAOs and the Metaverse remains scarce. However, in recent years there has been a notable rise in publications that investigate the trends and implications of DAOs for various sectors. For example, Chao et al. (2022) discuss the advantages and disadvantages of DAOs for non-profit organisations. While they argue that DAOs provide a “strong democratic system”, they also caution that they “are not subject to legal, physical, or economic constraints” and are therefore capable of operating “outside the control of a single central authority or a single governing body” (Chao et al, 2022). 

Mondoh et al (2022) discuss whether DAOs might be the future of corporate governance, while Goldberg and Schär (2023) write that DAOs could disrupt the monopoly market structures in the technology sector. Their assessment is that “open standards and blockchain-based governance are a necessary but not a sufficient condition for a decentralized and neutral platform” (Goldberg & Schär, 2023). Meanwhile, Tole and Aiyahrani (2023) predict that the Metaverse and DAOs have the potential to revolutionise the education system. Through DAOs, they claim, “technology courses, certificates, and more can become automated and authenticated on the blockchain” (Tole & Aisyahrani, 2023, 1). DAOs could provide the basis for what they call “Metaversity”, whereby the necessary infrastructure is provided for decentralised learning centers that have incentive structures and tailored courses in place (Tole & Aisyahrani, 2023, 3).

The current DAO ecosystem is highly diverse and growing at fast pace. By 2023, DAOs collectively manage billions of dollars and count millions of participants (World Economic Forum, 2023; DeepDAO, 2023). DAOs exist across a range of industries such as finance, philanthropy and politics. A manual review of the 356 DAOs listed on the website Decentrallist.com at the time of writing (July 2023), illustrates the highly diverse nature and purpose of DAOs. The descriptions and stipulated mission statements include social, activist, investment, gaming, media and collector aims (Decentralist, 2023). Some DAOs are clearly satirical in nature, including the Café DAO which aims “to replace Starbucks”, the Doge DAO which wants to “make the Doge meme the most recognizable piece of art in the world” and the Hair DAO, “a decentralised asset manager solving hair loss”.

By 2023, DAOs have primarily attracted libertarians, activists, pranksters and hobbyists. However, there are also activist and political DAOs. For example, Decentralist.com lists DAOs that are tied to the climate movement and Black Lives Matter community as well as social justice and anti-banking DAOs that want to tackle social inequality. Figure 1 provides an overview of the most common DAOs found on Decentralist:

_{Figure 1: Overview of most common existing DAOs}

While the review of existing DAOs did not identify any openly anti-democratic or anti-minority DAOs, some DAOs make use of alt-right codes and conspiracy myth references, or express support for far-right populist leaders. For example, the “Redacted Club DAO” claims to be a secret network with the aim “slaying” the “evil Meta Lizard King”. The official Discord chat of the “Redacted Club DAO”, which counts 850 members, contains Pepe the Frog memes and references to “evil lizards” and “good rabbits”. Another DAO, which is not listed on Decentralist, is called “Free Trump DAO”. Its Twitter account describes it as being “for Patriots” and serving as “a powerful tool that fights for freedom and liberty around the world.” Its Telegram channel, which counts 474 members, is filled with Trump-glorifying memes, MAGA symbols and announcements such as “We’re supporting Trump. Bring back Trump”. There is also the “Trump DAO – the 47^th US President”, which claims to want to “raise money through the crypto to support Trump for 2024”. The aim is to shape political campaigns by fundraising and giving complete anonymity to people who want to support Trump.

This sub-chapter used ethnographic research in extremist forums and chat groups to assess their conversations about DAOs. The analysis was performed on the far-right fringe platforms Bitchute, Odysee and Gab as well as the encrypted apps Discord and Telegram. An exploratory discourse analysis was used, as the volume of content that is specifically focused on DAOs is still limited in extremist communities and therefore does not provide enough data points for statistical analysis. 

A total of 85 pieces of content were identified across the analysed far-right fringe platforms, 46 on Odysee, 23 on Bitchute and 16 on Gab. Additionally, 100+ channels related to DAOs were detected on Telegram and Discord, including far-right extremist channels. While many of the posts on Odysee, Bitchute and Gab simply explain the characteristics and advantages of DAOs and how they might shape the Web 3.0, some of the detected conversations also reveal that there is much appetite for decentralised alternative forms of collaboration, communication and crowdfunding. Broadly speaking, the intent of far-right activists to use DAOs can be divided into two overarching types of incentives: practical and ideological motivations. 

Important practical reasons are that DAOs can help users to circumvent monitoring, regulatory mechanisms and traditional institutions. For example, extremists may view them as useful to escape surveillance by security services, avoid perceived censorship by tech firms and find an alternative to frozen bank accounts. Many extremist and even terrorist movements already created their own cryptocurrencies and make use of anonymous bitcoin wallets. In particular, non-transparent cryptocurrencies such as Monero served extremists whose bank accounts have been frozen. Jihadists used cryptocurrencies as early as 2016 to fund violent activities (Irwin & Milad, 2016). In 2019, Treasury Secretary Steve Mnuchin warned that cryptocurrencies pose a national security threat, allowing malicious actors to fund criminal activities (Rappaport & Popper, 2019). While decentralised finance is already a trend among extremists, a shift to entirely decentralised forms of self-governance could be the next step (Krishnan, 2020). For example, Gab users highlighted that DAOs can help organisations to “unlock their full potential and usher in a new era of decentralized governance.” The post continued: “Embrace the power of automation and embark on a journey of efficient and transparent decision-making within your DAO.” Another one shared that DAOs may not be “capable of being subject to sanctions”. 

There are also ideological incentives that might lead extremists to use DAOs for their purposes. In particular, fundamental distrust in the establishment means that DAOs can be an appealing alternative. Users who believe that the “deep state” or the “global Jewish elites” control everything from governments and big tech to the global banking system might prefer to set up their own technological, financial and logistical networks. For example, QAnon-related groups on Telegram were discussing the future of decentralized finance and how this might be an escape route to evade the U.S. federal banking system. DAOs also fit ultra-libertarian utopian visions of online worlds that are entirely unregulated, in which speech and actions are “truly free”. “FREEDOM Meta-DAO” declared in its mission statement on Discord: “We believe in freedom of speech, privacy, and protection from cancel-culture bullying. Using a DAO as a service platform, we bring society together as a whole by removing borders and adaptation blockages.” Finally, some users may be motivated by the outlook of creating their own digital state that operates based on their own rules, values and ideologies. 

Figure 2 provides an overview of the practical and ideological incentives:

Most of the posts about DAOs on far-right websites were positive, however there were also a few warnings among the analysed pieces of content. For example, one user on Gab wrote that “though Blockchain technologies make traditional authoritarianism less likely, they make a new kind of authoritarianism, born of decentralized autonomous organizations (DAOs), more likely.” The user continued: “By design and accident, DAOs will tend to develop into the computational equivalents of eusocial colony animals such as ants, bees, and termites. Once formed into such superorganisms, DAOs will exhibit emergent behaviors like swarming and collective intelligence.” Indeed, the user pointed out that one of the risks is that “humans venturing into the DAOs’ native habitat would then find themselves forced to live under the arbitrary will of not another human, but instead of a vast, mysterious hoard of nonhuman, and perhaps inhuman, entities.” 

In this section an analysis of potential areas for exploitation was performed based on a review of literature and interviews with two leading technology experts. The first interviewee was Carl Miller, the Director of the Centre for the Analysis of Social Media (CASM) at the think tank Demos who has long warned of potential threats emerging from the misuse of DAOs. The second interviewee was Christoph Jentzsch, a leading developer of the blockchain Ethereum and head behind “The DAO”, which became one of the largest crowdfunding campaigns in history, raising over $150 million after launching in April 2016 via token sale, but was hacked soon later. 

This sub-chapter addresses questions such as: Could trolling armies start cooperating via DAOs to launch election interference campaigns? What happens if anti-minority groups establish their own digital states in which they impose their own governing structures? Finally, how might terrorists leverage DAOs to fund and plot criminal activities and violent attacks? 

DAOs that can be used by movements to further their social, political and criminal objectives. Three potential threats were identified related to extremist and terrorist use of DAOs: 1.) influence campaigns, 2.) radicalisation of sympathisers, and  3.) attacks on political opponents. In all three potential threat areas, DAOs can be exploited in at least three ways on a tactical level: a.) by coordination and planning activities, b.) by crowdfunding and purchasing activities, and c.) by radicalisation and training activities. As such, they could change the nature of rebellion movements as well as their relative position of power, effectiveness and resilience to governmental countermeasures (Krishnan, 2020). 

Figures 3 and 4 summarise the potential threats as well as potential tactical exploitation areas associated with the use of DAOs by extremists and terrorists:

_{Figure 3: Overview of potential tactical areas for exploitation} 

One risk is that DAOs might be used in the future to carry out large-scale influence and election interference campaigns. Carl Miller told me that “beyond the speculative activities around crypto and NFTs, the deeper simmering experimentation around governance provided more fundamental challenges to the state and security.” DAOs allow extremist groups to engage in deliberative and collective governance and decision-making in ways where, according to Carl, it is a.) very unclear who is doing it, and b) hard for statutory security agencies to do anything about it. “As we gear up for the next U.S. presidential election, we might see DAOs being used for election campaigns,” he warns. For example, Trump DAO could incentivise people to donate and participate in campaigns. “One could imagine a campaign being funded by tens of thousands of dark wallets that do not have clear links to real-world identities.” Would this be recognised as electoral campaigning? Carl noted that the regulatory space in U.S. currently regulates at wallet level, not at DAO levels. However, these wallets can be fully anonymous. “There are already crypto-based gig sites where small jobs can be done anonymously based on crypto remuneration,” Carl said. “In the future we might see gig workers being paid to run disinformation campaigns or stage protests.”

Another risk is that DAOs could facilitate radicalisation efforts undertaken by extremist groups. Carl noted that “the basic problem of extremists is that they are being denied the conventional, easiest ways of reaching people”. For example, they find it hard to rent halls, to have Facebook groups, to raise money or get the word out. He continued “You could easily see a world where there are protocol-based alternatives or replacements for conventional organizational structures”, allowing extremist movements to surmount collective action problems, create international coalitions and fundraise for their activities.

Extremist movements could potentially even create their own digital states, for example in the form of digital white ethnostates or cyber caliphates. In 2022, the former chief technology officer at Coinbase Balaji Srinivasan described in his book The Network State how DAOs could soon give rise to new forms of digital statehood. Any group of online users could decide to start their own country, with their own laws, social services and financial transactions (Srinivasan, 2022). 

Finally, DAOs might also serve as safe havens for the planning and plotting of violent terrorist attacks and cybercrimes. The circumvention of government regulation and monitoring activities could make them particularly useful for violent extremist and criminal organisations. Moreover, white nationalist movements have long been advocating for decentralised structures and so-called “leaderless resistance” (Michael, 2012; Malone et al, 2022). Increasingly, jihadist organisations such as Islamic State and Al Qaeda have adopted similarly decentralised models of leadership. Researchers have argued that leaderless organisations are more resilient to disruptions and interventions than hierarchical organisations. They compared hierarchical organisations to spiders who will die when you cut off their head, while the equated leaderless organisations with starfish whose legs will regrow when you cut them off (Brafman & Beckstrom, 19-29). 

According to Christoph Jentzsch, the most notable difference between DAOs and traditional forms of organisations is that, unlike associations or co-operatives, DAOs cannot be outlawed and their assets or bank accounts cannot be frozen. “If you can get organised without relying on traditional infrastructure, this also means that you won’t be controlled by traditional institutions. It would be difficult to intervene on a statutory level”.  Jentzsch argues that cash already provides an alternative route for clandestine groups to fundraise, hold or spend money. Yet, DAOs might make it easier to conduct international, anonymous operations.

DAOs could give rise to new forms of the dark market. It might even be possible for DAOs to facilitate an anonymous assassination market (Krishnan, 2020). Carl noted that there would probably be law enforcement responses to terrorist plots and other serious criminal activities, which could include “a mix of infiltration and subversion, and perhaps direct cyber offensive activity.” DAOs would be resilient in some ways because they are decentralised and rely on smart contracts. However, they might also be more vulnerable to hacking offenses. “It’s difficult for creators to know when they are safe from a hacking attack due to their complex structures,” Carl explained.  

DAOs bring both a range of challenges and opportunities for democratic culture in cyberspace. Advocates of DAOs have argued that these blockchain-based forms of self-governance promise enhanced security, transparency and trust and reduce transaction costs arising throughintermediaries. Meanwhile, this paper has explored some of the key challenges and risk areas for national security and democracy. 

The potential exploitation of DAOs for extremist or criminal purposes has not received enough attention in the research and policy communities. This report identified a range of ways in which DAOs might be misused by extremist movements in the future, which could challenge the rule of law, pose a threat to minority groups, and disrupt institutions that are currently considered fundamental pillars of democratic systems. More specifically, the study explored how extremist movements might tap into DAOs to plan, coordinate and launch influence and interference operations, radicalisation campaigns and violent attacks. 

Risks associated with the misuse of DAOs for extremist and criminal purposes has not been on the radar of global policymakers. Many governments have started to develop or pass legal frameworks to regulate AI. However, few countries or regions have even recognised the existence of DAOs or considered regulating them. Technology expert Carl Miller said that “even though DAOs behave like companies, they are not registered as legal entities”. There are only a few exceptions: The U.S. States Wyoming, Vermont and Tennessee have passed laws to legally recognise DAOs. 

This report is a first attempt to understand the potential risk areas of DAOs in the Metaverse. While this study focused on non-state actors, exploring emerging threats from hostile state actors might be another important area for future research. Studies could also use experimental methods and interviews with policymakers and law enforcement to map the threats landscape. “DAOs can be used by anyone: by charities, investment funds, but yes, they can also be used by terrorist organisations,” Christoph Jentzsch argues. However, he believes that the positive cases of use significantly outweigh the negative ones. Future studies should investigate both the potential opportunities and challenges related to collective decision-making and self-governance, diversity and the protection of minorities, radicalisation and extremism in decentralized communities in the Metaverse. The positive ways in which DAOs can shape future democratic culture are just as poorly understood as the negative impact they could have on politics and society. 

Brafman, Ori and Rod A. Beckstrom, The Starfish and the Spider: The Unstoppable Power of Leaderless Organizations (London: Penguin, 2007).

Chao, Chian-Hsueng, I-Hsien Ting, Yi-Jun Tseng, Bing-Wen Wang, Shin-Hua Wang, Yu-Qing Wang, and Ming-Chun Chen. “The Study of Decentralized Autonomous Organizations (DAO) in Social Network”. Proceedings of the 9th Multidisciplinary International Social Networks Conference, 2022, 59-65.

Decentralist. “The List of DAOs”. 2023. Available online: https://www.decentralist.com/list-of-daos. 

DeepDAO. “Organziations”. 2023. Available online: Deepdao.io/organziations.

Goldberg, Mitchell, and Fabian Schär. Metaverse governance: An empirical analysis of voting within decentralized autonomous organizations”. Journal of Business Research 160 (2023).

Irwin, Angela S.M., and George Milad. “The Use of Crypto-Currency in Funding Violent Jihad”. Journal of Money Laundering Control 19, no. 4 (2016): 411.

Jentzsch, Christoph. “Decentralized autonomous organization to automate governance”. White Paper, 2016.

Krishnan, Armin. “Blockchain Empowers Social Resistance and Terrorism Through Decentralized Autonomous Organizations”. Journal of Strategic Security 13, no. 1 (2020). 

Laeeq, Kashif. “Metaverse: Why, How and What”. Presentation, February 2022. Available online: https://www.researchgate.net/publication/358505001_Metaverse_Why_How_and_What. 

Malone, Iris, Lauren Blasco, and Kaitliyn Robinson. “Fighting the Hydra: Combatting Vulnerablities in Online Leaderless Resistance Networks”. National Countertrerorism, Innovation, Technology and Education Center, U.S Department of Homeland Security, September 2022. Online: https://digitalcommons.unomaha.edu/ncitereportsresearch/24/.

Michael, George. Lone Wolf Terror and the Rise of Leaderless Resistance (Nashville: Vanderbilt University Press, 2012).

Mondoh, Brian Sanya and Johnson, Sara M. and Green, Matthew and Georgopoulos, Aris. “Decentralised Autonomous Organisations: The Future of Corporate Governance or an Illusion?”. 23 June, 2022.

Rappaport, Alan and Nathaniel Popper, “Cryptocurrencies Pose National Security Threat, Mnuchin Said,” New York Times, July 15, 2019. Available online: https://www.nytimes.com/2019/07/15/us/politics/mnuchin-facebook-libra-risk.html.

Srinivasan, Balaji. The Network State: How to Start a New Country (Self-published book, 2022).

Sutikno, Tole, and Asa Ismia Bunga Aisyahrani. “Non-fungible tokens, decentralized autonomous organizations, Web 3.0, and the metaverse in education: From university to metaversity”. Journal of Education and Learning 17, no. 1 (2023), 1-5.

Venis, Sam. “Could New Countries be Founded – On the Internet?”. The Guardian, 5 July 2022. Available nline: https://www.theguardian.com/commentisfree/2022/jul/05/could-new-countries-be-founded-on-the-internet.

World Economic Forum. “Decentralized Autonomous Organizations Toolkit”. Insight Report, January 2023. Available online: https://www3.weforum.org/docs/WEF_Decentralized_Autonomous_Organization_Toolkit_2023.pdf.

Die Vorstellung der Vision eines Metaverses durch den Meta-CEO Mark Zuckerberg im Oktober 2021 stellte für die Gesellschaft sowie die Tech-Welt eine deutliche Zäsur dar. Zwar ist die Idee eines zweiten digitalen Lebens inklusive digitaler Identität weder neu noch META-exklusiv (siehe bspw. Second Life), jedoch war dies bis dahin die erste nahezu vollständige Darstellung der möglichen Funktionsweisen des Metaverses. Hierbei liegt ein besonderes Augenmerk auf der Immersion über virtuelle Realität, die Nutzer:innen in Erweiterung heutiger Internetapplikationen ein völlig neues Gefühl der Beteiligung geben und sie multimodal bzw. -sinnlich am Metaverse teilhaben lassen soll. Des Weiteren lag in der Visionspräsentation ein besonderer Fokus auf der technologischen Permeabilität, der Diffusion sozialer Medien in alle menschlichen Lebensbereiche hinein und folglich der Ablösung sozialer Medien als reine Unterhaltungsplattform.

Sollte das Metaverse also kommen, so wie es sich Zuckerberg und andere Proponent:innen ausmalen, dann würde es einen radikalen Wandel des gesellschaftlichen Umgangs mit dem digitalen Raum, aber auch eine radikale Veränderung unseres alltäglichen Lebens bedeuten. Der Einkauf könnte sich als immersives Shopping-Erlebnis zusehends in das Metaverse verlagern, Sportkurse könnten in einer virtuellen Umgebung abgehalten werden oder virtuelle Gottesdienste mit Gläubigen aus aller Welt stattfinden. Die Arbeitswelt hat sich, unter anderem durch die Corona-Pandemie, bereits nachhaltig verändert – demnächst könnte der Schritt vom Home- ins Meta-Office anstehen.

Doch diese Innovationen werden nicht nur unseren Alltag verändern – sie werden auch dazu führen, dass Extremismus und Radikalisierung neue Wege gehen werden und sich transformieren, um sich den neuen Umgebungen anzupassen. Im Allgemeinen nutzen Extremist:innen Technologien, die günstig, leicht verfügbar, einfach zu bedienen und für ihre Zwecke, wie Propaganda, Kommunikation und Rekrutierung, weithin zugänglich sind. Die Nutzung von Technologie in einer anderen als von den Entwickler:innen beabsichtigten Funktion mit der Absicht, anderen zu schaden, ist ein inhärent kreativer Prozess. Cropley, Kaufman und Cropley (2008) nennen dies „malevolente Kreativität“. Sie definieren es als eine Form der Kreativität, die „von einer Gesellschaft, einer Gruppe oder einem Individuum als notwendig erachtet wird, um Ziele zu erreichen, die sie für wünschenswert halten, die aber für eine andere Gruppe schwerwiegende negative Folgen hat, wobei diese negativen Folgen von der ersten Gruppe voll beabsichtigt sind“ (106). Akteur:innen, die malevolent kreativ sind (wie zum Beispiel Extremist:innen oder Verbreiter:innen von Fake News usw.), bezeichnen wir als malevolente Akteur:innen.

Malevolente Akteur:innen waren in der Vergangenheit vor allem dann sehr kreativ, wenn es um die Neuausrichtung der eigenen Organisation und die Distribution der eigenen Ideologie ging. Die digitale Revolution hat sie mit einer noch nie dagewesenen Anzahl von Werkzeugen ausgestattet, um ihre Sache voranzutreiben: von (verschlüsselter und sofortiger) Massenkommunikation für Propaganda und Rekrutierung über alternative Instrumente zur Finanzierung von Operationen und Logistik bis hin zu neuen Mitteln der Zerstörung und des Terrors. Die jüngsten technologischen Fortschritte haben malevolenten Akteur:innen viele neue Möglichkeiten eröffnet. So haben beispielsweise das Web 2.0, das Aufkommen der sozialen Medien und die Verfügbarkeit fast aller Inhalte im Internet es diesen Akteur:innen ermöglicht, leicht mit anderen Gleichgesinnten in Kontakt zu treten und nahezu geschlossene Gemeinschaften zu bilden, die sich in ihren Ansichten bestärken.

Die Erforschung des Metaverse als Nachfolge der sozialen Medien und des mobilen Internets kann wichtige Erkenntnisse darüber liefern, wie malevolente Akteur:innen das Metaverse kreativ nutzen könnten. Während wir im Allgemeinen mit Joe Whittaker und anderen (Whittaker 2022; Valentini, Lorusso und Stephan 2020) darin übereinstimmen, dass die Unterscheidung zwischen „Offline“- und „Online“-Radikalisierung analytisch nicht sinnvoll ist, könnte die Art und Weise, wie malevolente Akteur:innen aktuell soziale Medien nutzen, einen Ausblick auf das zukünftige Metaverse erlauben:

Es ist allgemein anerkannt, dass malevolente Akteur:innen (mit unterschiedlichen ideologischen Hintergründen) das Internet und seine Möglichkeiten früh genutzt haben (Feldman 2020; Fisher 2015; Stewart 2021; Lehmann und Schröder 2021). Sie nutzten neue Technologien in kreativer Weise, um sich der Überwachung und Entdeckung zu entziehen, aber auch um ihre eigenen Operationen zu verbessern. Das Internet als anonymer Ort der unzähligen Möglichkeiten, in dem man jede Information finden kann, die auf die eigenen Interessen zugeschnitten ist, macht es zu einer Goldgrube für Extremist:innen (Bertram 2016, S. 232). 

Während Forschungen zu Radikalisierungsmustern verurteilter Dschihad-Terrorist:innen gezeigt haben, dass Offline-Netzwerke eine viel größere Rolle bei ihrer Radikalisierung spielten als Online-Netzwerke (Hamid und Ariza 2022), deuten andere Forschungen darauf hin, dass bei rechtsextremen Täter:innen das Internet eine bedeutendere Rolle einnimmt. Dies gilt vor allem für die Planungsphase ihrer Angriffe und Aktionen (von Behr et al. 2013; Gill et al. 2017). „Das Internet ist in erster Linie ein Hilfsmittel, das größere Möglichkeiten für Radikalisierung und Anschlagsplanung bietet. Dennoch sind Radikalisierung und Anschlagsplanung nicht vom Internet abhängig […].“ (Gill et al. 2017, S. 113)

Insbesondere Social Media wurde von malevolenten Gruppen genutzt, um selbst erstellte Inhalte gezielt einzusetzen und zu verbreiten, ohne die traditionellen Prüfverfahren der Medienunternehmen zu durchlaufen und sich somit der Kontrolle und Zensur durch die Nationalstaaten zu entziehen“ (Droogan et al. 2018, S. 171). Darüber hinaus sind die sozialen Medien auch zu einem Instrument der sozialen Interaktion für diejenigen geworden, die bereits radikalisiert sind, und diejenigen, die sie überzeugen wollen bzw. die sich für ihre Aktivitäten interessieren (Conway 2017). 

Die Einführung des Metaverse könnte diese Dynamik noch verstärken. Indem die Kluft zwischen „offline“ und „online“ weiter überbrückt wird, könnte die Unterscheidung zwischen den beiden Sphären der Radikalisierung (und des Extremismus und Terrorismus) noch schwieriger zu halten sein. Während heute Offline-Netzwerke Vertrautheit und ein enges Umfeld bieten und sich den Sicherheitsbehörden mit größerer Wahrscheinlichkeit entziehen als Online-Extremist:innen (Hamid und Ariza 2022), könnte das künftige Metaverse diese Vorteile der Offline-Welt in einer umfassenden und immersiven digitalen Erfahrung vereinen. Zusammen mit den Vorteilen der Online-Welt – sofortige Massenkommunikation und Propaganda – könnte das Metaverse ein noch größerer Gamechanger werden, als es das Internet und die sozialen Medien waren.

Das Metaverse befindet sich noch im Anfangsstadium seiner Entwicklung und es hat noch einen weiten Weg vor sich, bis es ein gewisses Reifestadium erreicht hat, in dem Versprechen und tatsächliche Funktionalitäten erfüllt werden. Bereits jetzt ist sichtbar, dass dessen Risiken mit denen sozialer Medien vergleichbar sind und in der Vergangenheit oft zu spät reagiert wurde. Freiheit und Sicherheit werden wahrscheinlich die entscheidenden Variablen in dieser Zukunftstechnologie sein, was die Auseinandersetzung mit malevolenten Akteur:innen umso zentraler macht (Neuberger 2023). Bereits in der Anfangsphase des Metaverses zeichnet sich ab, dass malevolente Akteur:innen hier durchaus fruchtbaren Boden vorfinden – veranschaulicht etwa durch die Fälle sexueller Belästigung, die in den heute verfügbaren Testversionen des Metaverses verbreitet sind (Bazu 2021; Bovermann 2022; Diaz 2022; Wiederhold 2022).

Wie kann diesen Entwicklungen begegnet werden? Wie lassen sie sich gar verhindern, bevor sie Schaden anrichten? Ein wichtiger Aspekt wird die demokratische Einbindung von Akteur:innen und marginalisierten Gruppen in Entscheidungs- und Entwicklungsprozesse sein. Während dies bei sozialen Medien bereits ein genuin reaktiver Prozess wäre, haben die Entwickler:innen des Metaverses noch die Möglichkeit, förderliche Strukturen aufzubauen. Eine Demokratisierung der sozialen Medien ist aus gesellschaftspolitischer Sicht wünschenswert, da sie aufgrund ihrer Verbreitung, ihrer wirtschaftlichen und kulturellen Bedeutung mit einer großen Machtfülle ausgestattet sind. Diese Macht sollte demokratisch legitimiert und kontrolliert werden (Engelmann et al. 2020). Dabei sollte eine demokratische Absicherung jedoch keinen parteipolitischen Mustern folgen.

Soziale Medien sollten bei der Entwicklung des Metaverses in verschiedenen Aspekten lehrreich sein – von der Kreativität, mit der malevolente Akteur:innen neue Medien und Technologien nutzen (s.o.), bis zur demokratischen Einbindung von Nutzer:innen. Social-Media-Betreiber:innen versuchten bereits dem Aspekt der Partizipation Rechnung zu tragen:

Generell scheint eine besorgniserregende Tendenz in den sozialen Medien zu bestehen, diese partizipativen Modelle in Moderation und Sicherheit zugunsten von Anwendungen Künstlicher Intelligenz (KI) zurückzufahren (Gorwa et al. 2020; Llansó 2020). KI-Lösungen können und sollten jedoch die Einbindung der Zivilgesellschaft in Entscheidungsprozesse und Fragen der demokratischen Kultur keinesfalls ersetzen, schon allein deshalb, weil KI-gestützte Lösungen zur Content-Moderation nach wie vor fehleranfällig und intransparent agieren (Gillespie 2020; Gorwa et al. 2020). 

In der Social-Media-Forschung und insbesondere in der Platform-Governance-Forschung lassen sich wichtige Ansätze finden, die dazu beitragen können, ein demokratisches und inklusives Metaverse zu ermöglichen. Neben der zentralen Kooperation von Betreiber:innen mit staatlichen und nicht staatlichen Akteur:innen in Fragen der Transparenz und Forschung wird vor allem die aktive Stärkung demokratischer Akteur:innen und Narrative betont (Bundtzen und Schwieter 2023; Engelmann et al. 2020; Rau et al. 2022). 

Diese Strategie ist von größter Wichtigkeit, um sicherzustellen, dass der staatliche Repressionsapparat tatsächlich nur als Ultima Ratio eingesetzt wird, um malevolente Akteur:innen zu stoppen. Der demokratische Streit und Diskurs muss in einem inklusiven Metaverse möglich sein, ohne beständig Repression und Einschränkung fürchten zu müssen. Stattdessen können Plattformbetreiber:innen auch im Metaverse Schritte setzen, um demokratische Akteur:innen und Narrative bewusst und aktiv zu fördern und somit demokratische Resilienz im Metaverse aufzubauen. 

Auch hier kann sich das Metaverse an bestehenden Versuchen in den sozialem Medien orientieren, zum Beispiel an YouTube’s „Trusted Flagging“-Programm: Demokratische Akteur:innen, zum Beispiel nicht staatliche und staatliche Organisationen, die sich auf Thematiken wie Hassrede, gruppenbezogene Menschenfeindlichkeit oder Demokratiestärkung spezialisiert haben, könnten Zugang zu speziellen Meldetools bekommen. Des Weiteren könnten sie mit erweiterten Befugnissen zur Kontextualisierung von zweifelhaften Inhalten ausgestattet werden. 

Neben der Stärkung demokratischer Narrative ist jedoch auch die Demokratisierung der Plattform selbst ein wichtiger Faktor für Inklusivität. Die Einbindung von Nutzer:innen in Entscheidungs- und Designprozesse kann von großem Mehrwert für eine Plattform sein, die an einem demokratischen Miteinander interessiert ist. Marginalisierte Gruppen und deren Vertreter:innen wissen sehr genau, wo im digitalen Raum Hass und Hetze lauern können, und mit einer frühzeitigen Einbindung solcher Stakeholder:innen könnten einige der Fehler, die in den sozialen Medien begangen wurden, bereits von vornherein minimiert werden.

In der politischen Praxis haben sich bereits „Mini-Publics“ als Instrument der Nutzer:innenbeteiligung bewährt (Escobar und Elstub 2017; Smith und Setälä 2018). Mini-Publics bezeichnen eine Gruppe von (zufällig oder systematisch) ausgewählten Bürger:innen, die sich über einen längeren Zeitraum und unter Einbeziehung externer Quellen, z.B. wissenschaftlicher Expertise, mit gesellschaftlich relevanten Themen auseinandersetzen. Dabei werden Themenfelder multiperspektivisch beleuchtet, diskutiert, bewertet und darauf aufbauend Empfehlungen an politische Entscheidungsträger:innen weitergegeben (Escobar und Elstub 2017; Pek et al. 2023). Als Beispiel sei hier der virtuelle Bürger:innenrat in Deutschland genannt, der im Juni 2022 über die Folgen des Einsatzes Künstlicher Intelligenz diskutierte (Buergerrat.de 2022). Mit solchen Räten könnten plattformspezifische Themen diskutiert werden, um somit zu einer demokratischeren Entscheidungsfindung zu kommen. 

Obwohl durchaus umstritten (s.o.), können Plattformräte auch demokratieförderndes Potenzial entwickeln, wenn sie unabhängig, objektiv und transparent agieren können (Haggart und Keller 2021; Rau et al. 2022). Um dies zu gewährleisten, könnten sich derartige Plattformräte entsprechend den Vorschlägen von Kettemann und Fertmann (2021) an dem Status der bereits in Deutschland etablierten Presse- und Rundfunkräte orientieren. Hier bleibt jedoch anzumerken, dass Zuständigkeiten (geografisch, sachlich), Besetzung (Bürger:innen, Expert:innen, NGOs, politische Entscheidungsträger:innen) und nicht zuletzt Befugnisse (quasi-judikativ, beratend) Teil des gesellschaftlichen Diskurses sein müssen und noch nicht abschließend geklärt werden können (Cowls et al. 2022; Kettemann und Fertmann 2021). Außerdem könnten solche Räte das öffentliche Vertrauen fördern – je diverser und transparenter deren Besetzung ist und auch je mehr die Auswirkungen ihrer Empfehlungen öffentlich sichtbar sind.

Nicht zuletzt muss es darum gehen, die Medien- und Politikkompetenz zu stärken, indem verschiedene Fortbildungsmöglichkeiten angeboten werden. Diese sollten so gestaltet sein, dass auch Personen, die nicht (mehr) im Bildungssystem angebunden sind, von ihnen profitieren können. Hier gilt es, das nötige „Rüstzeug“ im Umgang mit Fake News, anderweitig manipulierten bzw. extremistischen Inhalten oder auch Hate Speech im Internet zu vermitteln. Exemplarisch ist das Projekt „Good Gaming – Well Played Democracy“¹https://www.amadeu-antonio-stiftung.de/projekte/good-gaming-well-played-democracy/ der Amadeu-Antonio-Stiftung zu nennen, welches sich u.a. mit der Sensibilisierung der Gaming-Community bezüglich extremistischer Inhalte auseinandersetzt.

Daneben muss angemerkt werden, dass der Aufbau eines demokratischen Metaverse nicht allein die Aufgabe der Bürger:innen ist. Der Aufbau eines digitalen Zwillings im Sinne einer „wehrhaften Demokratie“ ist ebenfalls von Bedeutung. Dies bedeutet aber laut Rau et al. (2022), nicht ausschließlich repressive Maßnahmen wie Löschung oder Unterdrückung problematischer Inhalte (siehe beispielsweise Bellanova und De Goede 2022), sondern damit einhergehend auch die Stärkung demokratischer Akteur:innen, beispielsweise durch algorithmisch erhöhte Sichtbarkeit. In diesem Zusammenhang kommt dem Empowerment marginalisierter demokratischer Akteursgruppen eine besondere Bedeutung zu, um die gesellschaftliche Vielfalt adäquat abzubilden. Diese sind u.a. ausreichend geschult, um problematische Inhalte rechtzeitig zu erkennen und können somit auch beratend hinzugezogen werden (Rau et al. 2022). Auch der Einsatz von Gegenrede (Counter Speech) könnte eine weitere Handlungsstrategie gegen extremistische Metaverse-Inhalte sein (Clever et al. 2022; Hangartner et al. 2021; Kunst et al. 2021; Morten et al. 2020). Unter (digitaler) Gegenrede versteht man die Erstellung von Kommentaren oder anderweitigen Inhalten als Antwort auf hasserfüllte Inhalte, um deren Effekt zu minimieren und zu entkräften oder um potenzielle Opfer zu unterstützen (Ernst et al. 2022; Garland et al. 2022). Diesbezüglich konnte in Studien gezeigt werden, dass Gegenrede ein wirksames Mittel im Umgang mit extremistischen Inhalten sein kann und diese effektiv reduziert (Garland et al. 2022; Hangartner et al. 2021). Im Kontext neuerer Technologiekomplexe, z.B. KI, bestehen inzwischen sogar Überlegungen, Gegenrede unter bestimmten Bedingungen automatisiert zu implementieren, auch wenn finale Konzepte und Zuständigkeiten bislang noch Gegenstand intensiver Diskussion sind (Clever et al. 2022). 

Zusätzlich zu partizipierenden Methoden bietet schließlich auch die Gesetzgebung Möglichkeiten, extremistische Inhalte zu unterbinden. In Deutschland ist die Verbreitung verfassungswidriger Symbole oder Zeichen per se verboten und kann somit strafrechtlich verfolgt werden. Ebenso gibt das Netzwerkdurchsetzungsgesetz (NetzDG) in Deutschland rechtliche Rahmenbedingungen für den Umgang mit Hasskriminalität in den sozialen Medien. Dementsprechend verpflichtet die Terrorist Content Online-Verordnung (TCO-VO; Europäische Union 2021) auf EU-Ebene Plattformbetreibende dazu, als terroristisch gemeldete Inhalte innerhalb von einer Stunde zu entfernen respektive zu sperren. Mit Blick auf neuere Forschungsergebnisse der Extremismusforschung ist jedoch zu verzeichnen, dass sogenannte „Legal-but-Harmful“-Inhalte bereits jetzt eine große Herausforderung darstellen und vermutlich auch im Metaverse von Bedeutung sein werden (Jiang et al. 2021; Rau et al. 2022). Hierzu zählt beispielsweise digitaler Content, der subtil radikalisierend wirken kann und gleichzeitig nicht strafrechtlich relevant ist. Diesbezüglich ist jedoch anzumerken, dass Content-Moderation sich der freien Meinungsäußerung als verfassungsrechtlich verankerter Grundsatz unterwerfen muss. Folglich ist zu vermuten, dass auch die anhaltende Diskussion zum Verhältnis aus Freiheit und Sicherheit maßgeblich die Gestaltung des Metaverse beeinflussen wird und das Ergebnis eines gesamtgesellschaftlichen Verhandlungsprozesses sein wird bzw. muss, um die demokratische Ausgestaltung gewährleisten zu können.

Sollte das Metaverse in seiner Immersivität die Vision von Mark Zuckerberg erreichen, dann ist es sehr wahrscheinlich, dass es unser Alltagsleben und das gesellschaftliche Miteinander massiv beeinflussen wird. Diese Immersivität würde bedeuten, dass sich die Betreiber:innen des Metaverses (oder der Metaversen) intensiv mit Fragen der Demokratisierung auseinandersetzen müssen. Nicht nur würde wahrscheinlich der Staat in einem Metaverse eine (noch zu definierende) Rolle spielen, sondern auch seinen Nutzer:innen muss demokratische Teilhabe ermöglicht werden. Diese würde dazu beitragen, die Plattform inklusiv und möglichst sicher vor malevolenten Akteur:innen zu machen.

Aufbauend auf der Social-Media-Forschung der letzten Jahrzehnte finden sich viele Anknüpfungspunkte, welche die Ausgestaltung eines demokratischen Metaverse unterstützen und lenken können. Wie oben angemerkt, befindet sich das Metaverse noch in einem frühen Entwicklungsstadium. Dabei ist es mit Blick auf die rasante Dynamik jedoch wichtig, diesen Prozess zu begleiten, „am Ball“ zu bleiben und eine aktive Rolle in der Diskussion einzunehmen. Nicht zuletzt ist die multiperspektivische Brille im Sinne aller beteiligten Stakeholder:innen relevant, um die Balance zwischen Sicherheit und Freiheit für alle Nutzer:innen gewährleisten zu können. Die hier vorgestellten Möglichkeiten zum Aufbau eines Metaverse stellen einige Lösungen zur Implementierung demokratischer Grundpfeiler dar. Zusammengefasst sollten folgende Lösungsmöglichkeiten von den Plattformbetreibenden eingesetzt werden:

Die konkrete und finale Umsetzung ist aktuell noch Gegenstand einer lebhaften Diskussion. Allerdings animiert der Status der frühen Entwicklungsphase des Metaverse zur aktiven Beteiligung, was sich auch in dem hiesigen Project Immersive Democracy widerspiegelt und als Einladung zu diesem Prozess verstanden werden kann. Partizipation ist kein Allheilmittel für die Gefahren, die im digitalen Raum lauern. Sie stellt aber eine wichtige Stütze dar, die dabei helfen kann, marginalisierte Gruppen oder Individuen gezielt zu empowern und ihnen so das Werkzeug in die Hand zu geben, um gemeinsam mit Betreiber:innen gegen Diskriminierung und Hass im Metaverse vorzugehen. Jetzt ist die Zeit, um diese Werkzeuge zu entwickeln und dafür zu sorgen, dass ein zukünftiges Metaverse ein möglichst sicherer Ort für alle sein wird.

Bazu, Tanya (2021): The metaverse has a groping problem already. MIT Technology Review. Online verfügbar unter https://www.technologyreview.com/2021/12/16/1042516/the-metaverse-has-a-groping-problem/, zuletzt geprüft am 28.09.2022.

von Behr, Ines; Reding, Anaïs; Edwards, Charlie; Gribbon, Luke (2013): Radicalisation in the Digital Era: The Use of the Internet in 15 Cases of Terrorism and Extremism | Office of Justice Programs. In: RAND Europe.

Bellanova, Rocco; De Goede, Marieke (2022): Co‐Producing Security: Platform Content Moderation and European Security Integration. In: JCMS: Journal of Common Market Studies 60 (5), S. 1316–1334. https://doi.org/10.1111/jcms.13306

Bertram, Luke (2016): Terrorism, the Internet and the Social Media Advantage: Exploring how terrorist organizations exploit aspects of the internet, social media and how these same platforms could be used to counter-violent extremism. In: Journal for Deradicalization 2016 (7), S. 225–252.

Bovermann, Philipp (2022): Online-Belästigungen im Metaverse – Am eigenen Leib. Süddeutsche Zeitung. Online verfügbar unter https://www.sueddeutsche.de/kultur/metaverse-vr-virtual-reality-microsoft-sexuelle-belaestigung-1.5519527?print=true, zuletzt geprüft am 04.02.2022.

Buergerrat.de (2022): Bürgerrat diskutierte über künstliche Intelligenz. Buergerrat.de. Online verfügbar unter https://www.buergerrat.de/aktuelles/buergerrat-diskutierte-ueber-kuenstliche-intelligenz/, zuletzt geprüft am 22.06.2023.

Bundtzen, Sara; Schwieter, Christian (2023): Datenzugang zu Social-Media-Plattformen für die Forschung: Lehren aus bisherigen Maßnahmen und Empfehlungen zur Stärkung von Initiativen inner- und außerhalb der EU. Berlin: Institute for Strategic Dialogue (ISD).

Clever, Lena; Klapproth, Johanna; Frischlich, Lena (2022): Automatisierte (Gegen-)Rede? Social Bots als digitales Sprachrohr ihrer Nutzer*innen. In: Julian Ernst, Michalina Trompeta und Hans-Joachim Roth (Hg.): Gegenrede digital: Neue und alte Herausforderungen interkultureller Bildungsarbeit in Zeiten der Digitalisierung. Wiesbaden: Springer Fachmedien, (Interkulturelle Studien), S. 11–26. https://doi.org/10.1007/978-3-658-36540-0_2

Conway, Maura (2017): Determining the Role of the Internet in Violent Extremism and Terrorism: Six Suggestions for Progressing Research. In: Studies in Conflict & Terrorism Routledge, 40 (1), S. 77–98. https://doi.org/10.1080/1057610X.2016.1157408

Cowls, Josh; Darius, Philipp; Santistevan, Dominiquo; Schramm, Moritz (2022): Constitutional metaphors: Facebook’s “supreme court” and the legitimation of platform governance. In: New Media & Society. https://doi.org/10.1177/14614448221085559

Cropley, David H.; Kaufman, James C.; Cropley, Arthur J. (2008): Malevolent Creativity: A Functional Model of Creativity in Terrorism and Crime. In: Creativity Research Journal 20 (2), S. 105–115. https://doi.org/10.1080/10400410802059424

Diaz, Adriana (2022): Disturbing reports of sexual assaults in the metaverse: ‘It’s a free show’. New York Post. Online verfügbar unter https://nypost.com/2022/05/27/women-are-being-sexually-assaulted-in-the-metaverse/, zuletzt geprüft am 28.09.2022.

Droogan, Julian; Waldek, Lise; Blackhall, Ryan (2018): Innovation and terror: an analysis of the use of social media by terror-related groups in the Asia Pacific. In: Journal of Policing, Intelligence and Counter Terrorism Routledge, 13 (2), S. 170–184. https://doi.org/10.1080/18335330.2018.1476773

Engelmann, Severin; Grossklags, Jens; Herzog, Lisa (2020): Should users participate in governing social media? Philosophical and technical considerations of democratic social media. In: First Monday. https://doi.org/10.5210/fm.v25i12.10525

Ernst, Julian; Trompeta, Michalina; Roth, Hans-Joachim (2022): Gegenrede digital – Einleitung in den Band. In: Julian Ernst, Michalina Trompeta und Hans-Joachim Roth (Hg.): Gegenrede digital. Wiesbaden: Springer Fachmedien Wiesbaden, (Interkulturelle Studien), S. 1–7. https://doi.org/10.1007/978-3-658-36540-0_1

Escobar, Oliver; Elstub, Stephen (2017): Forms of Mini-Publics: An introduction to deliberative innovations in democratic practice. (Research and Development Note) New Democracy.

Europäische Union (2021): Verordnung (EU) 2021/784 des Europäischen Parlaments und des Rates vom 29. April 2021 zur Bekämpfung der Verbreitung terroristischer Online-Inhalte (Text von Bedeutung für den EWR). OJ L.

Garland, Joshua; Ghazi-Zahedi, Keyan; Young, Jean-Gabriel; Hébert-Dufresne, Laurent; Galesic, Mirta (2022): Impact and dynamics of hate and counter speech online. In: EPJ Data Science 11 (1), S. 3. https://doi.org/10.1140/epjds/s13688-021-00314-6

Gill, Paul; Corner, Emily; Conway, Maura; Thornton, Amy; Bloom, Mia; Horgan, John (2017): Terrorist Use of the Internet by the Numbers: Quantifying Behaviors, Patterns, and Processes. In: Criminology & Public Policy 16 (1), S. 99–117. https://doi.org/10.1111/1745-9133.12249

Gillespie, Tarleton (2020): Content moderation, AI, and the question of scale. In: Big Data & Society 7 (2). https://doi.org/10.1177/2053951720943234

Gorwa, Robert; Binns, Reuben; Katzenbach, Christian (2020): Algorithmic content moderation: Technical and political challenges in the automation of platform governance. In: Big Data & Society 7 (1). https://doi.org/10.1177/2053951719897945

Haggart, Blayne; Keller, Clara Iglesias (2021): Democratic legitimacy in global platform governance. In: Telecommunications Policy 45 (6). https://doi.org/10.1016/j.telpol.2021.102152

Hamid, Nafees; Ariza, Cristina (2022): Offline Versus Online Radicalisation: Which is the Bigger Threat? London: Global Network on Extremism&Technology.

Hangartner, Dominik et al. (2021): Empathy-based counterspeech can reduce racist hate speech in a social media field experiment. In: Proceedings of the National Academy of Sciences 118 (50). https://doi.org/10.1073/pnas.2116310118

Jiang, Jialun Aaron; Scheuerman, Morgan Klaus; Fiesler, Casey; Brubaker, Jed R.; Alexandre Bovet (Hg.) (2021): Understanding international perceptions of the severity of harmful content online. In: PLOS ONE 16 (8). https://doi.org/10.1371/journal.pone.0256762

Kettemann, Matthias C.; Fertmann, Martin (2021): Die Demokratie Plattformfest Machen: Social Media Councils als Werkzeug zur gesellschaftlichen Rückbindung der privaten Ordnungen digitaler Plattformen. Potsdam-Babelsberg: Friedrich-Naumann-Stiftung.

Kunst, Marlene; Porten-Cheé, Pablo; Emmer, Martin; Eilders, Christiane (2021): Do “Good Citizens” fight hate speech online? Effects of solidarity citizenship norms on user responses to hate comments. In: Journal of Information Technology & Politics 18 (3), S. 258–273. https://doi.org/10.1080/19331681.2020.1871149

Llansó, Emma J (2020): No amount of “AI” in content moderation will solve filtering’s prior-restraint problem. In: Big Data & Society 7 (1). https://doi.org/10.1177/2053951720920686

Meineck, Sebastian (2021): Trusted Flagger: YouTube serviert freiwillige Helfer:innen ab. netzpolitik.org. Online verfügbar unter https://netzpolitik.org/2021/trusted-flagger-youtube-serviert-freiwillige-helferinnen-ab/, zuletzt geprüft am 27.06.2023.

Morten, Anna; Frischlich, Lena; Rieger, Diana (2020): Gegenbotschaften als Baustein der Extremismusprävention. In: Josephine B. Schmitt, Julian Ernst, Diana Rieger und Hans-Joachim Roth (Hg.): Propaganda und Prävention. Wiesbaden: Springer Fachmedien Wiesbaden, S. 581–589. https://doi.org/10.1007/978-3-658-28538-8_32

Neuberger, Christoph (2023): Sicherheit und Freiheit in der digitalen Öffentlichkeit. In: Nicole J. Saam und Heiner Bielefeldt (Hg.): Sozialtheorie. Bielefeld: transcript Verlag, S. 297–308.

Pek, Simon; Mena, Sébastien; Lyons, Brent (2023): The Role of Deliberative Mini-Publics in Improving the Deliberative Capacity of Multi-Stakeholder Initiatives. In: Business Ethics Quarterly 33 (1), S. 102–145. https://doi.org/10.1017/beq.2022.20

Rau, Jan; Kero, Sandra; Hofmann, Vincent; Dinar, Christina; Heldt, Amélie P. (2022): Rechtsextreme Online-Kommunikation in Krisenzeiten: Herausforderungen und Interventionsmöglichkeiten aus Sicht der Rechtsextremismus- und Platform-Governance-Forschung. In: Arbeitspapiere des Hans-Bredow-Instituts SSOAR – GESIS Leibniz Institute for the Social Sciences. https://doi.org/10.21241/SSOAR.78072

Smith, Graham; Setälä, Maija (2018): Mini-Publics and Deliberative Democracy. In: Andre Bächtiger, John S. Dryzek, Jane Mansbridge und Mark Warren (Hg.): The Oxford Handbook of Deliberative Democracy. Oxford University Press, S. 299–314. https://doi.org/10.1093/oxfordhb/9780198747369.013.27

The Associated Press (2022): Musk’s Twitter has dissolved its Trust and Safety Council. National Public Radio (NPR). Washington, DC, 12.12.2022.

Wiederhold, Brenda K. (2022): Sexual Harassment in the Metaverse. In: Cyberpsychology, Behavior, and Social Networking 25 (8), S. 479–480. https://doi.org/10.1089/cyber.2022.29253.editorial

Hassrede bezeichnet nach der Definition der Vereinten Nationen (UN) jede Form von Kommunikation, Gesten oder Verhaltensweisen, die zu Gewalt, Diskriminierung, Feindseligkeit oder vorurteilsbasierten Handlungen gegen Einzelpersonen oder Gruppen auf der Grundlage von Merkmalen wie Rasse, ethnischer Zugehörigkeit, Religion, Geschlecht, sexueller Orientierung oder anderen Eigenschaften aufrufen. Sie umfasst Äußerungen, die Einzelpersonen oder Gemeinschaften erniedrigen, entmenschlichen oder stereotypisieren, schädliche Stereotypen aufrechterhalten und Intoleranz fördern (UN o.J.).

Obwohl diese Definition klar und prägnant erscheint, ist die Definition von Hassreden nicht so leicht. Jeder Versuch, Hassreden zu definieren, muss ein Gleichgewicht zwischen der Wahrung der Meinungsfreiheit – einem grundlegenden Menschenrecht – und dem Schutz von Einzelpersonen und Gruppen vor Schaden anstreben. Dies wird noch dadurch erschwert, dass verschiedene Personen ein- und dieselbe Äußerung unterschiedlich wahrnehmen können, und was eine Person als beleidigend oder schädlich ansieht, kann eine andere Person als legitime Meinungsäußerung betrachten. Die subjektive Natur der Beurteilung, ob bestimmte Äußerungen die Grenze zur Hassrede überschreiten, macht es schwierig, allgemeingültige Definitionen festzulegen.

Trotz dieser Definitionsschwierigkeiten ist es von entscheidender Bedeutung, sich mit dem Thema zu befassen, insbesondere in Online-Umgebungen wie dem Metaverse. Wie wir aus der frühen Forschung zu virtuellen Welten gelernt haben, kann das, was in diesen Welten geschieht, die Werte der Menschen in der realen Welt beeinflussen – und umgekehrt. So argumentierte etwa Christine Ward Gailey in den frühen 1990er-Jahren, dass Videospiele die vorherrschenden kulturellen Werte in der Gesellschaft widerspiegeln und Verhaltensweisen verstärken und fördern, die mit der vorherrschenden Ideologie übereinstimmen (Gailey 1993). Kommerziell erfolgreiche Spiele wiederholen und verstärken demnach oft die Werte und Aktivitäten, die mit den vorherrschenden gesellschaftlichen Normen verbunden sind.

Daher ist es vielleicht nicht überraschend, dass die Darstellung verschiedener sozialer Gruppen in den virtuellen Welten von Videospielen tendenziell bestehende Vorurteile widerspiegelt, die Einzelpersonen in der realen Welt hegen, einschließlich Sexismus und Rassismus. So ist beispielsweise die geschlechtsspezifische Stereotypisierung des Aussehens von Videospielcharakteren, bei der Frauen oft als dünn mit großen Brüsten und betonten sexuellen Merkmalen dargestellt werden (ein Trend, der durch die Figur Lara Croft in der „Tomb Raider“-Reihe verkörpert wurde) und Männer oft mit einem muskulösen Körperbau und aggressivem Verhalten dargestellt werden, gut dokumentiert. Psychologische Studien unter Jugendlichen und Studierenden haben gezeigt, dass diese stereotypen Darstellungen zu einer Desensibilisierung gegenüber Sexismus in der realen Welt führen können, sodass Sexismus weniger schockierend erscheint und schädliche Überzeugungen wie „Vergewaltigungsmythen“ aufrechterhalten werden, die den Opfern sexueller Übergriffe die Schuld geben (Breuer et al. 2015).

Sexismus in Videospielen ist natürlich nicht nur ein Problem, wenn es um den Inhalt geht. Auch das Nutzungsverhalten, insbesondere in Multiplayer-Online-Spielen, ist oft höchst problematisch. So werden beispielsweise weibliche Spielerinnen oft angegriffen und belästigt und müssen ihre eigenen Bewältigungsmechanismen und Strategien entwickeln, um sich vor unerwünschtem Verhalten zu schützen.

Auch rassistische Darstellungen sind seit Anfang der 1990er-Jahre ständig ein Thema in Videospielen. Spiele wie Duke Nukem 3D und Shadow Warrior sind ein Beispiel dafür, wie verletzende rassistische Stereotype die Erzählungen von Videospielen geprägt haben. Die Handlung von „Duke Nukem 3D“ zum Beispiel dreht sich um die eugenische Panik vor einer Rassenvermischung zwischen eindringenden Außerirdischen und weißen Frauen in einem zukünftigen Los Angeles, das als mono-ethnisch dargestellt wird. Die Hauptfigur begibt sich auf die Mission, die außerirdischen Invasoren aufzuhalten, um die genetische Reinheit der menschlichen Spezies zu bewahren. Im Spiel „Shadow Warrior“ hingegen werden mit der stereotypen und generischen „asiatischen“ Identität des Protagonisten eine Reihe von Fähigkeiten verbunden, die als biologisch bedingt dargestellt werden, und welche so die Vorstellungen über die vermeintliche mangelnde Männlichkeit des Protagonisten aufrechterhalten (Weise 2021).

Die in Videospielen dargestellten sexistischen und rassistischen Ideen und Darstellungen können über die virtuelle Welt hinausgehen und Auswirkungen auf die reale Welt haben. Psychologische Forschungen deuten darauf hin, dass das Spielen von gewalttätigen Videospielen Ethnozentrismus verstärken und eine erhöhte Aggression auslösen kann, wenn die spielenden Personen jemandem begegnen, der anders ist als sie selbst (Ewoldsen et al. 2012). Obwohl Aktivistinnen wie Anita Sarkeesian diese Themen in der Spieleindustrie aufgreifen,¹Feminist Frequency (2013). Damsel in Distress: Part 1 – Tropes vs Women in Video Games. https://youtu.be/X6p5AZp7r_Q (Abgerufen am 27. Juni 2023). haben sich Hass und diskriminierende Einstellungen in Videospielen im Laufe der Zeit normalisiert. Das wahrscheinlich auch die Gestaltung und Entwicklung anderer virtueller Welten beeinflussen wird. Im Jahr 2022 wurde in den Medien immer wieder auf das „Groping-Problem“ im Metaverse (unangemessene sexuelle Berührungen der Avatare) hingewiesen, was zeigt, wie wichtig es ist, die Probleme anzusprechen und zu hinterfragen, um inklusive und sichere Online-Umgebungen zu schaffen. 

Auf sozialen VR-Plattformen wie VRChat, AltSpace und Meta Horizons nimmt Hassrede oft ähnliche Formen an wie in den traditionellen sozialen Medien. Nutzende können diskriminierendes oder beleidigendes Verhalten an den Tag legen, das sich gegen Einzelpersonen oder Gruppen aufgrund ihrer Eigenschaften oder Identitäten richtet.

Einige Beispiele hierfür sind:

Es lassen sich zwar wichtige Lehren aus der Art und Weise ziehen, wie diese Formen des Verhaltens in sozialen Medien stattfinden, gleichwohl gibt es eine Reihe wichtiger Unterschiede zwischen Hassrede in sozialen Medien und Hassrede in sozialen VR-Plattformen, insbesondere angesichts ihrer immersiven Natur.

Soziale VR-Plattformen bringen zusätzliche Elemente in die Nutzungserfahrungen ein, welche die Art und den Umfang von Hassrede, Mobbing und Diskriminierung beeinflussen können. Diese Plattformen bieten Nutzenden die Möglichkeit, Avatare zu verkörpern und sich in immersivere Interaktionen zu begeben. Infolgedessen können neue oder andere Verhaltensweisen entstehen. 

Einige Beispiele hierfür sind:

Um die negativen Auswirkungen von Hassrede in sozialen VR-Plattformen abzuschwächen, ist es für Plattformanbieter wichtig, eine proaktive Moderation in den Vordergrund zu stellen, klare Community-Standards festzulegen und die Selbstbestimmung der Nutzenden durch Meldetools und Bildungsinitiativen zu fördern. Gemeinsame Bemühungen von Plattformentwicklung, Nutzenden und relevanten Interessenvertretungen können dazu beitragen, sichere und einladende virtuelle Umgebungen zu schaffen, in denen Nutzende sich frei äußern können, ohne Angst vor Belästigung oder Diskriminierung zu haben.

In der neueren technologie-ethischen Literatur wird der Wert eines deliberativen Engagements für die Gestaltung der technologischen Entwicklung betont.²Siehe zum Beispiel eine Reihe von Artikeln, die im Journal of Responsible Innovation und im Journal of Responsible Technology veröffentlicht wurden. Diese Arbeiten stützen sich weitgehend – sowohl implizit als auch explizit – auf Konzepte der „deep democracy“ (Buhmann and Fieseler 2021, 101475), indem sie das epistemische Potenzial offener Beteiligungsprozesse hervorheben. Ganz allgemein wird in dieser Literatur vorgeschlagen, dass Innovator*innen als proaktive Teilnehmende einer breiteren öffentlichen Debatte bzw. eines Diskurses zu verantwortungsvollen Innovationsprozessen beitragen können. Im Wesentlichen geht es also darum, das Potenzial der verschiedenen Formen des Engagements zu nutzen, um optimale Lösungen zu finden.

Um das Jahr 2010 herum wurde der Begriff „Verantwortungsvolle Innovation“ („Responsible Innovation“) zu einem beliebten Begriff, um über Fragen der Verantwortung zu sprechen – sowohl in der Wissenschaft als auch bei politischen Entscheidungsträger:innen. Gemeint ist damit, Forschung und Innovation so zu organisieren, dass ihre Auswirkungen sicher, gerecht und auf die gesellschaftlichen Bedürfnisse abgestimmt sind.

Neue und aufkommende Technologien, wie KI und VR, werden unsere Zukunft auf beeindruckende Weise verändern. Wie wir bereits sehen können, wird dies dazu führen, dass wir uns mit neuen Fragen zu Risiken, Ethik, Gerechtigkeit und Gleichheit auseinandersetzen müssen. Verantwortungsvolle Innovation liefert uns die Konzepte und Praktiken, die erforderlich sind, um diese Fragen anzugehen, und hilft uns, über Dinge wie Hype, Umfang, Macht und Einbeziehung in Forschung und Innovation nachzudenken.

In Anlehnung an die Arbeiten von Buhmann und Fieseler kann verantwortungsvolle Innovation als ein Konzept betrachtet werden, das drei Hauptdimensionen umfasst (und die sich häufig im öffentlichen Diskurs über neue und aufkommende Technologien widerspiegeln). Erstens die Verantwortung, Schaden zu vermeiden, was sich zum Beispiel auf Risikomanagementansätze bezieht, mit denen potenziell schädliche Folgen kontrolliert werden sollen. Zweitens die Verantwortung, Gutes zu tun, die sich auf die Verbesserung der Lebensbedingungen bezieht, wie sie in den Zielen für nachhaltige Entwicklung festgelegt sind. Und schließlich die Governance-Verantwortung, die sich auf die Verantwortung für die Schaffung und Unterstützung globaler Kontrollstrukturen bezieht, die die beiden erstgenannten Verantwortlichkeiten unterstützen können (Ebd.).

Beispiele für Instrumente und Konzepte, die unter das Dach der verantwortungsvollen Innovation fallen, sind:

Letztlich können wir durch diese Ansätze zur Technologieentwicklung versuchen, potenzielle Schäden wie Hassrede und Vorurteile zu konfrontieren und abzumildern, bevor sie sich festsetzen. 

Im Hinblick auf soziale VR-Anwendungen zeichnen sich bereits mehrere wichtige Probleme ab, die eher früher als später angegangen werden müssen. So stellt beispielsweise die Verwaltung des Verhaltenes von Nutzenden auf Online-Plattformen aufgrund des fragmentierten Bereichs und der vielen beteiligten Systeme eine große Herausforderung dar. Jede Plattform kann ihre eigenen Regeln und Richtlinien haben, was zu widersprüchlichen Werten und Normen führt. Außerdem wird die Durchsetzung von Altersbeschränkungen schwierig, da die Nutzenden ein falsches Alter angeben oder die Beschränkung einfach umgehen können. Ein weiteres Problem besteht darin, dass die Geschwindigkeit der Entwicklungen im digitalen Raum oft die Fähigkeiten übersteigt, wirksame Moderationsmaßnahmen umzusetzen. Es ist auch schwierig, branchenweite Standards gesetzlich zu verankern, sodass es schwierig ist, einheitliche Leitlinien für die Regulierung von Inhalten aufzustellen. Das Testen dieser Plattformen unter realen Bedingungen ist ebenfalls kompliziert, da die virtuelle Umgebung noch relativ unbekanntes Terrain ist. In Anbetracht dieser Faktoren müssen wir sicherstellen, dass virtuelle Welten verantwortungsvoll entwickelt werden. Das erfordert eine kontinuierliche Anpassung und Zusammenarbeit zwischen den Entwickler*innen der Plattformen, den Benutzenden und den Regulierungsbehörden.

Bisher haben die Bemühungen zur Bekämpfung von Hassrede vor allem darin bestanden, den Dialog zu fördern, die Bildung zu unterstützen und die Medienkompetenz zu fördern, um das Verständnis, die Empathie und den Respekt zwischen Einzelpersonen und Gemeinschaften zu verbessern. Im Falle der Entwicklung des Metaverse wird die Zusammenarbeit zwischen Regierungen, zivilgesellschaftlichen Organisationen und Technologieunternehmen auch eine entscheidende Rolle bei der Entwicklung von Richtlinien, Maßnahmen und Werkzeugen spielen, um Hassrede wirksam zu bekämpfen und gleichzeitig unterschiedliche Perspektiven zu respektieren und kulturell sensibel zu agieren.

Es ist wichtig anzuerkennen, dass soziale VR-Plattformen zwar zweifellos Möglichkeiten zur Sozialisation und Kreativität bieten, dass sie aber auch vor großen Herausforderungen stehen, wenn es darum geht, gegen Hassrede, Mobbing und Diskriminierung vorzugehen. Wie erörtert, sind die Moderation von Inhalten und die Durchsetzung von Richtlinien aufgrund der dynamischen und immersiven Natur von VR-Umgebungen komplexe Aufgaben. Die Nutzung von Ideen und Konzepten aus dem Bereich der verantwortungsvollen Innovation, die Einführung von Meldemechanismen, die Aufklärung der Nutzenden und die Entwicklung von Gemeinschaftsrichtlinien können und sollten jedoch alle eine Rolle bei der Förderung integrativer und respektvoller virtueller Gemeinschaften spielen.

Breuer, J., Kowert, R., Festl, R., & Quandt, T. (2015). Sexist games= sexist gamers? A longitudinal study on the relationship between video game use and sexist attitudes. Cyberpsychology, Behavior, and Social Networking, 18(4), 197-202.

Buhmann, A. & Fieseler, C., (2021). Towards a deliberative framework for responsible innovation in artificial intelligence. Technology in Society, 64, 101475.

Ewoldsen, D. R., Eno, C. A., Okdie, B. M., Velez, J. A., Guadagno, R. E., & DeCoster, J. (2012). Effect of playing violent video games cooperatively or competitively on subsequent cooperative behavior. Cyberpsychology, Behavior, and Social Networking, 15(5), 277-280.

Gailey, C. W. (1993). Mediated messages: Gender, class, and cosmos in home video games. Journal of popular culture, 27(1), 81.

UN (o. D.). What is hate speech?  https://www.un.org/en/hate-speech/understanding-hate-speech/what-is-hate-speech (Abgerufen am 27. Juni 2023).

Weise, Matthew (2021). The Hidden, Destructive Legacy of ‚Duke Nukem‘.  https://www.vice.com/en/article/pkdvxb/the-hidden-destructive-legacy-of-duke-nukem (Abgerufen am 27. Juni 2023).

von Prof. Dr. Matthias Quent

Als Marc Zuckerberg den Begriff Metaverse wählte, um damit die nächste Stufe eines noch immersiveren Internets auszurufen, hat er – willentlich und bewusst oder nicht – auch eine Warnung vor dem Ende der Demokratie in die Welt gesetzt: Das Wort „Metaverse“ wurde erstmals 1991 im Science-Fiction-Roman „Snow Crash“ von Neal Stephanson popularisiert. Der Roman spielt in einer libertär-dystopischen Zukunft, in der Staat, Demokratie und Umwelt zerstört sind, Großkonzerne und die Mafia regieren sowie rassistische und soziale Segregation herrscht. Die virtuelle Parallelwelt des Metaverse ist ein Zufluchtsort, in denen die Avatare Freiheit finden, Diskriminierung hinter sich lassen und jenen sozialen Aufstieg schaffen können, der durch die extremen Ungleichheitsverhältnisse der realen Welt verhindert wird….

Das vollständige Positionspapier findet sich auf der Seite der Foundation Metaverse Europe.