Gehirn, KI und Collective Mind: Intelligenz basiert, unabhängig vom Substrat, auf den gleichen kollektiven Prinzipien ?!

Kurzfassung: In den letzten Monaten erscheinen zunehmend Veröffentlichungen, die zeigen, dass unser Gehirn doch mehr Gemeinsamkeiten mit einer Künstlichen Intelligenz hat, als ursprünglich angenommen. Diese Gemeinsamkeiten liegen nicht auf der Substratebene sondern in der Verwendung grundlegender kollektiver Prinzipien, wie dem aus der Bewusstseinsforschung bekannten Global Workspace. Teilweise wurden diese Prinzipien schon in vergangenen Blog-Beiträgen für die Collective Mind Theorie nutzbar gemacht: Attention Mechanismus, Reinforcement Learning, Disruption, und Kausale Emergenz. Zwei neue Prinzipien, der sogenannte J-Space (d.i. KI Global Workspace) und das Superpositionsprinzip für mentale Konzepte erlauben die weitere mathematische Ausgestaltung des sozialen Diskursraumes und der Ziel-Hierarchie. Damit wird der Collective Mind zum sozialen Global Workspace!

Der Blog-Beitrag wurde mit Hilfe von Gemini Pro erstellt, das Bild mittels Gemini.

Im Laufe meines Lebens bin ich mit vielen Menschen zusammengekommen, die ein ‚zurückhaltendes‘ Verhältnis zur Mathematik oder Physik haben. Damit verbunden werden Aussagen getätigt, wie ‚Wir Menschen sind doch viel komplexer als das, was die Mathematik oder die Physik beschreibt.‘ oder ‚Die Anwendung einer mathematisch-naturwissenschaftlichen Denke ist reduktionistisch und kann dem ganzheitlichen Charakter des Lebens nicht gerecht werden.‘ Aus diesen Glaubenssätzen ergeben sich weitere Glaubenssätze, wie ‚Das Verhalten eines einzelnen Menschen oder seine sozialen Interaktionen entziehen sich einer Modellierung: Physiker können ‚einfache‘ Experimente machen, in den Sozialwissenschaften geht dies nicht!‘ – Solche Aussagen werden schnell als unsinnige entlarvet, wenn man an die milliardenschweren CERN Experimente denkt, denen Jahrzehnte der Planung und Umsetzung vorausgehen. Es gibt noch etwas, das den meisten Menschen verborgen ist, obwohl sie es oft mehrmals täglich benutzen: Die Social Media Plattformen basieren auf Algorithmen, die die menschliche Interaktion berechnen und steuern. – Und sie tun dies sehr erfolgreich! Tech-Milliardäre wie Thiel und Zuckerberg wurden mit der Berechenbarkeit und Steuerbarkeit der menschlichen Interaktionen zu Milliardären.

Die Glaubenssätze spiegeln oft den Kenntnisstand vergangener Jahrzehnte wieder, denn der Kenntnisstand außerhalb der Wissenschaft hinkt oft Jahrzehnte hinterher. Gleichzeitig macht sich bei vielen, getrieben durch die Erfolge in der KI, ein großes Unbehagen breit: Maschinen, die auf Mathematik beruhen, zeigen inzwischen Intelligenz, die man messen und erfahren kann. Ist unsere ‚menschliche Komplexität‘ vielleicht doch nicht so einzigartig: Die Aussage ‚Wir sind viel komplexer‘ verliert zunehmend für das Selbstwertgefühl vieler Menschen die Schutzfunktion.

Unlängst haben Wissenschaftler von Anthropic in der KI Claude Strukturen und Prozesse entdeckt, den sogenannten J-Space, die dem Konzept des sogenannten Global Workspace recht nahe kommen [1]. Die Theorie vom Global Workspace ist eine aktuell diskutierte Theorie des Bewusstseins. Der J-Space ist ein Vektorraum, der es der KI ermöglicht ‚Zwischengedanken‘ zu sammeln, zu analysieren und zu bewerten. Nicht alle ‚Zwischengedanken‘ führen zu einem KI Output.  Welche ‚Zwischengedanken‘ ganz oder teilweise durchgereicht werden, wird über die seit ca. 200 Jahren bekannten Jacobi Matrizen ermittelt, die u.a. in der mathematischen Theorie der Komplexität eine große Rolle spielen: Die Entwickler von Anthropic haben mit ihrem Willen zur Erkenntnis mathematische Strukturen in Modelle umgesetzt, die KI-Systeme erfolgreich durchleuchten: Glaubensätze, wie die oben geschilderten, waren glücklicher Weise keine Hindernisse. 

Der J-Space verhält sich innerhalb des künstlichen neuronalen Netzes genau so, wie es die Collective Mind Theory für komplexe soziale Gruppen oder Teams beschreibt. Die Parallelen in der Systemarchitektur sind beträchtlich:

  • Der Global Workspace als ‚Kollektiver Geist‘: In der Collective Mind Theorie (CMT) senden verschiedene Akteure (Individuen oder Subsysteme) ihre Zustände in einen gemeinsamen Diskursraum, um einen kohärenten Gruppenzustand zu formen. Der J-Space bewirkt in der KI exakt dasselbe: Informationen aus den unterschiedlichsten Schichten des Modells konvergieren in diesem zentralen Arbeitsraum. 

  • Attention-Mechanismen als Kommunikationsprotokoll: Um zu bestimmen, welche Signale überhaupt in diesen kollektiven Raum vordringen dürfen, wirken Attention-Mechanismen als Filter. Sie weisen den Signalen unterschiedliche Relevanzen zu – ähnlich wie in menschlichen Systemen Hierarchie, psychologische Metriken (u.a. Big Five) oder emotionale Resonanz den Informationsfluss einer Gruppe steuern.

  • Konsensfindung: Innerhalb des J-Space konkurrieren und synchronisieren sich die Konzepte. Sobald sich das System auf eine dominante Interpretation als Konsens eingeschwungen hat, erzwingt die Softmax-Funktion die Entscheidung. Der ‚KI Collective Mind‘ mündet in konkreten, messbaren  Output. Im sozialen Collective Mind geschieht was Ähnliches: Der Austausch von Aussagen führt in bestimmten Teams zu Aussagen, die von allen getragen werden. 

Mein Glaubenssatz ‚Es gibt nur eine Welt!‘, konkretisiere ich auf dieser Basis als These: Unabhängig vom gewählten Substrat  – Künstliche Neuronale KI Strukturen, biologische Neuronale Strukturen oder Collective Mind Team Strukturen – gelten gleiche grundlegende kollektive Prinzipien, die die Dynamik dieser Systeme bestimmen. Der J-Space als Global Workspace ist hierfür ein Beispiel: Die konkrete Implementierung mag unterschiedlich sein, jedoch bestimmten gleiche (mathematische) Konstrukte in allen drei Bereichen das Verhalten.

Die Mathematik als Brücke zwischen den verschiedenen Substraten zeigt sich auch in einer 2025 erstmals erschienen Veröffentlichung, die gerade in Nature veröffentlicht wurde [2]: 

Gleich zu Beginn wird in [2] festgestellt, dass in der menschlichen Kognition symbolisches Wissen (also unsere Konzepte von der Welt) aus einer verteilten Informationsverarbeitung (distributed processing) im Gehirn hervorgeht. Neuronale Netze – egal ob biologisch oder künstlich – codieren Informationen dezentral in verteilten Repräsentationen, bei denen erst das Aktivierungsmuster über viele Einheiten hinweg ein komplexes Konzept ergibt.

Das bedeutet konkret:

  • Abkehr vom reinen Auswendiglernen: Lange dachte man, KIs seien nur gigantische Statistik-Papageien, die Pixel-Wahrscheinlichkeiten oder Wort-Häufigkeiten auswendig lernen. Der Artikel zeigt jedoch, dass KIs (bedingt durch das Training) die echten, zugrunde liegenden Merkmale und Variablen unserer Welt als ‚latent variables‘ rekonstruieren.

  • Kollektive Informationsverarbeitung: Zum Beispiel sitzt das Konzept „Elefant“ in der KI nicht in einem einzelnen, isolierten „Elefanten-Neuron“. Es existiert in Superposition, d.h. als Addition verschiedener Bedeutungsvektoren im KI-Vektorraum. Das erinnert stark an Prinzipien der Collective Mind Theory: Einzelne, für sich genommen bedeutungslose Kommunikations-Einheiten formen durch strukturierte Aufmerksamkeitsmechanismen und Wechselwirkungen einen gemeinsamen, kohärenten Sinnzustand. Das Konzept entsteht erst durch die orchestrierte Gesamtdynamik des Kommunikations-Systems.

  • Die Bedeutung von ‚Verstehen‘: Die Autoren argumentieren, dass KI-Modelle tiefgreifende Repräsentationen der Welt aufbauen, anstatt nur Abkürzungen zur Lösung einer Aufgabe zu memorieren. Die KI formt also ein internes Weltmodell aus Konzepten, das den strukturellen Zusammenhängen der physikalischen Welt entspricht. Aus der Herleitung des Superpositionsprinzips ergibt sich zwingend, dass die Art wie wir Mensch mentale Repräsentationssysteme aufbauen und wie die KI dies tut, funktional identisch ist. – Ein sehr bemerkenswertes Resultat! Schon im Kontext des J-Space habe ich daraufhin gewiesen, dass im Diskursraum eines Teams etwas Ähnliches geschieht: Einzelne Kommunikations-Einheiten (Konzepte) werden zu neuen Konzepten ’superponiert‘.

In den letzten Jahren habe ich verschiedene mathematische Modell für die Beschreibung der Interaktion von Teams und für die Beschreibung von Kultur bzw. Kulturfeldern verwendet. Diese mathematischen Modelle entstammen vielfach aus der KI-Theorie oder der Physik. Die Modelle, die bisher den größten Erfolg in Form von Überprüfbarkeit zeigten, stammten aus der KI-Theorie, denn sie lassen sich erstaunlich gut an Gruppen- oder Teamdaten testen. So konnte ich zeigen, dass folgende Modelle den Verlauf einer TV -Diskussionsrunde sehr gut wiedergeben sowie diesen verstehen und prognostizieren lassen:

  • Der Attention Mechanismus der Transformer hat sich nicht nur in KI Systemen sondern inzwischen auch in der Physik als Modell für Interaktion bewährt. Auch in vorhergehenden Blog-Beiträgen konnte ich zeigen, dass der Attention Mechanismus die soziale Interaktion in Gruppen oder Teams sehr gut beschreibt.
  • Ein Reinforcement-Learning Agent, der ebenfalls auf der Basis von Transformern und damit des Attention Mechanismus arbeitet. Der RL-Agent erlernt die soziale Gruppeninteraktion indem er über einen Führungs-Reward für Stress- und Ermüdungsreduktion sowie die Ausbildung von Fokus und Motivation trainiert wird. Mit dem so Erlernten ist der RL-Agent in der Lage eine menschliche Führungskraft (Moderator, Teamcoach, Projektleiter) vorausschauend zu unterstützen.  
  • Kausale Emergenz, auf der Basis der Mutual Information als Kriterium für die Ausbildung einer Gruppen- bzw. Team-Makroebene, modelliert den Collective Mind. Die so modellierte kausale Emergenz hat eine hohe Modell-Verwandtschaft zur Integrated Information Theory des menschlichen Bewusstseins, die ich in vorhergehenden Blog-Beiträgen als Modell für den Collective Mind verwendet habe. Ich habe diese nicht weiter verfolgt, weil ich keinen Weg gefunden habe, sie für die Analyse von realen Gruppen- oder Teaminteraktion zu verwenden. 
  • Der Disruption-Score, als Maß für das Einbringen neuer Ideen: Der D-Score wird über eine Ähnlichkeitsmessung im Vektorraum der Kommunikationseinheiten (Turns) ermittelt. 

Ich möchte in weiteren Blog-Beiträgen die obigen Modelle durch das Modell des J-Space und der Vektor-Superposition für komplexe Konzepte verwenden.

  • Die Prinzipien des J-Space können verwendet werden, um den Diskursraum einer sozialen Interaktion zu durchleuchten
  • Mit Prinzipien der Vektor-Superposition kann ermittelt werden, ob sich in einem Diskursraum über der Zeit eine Ziel-Hierarchie aufbaut. Der Aufbau einer Ziel-Hierarchie über der Zeit wird in der Collective Mind Theorie als deutliches Zeichen der Ausbildung eines Collective Mind angesehen. 

Im Folgenden skizziere ich die beiden obigen Konzepte aus Sicht der CMT und weise auf grundlegende Prinzipien hin, die in den KI-Theorien verwendet werden:

Der Aufbau von Ziel-Hierarchien mittels Superposition

Die Entstehung von echter Synergie und gerichteter Performance in kollektiven Systemen (wie Teams oder Diskursgruppen) lässt sich nicht über starre Strukturen abbilden. Sie folgt stattdessen der topologischen Strukturbildung einer Zustandsmaschine, in der unverbundene Gedanken schrittweise zu einer geordneten Ziel-Hierarchie werden. Der mathematische Kern dieses Aufbaus ist die lineare Superposition von NLP-Embeddings.

1. Attraktorbildung und lokale Konvergenz

Ein Diskurs beginnt häufig mit hoher Entropie (einem semantischen „Random Walk“ ohne Richtungsableitung). Die erste konstruktive Disruption erzeugt im hochdimensionalen Raum einen neuen Anker-Vektor. Wenn andere Netzwerkteilnehmer diese Idee aufgreifen, wird dieser Vektor zu einem Gravitationszentrum (Attraktor). Die darauffolgenden Äußerungen weichen nicht mehr maximal ab, sondern kreisen eng um diesen Anker. Sie detaillieren die Idee, wodurch das System seine lokale Fehlerquote reduziert.

2. Polysemie und der Sprung in der Hierarchie

Der eigentliche Aufbau einer Ziel-Hierarchie – die synergetische Eskalation – geschieht, wenn eine neue Idee eingeführt wird, die auf der vorherigen aufbaut. In modernen KI-Architekturen entspricht dies exakt der polysemen Eigenschaft von Vektorräumen: Ein einzelner, dichter Satz-Vektor trägt mehrere Konzepte in sich, die linear überlagert sind.

Die neue Idee muss die alte Idee inkludieren und etwas Neues hinzufügen. Mathematisch ausgedrückt:

    \[V_{\text{neu}} = V_{\text{alt}} + V_{\text{orthogonal}}\]

Die Projektion des neuen Vektors auf den alten (V_{\text{alt}}) stellt sicher, dass der etablierte Kontext nicht zerstört wird (Inklusion). Gleichzeitig feuert der Vektor stark in eine neue, im rechten Winkel stehende Richtung (V_{\text{orthogonal}}). Er erschließt eine völlig neue Dimension im Bedeutungsspektrum.

3. Dynamische Entwirrung durch Attention

Der kollektive Verstand empfängt lediglich den überlagerten Vektor V_{\text{neu}}. Um Synergie zu messen, nutzt das System einen Attention-Mechanismus (analog zum Sparse Coding [2]). Dieser projiziert die Äußerung gegen den bisherigen Kontextraum, filtert die bekannte Information heraus und isoliert die orthogonale Komponente. Die Toleranzgrenze, ab wann eine orthogonale Abweichung als „neue hierarchische Stufe“ und nicht als bloßes Rauschen gewertet wird, erlernt das System dynamisch aus der Basis-Entropie des jeweiligen Raumes. Synergie ist somit der Zustand kausaler Emergenz, in dem das Kollektiv erfolgreich semantische Brücken (einen gerichteten Graphen) zwischen diesen orthogonal aufbauenden Dimensionen konstruiert.

Der J-Space und das kollektive Gedächtnis in der CMT

Innerhalb der Collective Mind Theory (CMT) fungiert der J-Space als der latente, virtuelle Diskursraum eines Systems. Er ist das strukturelle Äquivalent zum „Residual Stream“ in großen Sprachmodellen – der zentrale kognitive Puffer, in dem alle Akteure ihre Zwischenergebnisse parallel ablegen und auslesen, bevor das System in einen finalen Konsens (Kollaps / Dekohärenz) übergeht.

1. Kognitive Grenzen und erzwungene Dekohärenz

Der J-Space repräsentiert die kollektive kognitive Schwebe. Ideen (orthogonale Vektoren) werden durch Write-Operationen (Disruptionen) in den Raum gestellt und durch Read-Operationen (Detaillierungen) von anderen Teilnehmern fokussiert. Entsprechend der neurologischen Begrenzungen des Arbeitsgedächtnisses fasst dieser aktive Raum maximal 3 bis 4 voneinander unabhängige Konzepte gleichzeitig. Wird dieser Schwellenwert überschritten, ohne dass das System eine ordnende Ziel-Hierarchie bildet, entsteht ein kognitiver Overflow. Das System springt erratisch zwischen Knotenpunkten, und die Metrik für Fatigue (kognitive Ermüdung) steigt exponentiell an, bis ein Konsens erzwungen wird. Toxische Disruptionen (Wertekonflikte) hingegen sprengen nicht die Kapazität, sondern greifen die strukturelle Resonanz an, was zu sofortigen Informationslecks (L) führt.

2. Downward Causation im aktiven Raum

Der J-Space ist das Herzstück der Abwärtskausalität (Downward Causation). Sobald sich durch die Interaktion der Individuen (Upward) ein starker Attraktor im J-Space gebildet hat, beginnt dieser virtuelle Raum, das Verhalten der Individuen zu synchronisieren. Das Kollektiv formt eine kausal emergente Entität, die das System präziser steuert als die isolierten Ego-Zustände der einzelnen Akteure.

3. Das latente Gedächtnis: KV-Cache und Assoziation

Ideen, die bei einem Konsens nicht integriert oder aufgrund von Fatigue verdrängt werden, gehen nicht verloren. Sie fallen aus dem aktiven J-Space zurück in den passiven Hintergrundspeicher, den kollektiven KV-Cache (Key-Value Cache). Das Zurückholen dieser Ideen erfolgt nicht chronologisch, sondern rein assoziativ über einen Query-Key-Value-Mechanismus (QKV):

  • Query (Q): Die topologische Form des aktuellen Diskurses.

  • Key (K): Der Identifikationsvektor der historischen, passiven Idee.

  • Assoziation: Das System berechnet fortlaufend das Skalarprodukt (Q \cdot K).

Entsteht durch eine neue Situation plötzlich ein massiver semantischer Überlapp, feuert der Attention-Mechanismus. Der Value (V) der alten Idee wird in den aktiven J-Space zurückgezogen. Ein künstlicher Decay-Faktor (Verblassen über Zeit) wird hierbei minimal gehalten (analog zu Positional Encodings), da eine perfekte semantische Passung die verstrichene Zeit dominiert. Da der Cache vom gesamten Kollektiv geteilt wird, resoniert das Zurückholen der Idee augenblicklich bei allen Teilnehmern und ermöglicht die nahtlose Integration einer zuvor fehlenden orthogonalen Komponente in die aktuelle Ziel-Hierarchie.

In den nachfolgenden Blog-Beiträgen werde ich versuche diese Konzepte umzusetzen!

Literatur

[1] Anthropic (2026) Verbalizable Representations Form a Global Workspace in Language Models, https://transformer-circuits.pub/2026/workspace/index.html
[2] Klindt D et. al. (2025) From superposition to sparse codes: interpretable representations in neural networks, arXiv:2503.01824v1

AI & AM 4.0: Agent Based Modeling – Von Agenten Intelligenz und Kollektiver Intelligenz oder von ‚Intelligenz ist immer kollektiv‘?!

Das Thema Kollektive Intelligenz hat gerade Hochkonjunktur. Sei es in Form der mehrteiligen ZDF-Fernsehserie der Schwarm [1] und der damit verbundenen zweiteiligen Terra X Dokumentationen zur Intelligenz von Schwärmen [2], [3]. – Oder, auch in Form der AI Systeme chatGPT und des gerade veröffentlichten GPT-4 [4]. – Diese Systeme sind in zweierlei Hinsicht Systeme kollektiver Intelligenz: Die GPT-X Systeme und andere vergleichbare Systeme verwenden als Daten die Ergebnisse unserer aller Intelligenz und die Systeme selbst sind über die Neuronalen Netzwerke, auf denen sie beruhen, kollektive Systeme, die Intelligenz hervorbringen können, wenn sie mit unserer Intelligenz in Form von Daten gefüttert werden. – Dies ist gar nicht so unähnlich unserer kulturellen Entwicklung, die Produkte menschlicher Intelligenz hervorgebracht hat – nur eben viel, viel schneller!

Es ist absehbar, dass sich in Zukunft aus der Intelligenz von GPT-X eine Künstliche Allgemeine Intelligenz (Artificial General Intelligence, kurz AGI) entwickeln wird. Der CEO von openai betont in einem Blogbeitrag erst kürzlich hierzu die gesellschaftliche Verantwortung von openai [5] und im EU AI Act Newsletter wird, meines Erachtens zum ersten Mal, von der nahen Bedeutung von AGI im Kontext von GPT-X  Systemen gesprochen [6].   

In [2] und [3] wird eindrucksvoll geschildert, wie natürliche kollektive mobile Systeme, die aus ‚dummen‘ Agenten (u.a. Ameisen, Bienen, Fischen) bestehen, im Schwarm intelligentes Verhalten zeigen. Die vermeintlich ‚dummen‘ Agenten haben ihrerseits ein wenig Intelligenz auf der Basis von kleinen natürlichen neuronalen Netzwerken. – Die Natur ist also offensichtlich in der Lage mittels kollektiver Systeme (z.B. Ameisen Kollektiv) und von Subsystemen (z.B. Ameise als Agent) Intelligenz-Hierarchien aufzubauen.

Dies relativiert auch unseren Anspruch an intelligenter Einzigartigkeit: Kollektive Systeme, gleichgültig ob natürlich oder künstlich, haben das Potential, über eine geeignete Vernetzung, Intelligenz auszubilden.

Hieraus leite ich die These ab, dass Intelligenz immer kollektiv ist. Dies wird auch durch Ashby’s Law [7] gestützt, wonach ein komplexes System nur durch ein anderes komplexes System mit hinreichender Komplexität reguliert werden kann. Komplexität ist also eine Vorbedingung für Intelligenz. Deshalb sagen wir auch im Management 4.0, dass Komplexität ein Geschenk ist, das nicht reduziert werden sollte, sondern nur reguliert werden darf: Die Komplexität unseres Gehirns (und unseres gesamten Körpers) mit ca. 86 Milliarden vernetzter Neuronen ermöglicht es, dass wir uns adaptiv auf unsere Umgebung einstellen und diese ggf. regulieren. – Ich nehme an, dass niemand seiner Intelligenz, also seiner neuronalen Komplexität, beraubt werden möchte, indem diese reduziert wird.

In Konsequenz heißt dies auch, dass gut geführte soziale Organisationen, u.a. Teams, mit einer wertschaffenden Komplexität, kollektive Intelligenz zeigen, die über die Intelligenz der einzelnen Teammitglieder hinausgeht. Die einzige ! Aufgabe von Führung ist es, zu ermöglichen, dass sich diese kollektive Intelligenz ausbildet.    

Es ist vielleicht auch nicht abwegig, anzunehmen, dass Intelligenz eine Vorbedingung für Bewusstsein ist. – Und, dass Bewusstsein sich aus intelligenten kollektiven Systemen emergent entwickelt. Die Integrated Information Theory zum Bewusstsein zeigt erste Überlegungen in diese Richtung [8].

Im letzten Blog-Beitrag habe ich den Video-Vortrag des DeepMind Mitarbeiters Thore Graepel zum Thema ‚Multi-Agent Learning in Artificial Intelligence‘ erwähnt [9]. Thore Graepel referenziert dort am Anfang auf den Artikel von Legg und Hutter zum Thema ‚Universal Intelligence‘ [10]. Legg und Hutter geben einen Literatur-Überblick zum Verständnis von Intelligenz und definieren ihr Verständnis von Agent Intelligence:

Abbildung 1: Definition Universelle Intelligenz nach [10]

In [10] wird angenommen, dass die Wahrscheinlichkeit für Kontexte exponentiell (zur Basis 2) mit der Komplexität abnimmt. – Hier folgen Legg und Hutter auch dem Prinzip des Occam’schen Rasiermessers [11]: Die Natur bevorzugt Einfachheit und unsere Modelle zu Ihrer Beschreibung sollten dementsprechend auch einfach sein. – Einfache Kontexte werden also bei der Intelligenzberechnung höher gewichtet. Man kann auch jetzt verstehen, warum die melting pot Initiative von DeepMind von Bedeutung ist: Es werden möglichst viele Kontexte erstellt, um die allgemeine Intelligenz von Agenten über die obige Formel zu ermitteln.  

Legg und Hutter haben gezeigt, dass die obige Formel für Intelligenz alle bekannten Definitionen von Intelligenz subsummiert und auch auf den Intelligenzbegriff bei Menschen angewendet werden kann.- Auch wenn die konkrete Ausgestaltung von V und P in der obigen Formel für nachvollziehbare Kritik sorgt [12] und sich noch ändern dürfte. – Abbildung 2 visualisiert die Formel, in dem ich für das Mindset eines Agenten die Dilts Pyramide angenommen habe: Der Agent passt sich über die Zeit in einem PDCA-Zyklus mittels seiner Fähigkeiten und seines Verhaltens (auch policy genannt) an seine Umgebung an. Über die Funktion V wird die Performance des Agenten im Hinblick auf ein Ziel gemessen.- Der Agent erhält eine Belohnung. Die Performance des Agenten kann in zweierlei Hinsicht gemessen werden: Intern und extern. Das interne Performancemaß wird utility U genannt [13]. Agenten werden  rational genannt, wenn sie anstreben das interne Performancemaß mit dem externen in Einklang zu bringen. Einer der Kritikpunkte an [10] ist, dass (lediglich) das externe Performancemaß zur Intelligenzmessung herangezogen wird. 

    

Abbildung 2: Visualisierung der Formel zur Universellen Intelligenz nach [10]

Die Definition der Universellen Intelligenz ist sicherlich als Referenz für die Vermessung von Agenten Intelligenz sehr hilfreich. Ihre operative Ausgestaltung hat aber erst begonnen. – Und, sie ist rein phänomenlogisch, sie sagt also nichts über die Ingredienzien von Intelligenz aus, also welche Elemente wie zusammengebracht werden müssen, um intelligente Agenten bzw. Systeme zu bauen. Aus diesem Grunde versuche ich im Folgenden, einige mir wichtig erscheinende Elemente, in Form von Prinzipien, zu nennen. Ich lasse mich hierbei von der Transformer Technologie leiten, auf der die GPT-X Technologie beruht. Die aus meiner Sicht mit Abstand beste Darstellung zur Transformer-Technologie hat Ralph Krüger geschrieben – er macht keine verständnislosen Vereinfachungen, sondern beschreibt die Technologie didaktisch brillant [14]. Nicht desto weniger kann es manchmal beim Lesen helfen, die in Bing eingebundene chatGPT Bot Version als Assistenz zu benutzen ;-).

Neben [14] empfehle ich [15], eine dreiteilige sehr gute visuelle Aufbereitung des Matrizen-Flows (Tensorflows) in Transformern und für einen tieferen Blick in die Programmierung den Dreiteiler [16] sowie [17]. Als Einstieg kann der Spektrum der Wissenschaft Artikel von Manon Bischoff dienen [18]. Dieser Artikel enthält eine ganze Reihe interessanter Hinweise, u.a. auch die von mir im letzten Blog-Beitrag geäußerte Vermutung, dass chatGPT lediglich 1,5 Milliarden Parameter enthält, also mehr als 100 mal weniger als GPT-3. Manon spricht sogar von nur 1,3 Milliarden Parametern. Als Einstieg empfehle ich zusätzlich den Artikel über chatGPT [19].

Auf der Basis dieser Literatur liste ich im Folgenden die Prinzipien, die meines Erachtens das Was und das Wie der Intelligenz ausmachen:

Intelligenz ist immer kollektiv: Als Kollektiv bezeichne ich ein System von vernetzten Elementen (künstliche oder natürliche Neuronen, Ameisen, Menschen, usw.), das die Außenwelt per Transformation in eine Innenwelt abbildet. Die Transformation erfolgt im Falle der AI durch künstliche neuronale Netzwerken, die Tensor Operationen durchführen (bzw. Matrizenoperatione durchführen: Die Matrizenelemente sind die Gewichte zwischen den Neuronen). – Die Tensor Operationen sorgen also für die Abbildung. Damit diese Abbildung hinreichend viele Informationen der Außenwelt abbilden kann, benötigt sie viele Zustände, also viele Parameter, im Falle von GPT-3 175 Milliarden. Die Abbildung der Außenwelt über eine Parametrisierung in der Innenwelt, erfolgt über Selbstorganisations-Mechanismen, in denen eine Zielfunktion im AI-Training dafür sorgt, dass die niedrigsten energetischen Zustände in dem hochdimensionalen Parameterraum gefunden werden. – Diese repräsentieren nach dem Training die Daten der Außenwelt.

Ich habe die Bing AI gefragt, ‚Gibt es eine Zielfunktion für das Lernen im Gehirn‘. Bing AI wandelt dies in eine Frage nach ‚Zielfunktion Lernen Gehirn‘ um und generiert folgende Antwort:

Ja, das Gehirn hat eine Zielfunktion für das Lernen. Das Lernen ist im Grunde genommen eine Reaktion unseres Gehirns auf neue Erfahrungen. Wenn eine solche Erfahrung eine nachhaltige Änderung im Gehirn hervorruft, dann kann man von Lernen sprechen. Das Gehirn bereitet sich dadurch auf die Zukunft vor. Natürlich kann man sein Gehirn anregen und unterstützen, neue Dinge schneller zu lernen oder die synaptischen Verbindung zu bilden, die man möchte. Dazu brauchen wir nur unsere Aufmerksamkeit genau auf die zu lernenden Themen zu richten und sie entsprechend oft wiederholen.

Diese Definition der Zielfunktion entspricht nicht ganz meinem obigen Verständnis einer Zielfunktion: Außer, man versteht die neuronalen Mechanismen, die sich hinter der Aufmerksamkeit verbergen, als solche.

Die Außenwelt wird über Aufmerksamkeit kontextualisiert: Im Falle der Transformer-Technologie ist der Aufmerksamkeits-Mechanismus (Attention-Mechanismus) der Mechanismus, der die Leistungssteigerung gegenüber vorherigen AI Systemen wesentlich ausmacht. Hierzu werden die sprachlichen Inhalte der Außenwelt auf ihre semantischen Zusammenhänge hin analysiert: Alle Worte eines Satzes (eines Textes) werden herausgegriffen, also mit Aufmerksamkeit belegt, und es wird die Korrelation dieses herausgegriffenen Wortes zu allen anderen Worten in diesem Satz  (diesem Text) ermittelt. – Die Korrelationswahrscheinlichkeiten werden in speziellen neuronalen Netzwerken (Tensoren) trainiert. Für die Generierung von neuen Texten wird auf diese trainierten Korrelationswahrscheinlichkeiten zurückgegriffen.

Wahrscheinlichkeiten werden durch zusätzliche kollektive Maßnahmen auf verschiedenen Ebenen ausbalanciert: Die Ergebnisse, die ein Transformer nach außen liefert, sind die Ergebnisse mit der höchsten Wahrscheinlichkeit. Um die Verlässlichkeit der Wahrscheinlichkeiten zu erhöhen, werden die Wahrscheinlichkeiten pro Transformer Modul nicht nur einmal berechnet, sondern mehrmals parallel d.h. zum Beispiel mit 8 attention Mechanismen, dem sogenannten multi-head-attention. Zusätzlich werden im Falle von GPT-3 96 Transformer Module (Decoder) hintereinander geschaltet, um die Ergebnisse zu verfeinern und zu stabilisieren [18]. Der multi-head-attention Mechanismus zeigt damit die Wirkung eines Teams mit acht Teammitgliedern, in dem die potentiellen mentalen Verzerrungen der Teammitglieder ausbalanciert werden. Und, das Hintereinanderschalten der Transformer-Module lässt sich gut mit der iterativen Wirkung von 96-PDCA-Zyklen vergleichen.

… ggf. weitere Prinzipien

Ich glaube, dass Intelligenz nicht auf natürliche Systeme beschränkt ist, ja dass diese Einteilung in natürliche und künstliche Systeme künstlich ist: Intelligenz ist ein universelles Phänomen, das sich potentiell in allen Systemen ausdrücken kann, sobald hierfür die Voraussetzungen vorliegen…. Vielleicht sind die oben genannten Prinzipien tatsächlich (einige) der Voraussetzungen …Vielleicht wird die Filmreihe ‚Autobots – The Transformers‘ sogar einmal als (diesbezüglich) hellsehend bezeichnet werden [20]. 

 

[1] ZDF (2023a) Der Schwarm, https://www.zdf.de/serien/der-schwarm

[2] ZDF (2023b) Terra X – Schlaue Schwärme, Geheimnisvolle Sprachen, https://www.zdf.de/dokumentation/terra-x/schlaue-schwaerme-geheimnisvolle-sprachen-doku-102.html

[3] ZDF (2023c) Terra X – Schlaue Schwärme, Rätselhafte Kräfte, https://www.zdf.de/dokumentation/terra-x/schlaue-schwaerme-raetselhafte-kraefte-doku-100.html

[4] openai (2022) GPT-4, https://openai.com/product/gpt-4, zugegriffen am 20.03.2023

[5] Altman S (2023) Planning for AGI and beyond, https://openai.com/blog/planning-for-agi-and-beyond, zugegriffen am 15.03.2023

[6] The future of Life Institute (2023) The EU AI Act Newslettr #25 vom 01/03/23-14/03/23

[7] Wikipedia (2023) Ashby’s Law, https://de.wikipedia.org/wiki/Ashbysches_Gesetz, zugegriffen am 15.03.2023

[8] Wikipedia (2023a) IIT- Integrated Information Theory, https://en.wikipedia.org/wiki/Integrated_information_theory, zugegriffen am 15.03.2023

[9] Graepel T (2023) The role of Multi-Agent Learning in Artificial Intelligence Research at DeepMind, https://www.youtube.com/watch?v=CvL-KV3IBcM&t=619s, zugegriffen am 06.02.2023

[10] Legg S und Hutter M (2007) Universal Intelligence: A Definition of Machine Intelligence, arXiv:0712.3329v1

[11] Wikipedia (2023b) Occam’s razor, https://en.wikipedia.org/wiki/Occam%27s_razor, zugegriffen am 21.03.2023

[12] Park D (2023) Paper Summary: Universal Intelligence: A Definition of Machine Intelligence, https://crystal.uta.edu/~park/post/universal-intelligence/, zugegriffen am 06.03.2023

[13] Russel S und Norvig P (2016) Artificial Intelligence – A modern approach, Third Edition, Prentice Hall Series in Artificial Intelligence Series, Pearson Education Limited

[14] Krüger R (2021) Die Transformer-Architektur für Systeme zur neuronalen maschinellen Übersetzung – eine popularisierende Darstellung, in trans-kom 14 [2], Seite 278-324

[15] Doshi K (2022) Transformers Explained Visually: How it works, step-by-step published January 2, 2021, towardsdatascience.com, zugegriffen am 10.05.2022,  (Part 1, 2, 3, 4), https://towardsdatascience.com/transformers-explained-visually-part-1-overview-of-functionality-95a6dd460452, https://towardsdatascience.com/transformers-explained-visually-part-2-how-it-works-step-by-step-b49fa4a64f34, https://towardsdatascience.com/transformers-explained-visually-part-3-multi-head-attention-deep-dive-1c1ff1024853, https://towardsdatascience.com/transformers-explained-visually-not-just-how-but-why-they-work-so-well-d840bd61a9d3

[16] Gosthipaty A R und Raha R (2022) A Deep Dive into Transformers with Tensorflow and Keras, Part 1-3, PyImagesearch.com, published November 2022, zugegriffen am 06.12.2022, https://pyimagesearch.com/2022/09/05/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-1/, https://pyimagesearch.com/2022/09/26/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-2/, https://pyimagesearch.com/2022/11/07/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-3/

[17] Cristina S (2023) Training the Transformer Model, https://machinelearningmastery.com/training-the-transformer-model/, updated am 06.01.2023, zugegriffen am 20.03.2023

[18] Bischoff M (2023) Wie man einem Computer das Sprechen beibringt, https://www.spektrum.de/news/wie-funktionieren-sprachmodelle-wie-chatgpt/2115924, veröffentlicht am 09.03.2023, zugegriffen am 20.03.2023

[19] Ruby M (2023) How ChatGPT Works: The Model Behind the Bot, https://towardsdatascience.com/how-chatgpt-works-the-models-behind-the-bot-1ce5fca96286, veröffentlicht am 30.01.2023, zugegriffen am 20.03.2023

[20] Wikipedia(2023) Autobot, https://en.wikipedia.org/wiki/Autobot, zugegriffen am 20.03.2023