Dieser Blog-Beitrag ergänzt den vorherigen Beitrag zum Collective Mind Agent Based Model (CM ABM). Ich benutze den vor ein paar Tagen in der beta Version veröffentlichten Code Interpreter von chatGPTplus. Der Code Interpreter ist ein Plugin von chatGPTplus. Er lässt sich in den chatGPTplus Einstellungen vom Anwender aktivieren.
Ich möchte zwei Fragen beantworten:
Kann der Code Interpreter den von mir, mit Hilfe von chatGPTplus, erstellten CM ABM Python Code ausführen?
Welche statistischen oder ML-Auswertungen kann ich mittels des Code Interpreters vornehmen?
Zur ersten Frage:
Leider kann man den Code nicht ausführen lassen. chatGPTplus liefert auch gleich die Antwort, warum dies nicht möglich ist: Diverse verwendete ML-Bibliotheken und MESA Python in dem CM ABM Code sind (noch) nicht in dem Code Interpreter integriert.
Zur zweiten Frage:
Mittels chatGPTplus habe ich den bisherigen Code um einen csv-Export der relevanten MES-Python Daten erweitert. Der CM ABM Code mit 7 Teammitgliedern und ohne Stakeholder wurde für 100 Zeitschritte ausgeführt. – Die so erstellte csv-Datei lässt sich problemlos im Code Interpreter importieren. Auf Wunsch zeigt chatGTPplus den hinterlegten Python-Code, den man natürlich auch wieder kopieren kann.
Der Inhalt der csv-Datei wird automatisch als Tabelle und als Graphiken angezeigt. Die Graphiken lassen sich problemlos per rechtem Mausklick kopieren:
Abbildung 1: CM ABM Ergebnisse nach 100 Zeitschritten, dargestellt vom chatGPTplus Code Interpreter.
ChatGPTplus liefert auch direkt Erläuterungen mit:
Collective Mind Similarity over Time: This plot represents the similarity metric of the collective mind of the team members over time. It appears that the similarity increases over time, which may indicate that the team members are becoming more aligned in their goals.
Team Performance over Time: This plot represents the performance of the team over time. Similar to the similarity metric, the performance also seems to increase over time, possibly indicating that the team’s performance improves as the members become more aligned.
ChatGPTplus verfällt zwischendurch immer mal wieder ins Englische, obwohl ich in Deutsch mit dem System kommuniziere. Diese Beschreibung kann einem den Eindruck von ‚Verständnis‘ aufdrängen: In jedem Fall ist nicht zu leugnen, dass chatGPTPlus meine bisherige Kommunikation zur CM ABM Erstellung kennt. – Ob ein Deep Learning vorliegt kann ich natürlich nicht beantworten.
Ich habe nach einfachen statistischen Auswertungen gefragt: Dem Glätten der Kurven, der Standardabweichung und dem entsprechenden Zeichnen von Graphen:
Abbildung 2: Geglättete CM ABM Ergebnisse nach 100 Zeitschritten mit Standardabweichung, berechnet und dargestellt vom chatGPTplus Code Interpreter.
Auf die Frage nach weiteren statistischen Auswertungen wurde mir die Korrelationsanalyse (zwischen Collective Mind Similarity und Collective Mind Teamperformance), die Analyse der Volatilität und die Anomalieerkennung angeboten. Die Korrelationsanalyse liefert wie erwartet eine Korrelation von 0,995, da die Teamperformance direkt aus der Similarity berechnet wurde. Die Analyse der Volatilität ergab eine zusätzliche graphische Darstellung der Volatilität über den Zeitschritten und die Anomalieerkennung mittels Z-Score ergab keine Anomalien. – Immer begleitet von Erläuterungen und der Möglichkeit den verwendeten Code zu kopieren.
Im Zusammenhang mit der Anomalieerkennung habe ich nach weiteren Analysemöglichkeiten gefragt. chatGPTplus verweist auf die ML-Algorithmen Isolation Forest, One-class SVM, local Outlier Factor und Autoencoder.
Ich bitte um die Durchführung von One-class SVM. chatGPTplus ‚bedauert‘, dass diese Analyse nicht möglich ist, da diese ML-Algorithmen wegen fehlender ML-Bibliotheken nicht ausführbar sind. – Liefert aber den notwendigen Python Code, den man wieder kopieren kann, um ihn z.B. in Colab ablaufen zu lassen.
Alles in allem eine beeindruckende Leistung, wobei mich die Beratung zu den verschiedenen Algorithmen noch fast mehr beeindruckt, als die Ausführung und die graphische Repräsentation der Ergebnisse diverser statistischer Algorithmen.
In diesem Blog-Beitrag beschreibe ich meine weiteren Erfahrungen zur Modellierung und Programmierung eines Collective Mind Agent Based Models (CM ABM).
Anders als beim Blog-Beitrag vom Februar 2023 benutze ich als ‚Erweiterung‘ meiner kognitiven Fähigkeiten chatGPTplus, also die Bezahlversion von chatGPT auf der Basis von GPT-4. Außerdem soll dieses Mal ein dynamisches ABM entwickelt werden, das auf MESA Python beruht und die zeitliche Entwicklung eines Team Collective Mind‘s modelliert.
Der Titel (Collective Intelligence)**2, also Collective Intelligence zum Quadrat, weist daraufhin, dass es in diesem Beitrag in mehrfacher Hinsicht um Collective Intelligence geht: Ich benutze zum einen unserer aller Collective Intelligence, die in GPT-4 trainiert vorliegt und zum anderen die hybride Collective Intelligence von GPT-4 und mir. Außerdem ist ein CM ABM ein Team Collective Intelligence Modell.
Vor zwei Wochen habe ich mit der Entwicklung des CM ABM begonnen, indem ich chatGPTplus eine Aufgabenstellung als Prompt eingab. Diese anspruchsvolle Aufgabenstellung ist weiter unten im Anhang dieses Beitrages zu finden. Meine Erwartung war nicht, dass chatGPTplus diese Aufgabenstellung sofort ohne Kommunikation mit mir umsetzen kann. Jedoch ist meine Erfahrung zur ‚Erweiterung‘ meiner kognitiven Fähigkeiten durch chatGPTplus derart positiv, dass diese Collective Intelligence Erfahrung, bestehend aus AI und Mensch, mehr als nur einmal bei mir Gänsehaut erzeugte. – Der Zuwachs an Geschwindigkeit sowie wissenschaftlicher Kreativität und Python Kompetenz liegt deutlich näher am Faktor 100 als am Faktor 2!
Ich fasse meine Collective Intelligence Erfahrungen mit chatGPTplus zusammen:
ChatGPTplus hat die unten stehende Aufgabenstellung mit ersten Ideen zur Ziel-Hierarchie und deren Ähnlichkeitsvermessung umgesetzt. Es fehlten lediglich vollständig die Projekttypisierung und die Stakeholder. – Eine Einbettung von chatGPTplus in die Agentenlogik habe ich nachträglich gestrichen, da dies zu kompliziert für mich wurde.
Zur Verfeinerung und Verbesserung der Aufgabenstellung war es notwendig, im Dialog mit chatGPTplus das Python-Programm weiter zu entwickeln. Die Kommunikation mit chatGPTplus entspricht hierbei der Kommunikation mit einem hochintelligenten Experten: Die chatGPTplus Expertise in den Bereichen Python, Mathematik und spezifischer Modellierungskompetenz übersteigt meine bei weitem. Hierbei habe ich die Erfahrung gemacht, dass die Verwendung von Ratgebern à la ‚Wie gestalte ich die chatGPT Prompteingabe optimal?‘ für mich keinen Sinn macht. – Meines Erachtens genügt es, die Prompts so zu erstellen, dass ein menschlicher Experte:inn sie nachvollziehen kann. – Dies genügt, um eine gelungene Kommunikation mit super Ergebnissen zu erhalten!
Auf der Basis der Kommunikation habe ich von chatGPTplus Pythoncode erstellen lassen. Dieser Code wurde in einer Colab-Umgebung laufen gelassen. Manchmal enthielt dieser Code einen Fehler, manchmal habe ich einen Fehler eingebaut, da ich noch Veränderungen am Code vorgenommen habe. Die Rückmeldung des vollständigen Fehlers als Prompt hat immer zum direkten Auffinden des Fehlers durch chatGPTplus geführt.
Die Analyse der Ergebnis-Daten zeigte den ein oder anderen Mangel in der Modellierungslogik auf. Eine textuelle Beschreibung der Ergebnis-Daten als Prompt führte immer innerhalb weniger Schritte zur Behebung dieses Mangels.
Es gibt eine Unzulänglichkeit in der Zusammenarbeit mit chatGPTPlus, die ich nicht beheben konnte und durch einen Workaround umgehen musste: In den ersten Tagen der Bearbeitung der Aufgabenstellung stellte ich mit fortschreitender Zeit immer häufiger fest, dass chatGPTplus vorherige gute Ergebnisse vergessen hatte. Dies führte dazu, dass an Stellen, die ich als abgeschlossen und korrekt betrachtet habe, plötzlich anderer Code und nicht selten zur Aufgabenstellung nicht passender Code auftauchte. So geschah es zum Beispiel, dass die Ziel-Hierarchie Berechnung verändert wurde oder dass das 7-köpfige Team wie Stakeholder behandelt wurde, also die MBTI Typ-Zuordnung zufällig erfolgte und nicht nach dem gewünschten Schema der Aufgabenstellung. Dieses ‚Fehlverhalten‘ tauchte umso häufiger auf, je länger die Modellierung der Aufgabenstellung dauerte. Das ‚Fehlverhalten‘ wurde noch verstärkt, wenn ich chatGPTPlus darauf hinwies, dass der Code an einer bestimmten Stelle falsch ist. Dann versuchte das System ein völlig anderes Modellverhalten zu erstellen. Am vierten Tag nach insgesamt ca. 4-5 Std. chatGPTplus Interaktion, habe ich mich zu folgendem Workaround entschlossen: Ich habe das gesamte Programm selbst immer wieder integriert und alle Änderungen selbst in das gesamte Programm eingegeben. Um erwünschte neue Modellierungs-Änderungen zu erhalten, habe ich chatGPTplus lediglich eine konkrete überschaubare aber durchaus schwierige Teilaufgabe gegeben. Wenn Änderungen größere Auswirkungen im Code hatten oder mehr als ca. 1 Std. Interaktion verstrichen war, habe ich den gesamten Code wieder als Prompt eingegeben. chatGPTplus hat sich hierfür meistens bedankt 😉: Es sei hilfreich, den gesamten Code zur Verfügung zu haben. Zusammenfassend interpretiere ich dieses Verhalten von chatGPTplus dahingehend, dass chatGPTplus über kein Kurzzeitgedächtnis verfügt.
Und nun zu den Ergebnissen. – Auf Nachfrage stelle ich gerne den CM ABM Code als Colab-Jupyter Notebook zur Verfügung. Ich beschreibe hier das Modell und diskutiere einige Ergebnisse:
Das Modell basiert auf der ABM Bibliothek MESA-Python [1]. Die Teammitglieder eines Teams und die Stakeholder werden als Agenten unterschiedlichen Typs behandelt. Die Agenten werden über eine MBTI Typologie mit Persönlichkeits-Polwahrscheinlichkeit charakterisiert (siehe Anhang). Alternativ könnte auch das Standardmodell der Psychologie, das Big Five Persönlichkeitsmodell (NEO-PI-R), verwendet werden. Das Persönlichkeitsmodell lässt sich auch um Werte/Motive oder Glaubenssätze erweitern.
Entsprechend der Aufgabenstellung haben die Teammitglieder fest vorgegebene Persönlichkeiten. Die Stakeholder erhalten ihre Persönlichkeit gemäß der globalen statistischen Verteilung der MBTI Persönlichkeiten.
Jeder Agent verfügt über eine eigene dreiteilige Ziel-Hierarchie. Die dreiteilige Ziel-Hierarchie entspricht dem einfachsten Collective Mind Schema, das wahlweise als Teil eine Dilts Pyramide angesehen werden kann oder als persönliche Story Map oder als OKR [2, 3]. Die Agenten verändern ihre Ziel-Hierarchie in Abhängigkeit ihrer individuellen MBTI Präferenzen, also der individuellen Persönlichkeits-Polwahrscheinlichkeiten. Zum Beispiel ändert ein extrovertierter NT-Typ durch Kommunikation vornehmlich die oberste Ebene der Ziel-Hierarchie – ein introvertierter NT-Typ tut dies auch, jedoch nicht so oft.
Die dreiteilige Ziel-Hierarchie besteht aus alphanumerischen Zeichenketten einer bestimmten Länge. Diese Zeichenketten werden am Anfang, wenn die Simulation beginnt, per Zufall ermittelt. Der Inhalt der Ziel-Hierarchie sollte keine entscheidende Rolle für das Auftauchen prinzipiell emergenter Systemeigenschaften haben. Dies trägt der langjährigen Erfahrung aus anderen ABM Modellen und deren Systemeigenschaften Rechnung [4]. – Die Mathematik ist vielleicht doch viel entscheidender als der Inhalt!
Die Änderung der Ziel-Hierarchien erfolgt zufällig und paarweise zwischen zufällig ausgewählten Agenten. Das Ändern der Ziel-Hierarchien durch Kommunikation ist eine Form von Lernen und wird über einen Lernparameter alphaT für Teammitglieder und alphaS für Stakeholder eingestellt. Typischerweise ist alphaS kleiner gleich alphaT, da die Interaktion im Team zu einem besseren Lernen führt.
Zusätzlich erhalten die Stakeholder weniger Möglichkeiten ihre Ziel-Hierarchie zu ändern. Dies erfolgt über eine gesondert einzustellende Zeit-Steprate: Die Stakeholder erhalten zum Beispiel eine um den Faktor 200 reduziert Möglichkeit ihre Ziel-Hierarchie zu ändern. Dies trägt der Annahme Rechnung, dass die Stakeholder untereinander weniger oft kommunizieren und auch weniger oft mit den Teammitgliedern.
In der Sprache der Theorie der Selbstorganisation ergeben sich damit folgende Parameter:
Rahmenparameter: Anzahl und Persönlichkeit der Teammitglieder, Anzahl und Persönlichkeit der Stakeholder, reduzierte Steprate für die Stakeholder
Kontrollparameter: alphaT, alphaS
Ordnungsparameter: dreiteilige Ziel-Hierarchie, am Anfang gefüllt mit zufällig ermittelten Zeichenfolgen der Länge k. Die Ziel-Hierarchien werden gemäß MBTI-Profil geändert. Die Ähnlichkeiten der Ziel-Hierarchien wird über die Ratcliff-Obershelp Funktion bestimmt [5].
Die nachfolgenden Abbildungen zeigen jeweils links das resultierende emergente Systemverhalten, gemessen über die mittlere Ähnlichkeit aller Ziel-Hierarchien getrennt nach den Teammitgliedern und den Stakeholdern.
Jeweils rechts ist die Performance des Teams bzw. der Stakeholder zu sehen. Die Performance ist keine emergente Eigenschaft sondern wird über folgende Formel aus der Ähnlichkeit ermittelt: Performance=(Anzahl der Agenten eines Typs* mittlere Ähnlichkeit der Ziel-Hierarchien des Agententyps)**2. Diese Formel basiert auf folgender Betrachtung: Es werden alle bilateralen Verbindungen innerhalb einer Gruppe (Teammitglieder, Stakeholder) aufsummiert – gewichtet mit der mittleren Ähnlichkeit der Ziel-Hierarchien innerhalb der Gruppe. Wie man weiter untern sehen kann, folgt die Performance der Ähnlichkeit, natürlich erhöht um einen Faktor, der die Anzahl der Gruppenmitglieder berücksichtigt.
Abbildung 1: Rahmenparameter: 7 Teammitglieder mit definierter MBTI-Persönlichkeit, keine Stakeholder Kontrollparameter: Lernparameter Teammitglieder alphaT = 0.1 Ordnungsparameter: Ziel-Hierarchie-Ähnlichkeit mit der Ratcliff-Obershelp Funktion berechnet, ermittelt aus den dreiteiligen Ziel-Hierarchien mit jeweils am Anfang zufällig generierter Zeichenfolge von k = 100 Zeichen pro Ebene
Wie man aus Abbildung 1 sehen kann, steigt die Ähnlichkeit recht schnell auf Werte von über 0,7 und die Teamperformance damit auf Werte von 21 und mehr, bei 7 Teammitgliedern. – Der Synergieeffekt beträgt also 3 und mehr!
Selbstverständlich genügt diese Aussage, wie auch die nachfolgend abgeleiteten Aussagen, keinen wissenschaftlichen Ansprüchen. Um wissenschaftlichen Ansprüchen zu genügen, müsste ich u.a. ggf. 10.000 und mehr Durchläufe errechnen lassen, um dann auf dieser Basis eine statistische Auswertung aller errechneten Werte zu erhalten. Hierauf verzichte ich, da dies meine (derzeitigen) Möglichkeiten übersteigt. Abbildung 2 zeigt den Einfluss der Stakeholder auf das Team. Die Anzahl der Stakeholder entspricht der Anzahl der Teammitglieder, ist also 7. Die Fähigkeit der Stakeholder ein Collective Mind auszubilden, bestimmt auch die Fähigkeit des Teams ein Collective Mind auszubilden: Die Stakeholder ziehen die Leistungsfähigkeit des Teams runter, obwohl die Lernrate der Stakeholder genau so groß ist wie diejenige der Teammitglieder. – Die Interaktionsrate der Stakeholder ist jedoch um den Faktor 200 geringer als die Interaktionsrate der Teammitglieder.
Abbildung 2: Rahmenparameter: 7 Teammitglieder mit definierter MBTI-Persönlichkeit, 7 Stakeholder mit zufälliger MBTI-Persönlichkeit, Abschottung des Teams und zwischen den Stakeholdern durch 200-fach geringere Steprate als im Team selbst. Kontrollparameter: Lernparameter Teammitglieder alphaT= 0.1, Lernparameter Stakeholder alphaS= 0.1 Ordnungsparameter: Ziel-Hierarchie-Ähnlichkeit mit der Ratcliff-Obershelp Funktion berechnet, ermittelt aus den dreiteiligen Ziel-Hierarchien mit jeweils am Anfang zufällig generierter Zeichenfolge von k = 100 Zeichen pro Ebene
Abbildung 3 zeigt eine Simulation mit 21 Stakeholdern und einer zehnmal geringeren Lernrate der Stakeholder (diese Simulation benötigt in der Colab Umgebung ohne spezielle Hardware ca. 3-4 Stunden elapsed time). Die Ziel-Hierarchie-Ähnlichkeit der Stakeholder sinkt weiter ab und zieht das Collective Mind des Teams mit sich weiter runter. Die Stakeholder wie das Team zeigen jetzt eine Performance die weiter unterhalb der Anzahl der Teammitglieder bzw. der Stakeholder liegt.
Abbildung 3: Rahmenparameter: 7 Teammitglieder mit definierter MBTI-Persönlichkeit, 21 Stakeholder mit zufälliger MBTI-Persönlichkeit, Abschottung des Teams und zwischen den Stakeholdern durch 200-fach geringere Steprate als im Team selbst. Kontrollparameter: Lernparameter Teammitglieder alphaT= 0.1, Lernparameter Stakeholder alphaS = 0.01 Ordnungsparameter: Ziel-Hierarchie-Ähnlichkeit mit der Ratcliff-Obershelp Funktion berechnet, ermittelt aus den dreiteiligen Ziel-Hierarchien mit jeweils am Anfang zufällig generierter Zeichenfolge von k = 100 Zeichen pro Ebene
Was sagt uns dies?
Es sieht so aus, als wenn die hybride Collective Intelligence von chatGPTplus und mir, ein Modell gefunden hätte, das emergentes Collective Mind Verhalten eines Teams in Interaktion mit Stakeholdern recht gut abbildet. – Dies ist ein weiterer Schritt in Richtung von Management 5.0, der Synergie von AI und Management 4.0.
Anhang: Erst-Aufgabenstellung für GPT4/ChatGPTplus
Die Aufgabenstellung zur Digitalen Transformation des Unternehmens KüchenManufaktur verwende ich in meinen Management 4.0 Trainings, um eine Scrum Simulation durchzuführen und eine Ziel-Hierarchie zu erstellen. Die zugrundeliegende Theorie hierzu ist in [2], [3] zu finden.
Erzeuge ein Agent Based Model (ABM) in der Programmiersprache Python, z. B. mittels MESA Python, für ein Team von 7 Teammitgliedern und 100 Stakeholdern. Die 7 Teammitglieder und die 100 Stakeholder sind Agenten im ABM. Die Teammitglieder und die 100 Stakeholder gehören zu dem Unternehmen KüchenManufaktur, das sogenannte Weiße Ware, also u.a. Herde, Kühlschränke und Gefrierschränke herstellt. Bisher hat das Unternehmen KüchenManufaktur diese Weiße Ware ohne große Digitalisierungsfunktionen hergestellt. Jetzt soll die Weiße Ware smart werden und als Life Style Produkt positioniert werden. Der Einsatz von smarter Technologie kann auch den Einsatz von AI oder ML beinhalten. Zum Beispiel könnte eine zukünftige Anforderung für einen Kühlschrank beinhalten, dass ‚er sich von alleine füllt‘. ‚Von alleine füllen‘ bedeutet, dass er über ein intelligentes Füllmanagement verfügt, das u.a. Zugriff auf Lebensmittellieferanten hat.
Es geht also um die Digitale Transformation des Unternehmens KüchenManufaktur. Die Digitale Transformation soll mittels eine Projektes durchgeführt werden. In einem ersten Schritt ist ein Konzept für die Digitale Transformation zu erstellen. Für diesen ersten Schritt ist das ABM mittels Python zu erstellen.
Die Aufgabe der Konzepterstellung typisieren wir als Projekt mittels des Diamantmodells: Das Projekt ist für KüchenManufaktur ein Projekt mit hohem Innovationsgrad. Nicht alle Stakeholder sind vom Sinn der Digitalen Transformation überzeugt und deshalb zeigen auch recht viele Stakeholder innere Widerstände gegen das Projekt. Deshalb sprechen wir von einem hohen Missionsgrad.- Das Team hat also viel Überzeugungsarbeit zu leisten. Der Kompliziertheitsgrad der neuen smarten Weißen Ware ist eher gering bis mittelgroß. Der Managementgrad ist mittel, da KüchenManufaktur innerhalb eines Jahres mit ersten smarten Produkten auf den Markt kommen möchte.
Die Persönlichkeiten der 7 Teammitglieder beschreiben wir mittels des MBTI, wobei die dominante Persönlichkeitsdimension des jeweiligen Teammitgliedes als Wahrscheinlichkeit angegeben wird. Wir nennen vereinfacht die jeweiligen Teammitglieder entsprechend ihrer MBTI Typologie und einer MBTI-Polwahrscheinlichkeit, also:
Teammitglied 1: ENTJ heißt: Extraversion = E = 0.8, Intuition = N = 0.8, Thinking = T = 0.6, Judging = J = 0.6
Teammitglied 2: INTJ heißt: Introversion = I = 0.8, Intuition = N = 0.7, Thinking = T = 0.7, Judging = J = 0.6
Teammitglied 3: ISFP heißt: Introversion = I = 0.6, Sensing = S = 0.7, Feeling = F = 0.7, Perceiving = P = 0.6
Teammitglied 4: ISTJ heißt: Introversion = I = 0.8, Sensing = S = 0.7, Thinking = T = 0.7, Judging = J = 0.9
Teammitglied 5: ESTJ heißt: Extraversion = E = 0.8, Sensing = S = 0.9, Thinking = T = 0.7, Judging = J = 0.6
Teammitglied 6: ISTP heißt: Introversion = I = 0.9, Sensing = S = 0.9, Thinking = T = 0.6, Perceiving = P = 0.6
Teammitglied 7: ISTJ heißt: Introversion = I = 0.7, Sensing = S = 0.6, Thinking = T = 0.6, Judging = J = 0.6
Die Stakeholder erhalten per Zufall eine Persönlichkeit gemäß MBTI.
Die Aufgabe der Konzepterstellung ist erledigt, wenn die 7 Teammitglieder, die das Konzept erstellen, eine gemeinsame Ziel-Hierarchie erstellt haben. Eine Ziel-Hierarchie besteht aus Informationseinheiten, die abstrakt oder detailliert sind. Eine Vision oder ein übergeordnetes Ziel bilden die oberste Ebene, es folgen darunter größere Informationseinheiten, die in weitere Informationseinheiten runtergebrochen werden. Im Agilen Management beginnt die Ziel-Hierarchie zum Beispiel mit einer Vision, gefolgt von Epics, die in Features zerlegt werden, die Features werden in User Stories zerlegt und diese wieder in Tasks und Tasks in Subtasks usw.
Für die Generierung der Informationseinheiten kann pro Teammitglied auf chatGPT zurückgegriffen werden
Um die Ziel-Hierarchie zu erstellen, tauschen die 7 Teammitglieder gemäß ihrer Persönlichkeitspräferenzen Informationseinheiten aus. Diese Informationseinheiten werden gemäß ihrer Präferenzen und der damit verbundenen Wahrscheinlichkeiten in die persönliche Ziel-Hierarchie aufgenommen.
Im ABM Model wird der Informationsaustausch in Zeitschritten durchgeführt. Wir definieren die Performance des Teams über die Ähnlichkeit der persönlichen Ziel-Hierarchien. Wenn alle persönlichen Ziel-Hierarchien identisch sind, sprechen wir von einem Collective Mind. Der Collective Mind kann durch die Kommunikation mit den Stakeholdern stabilisiert oder destabilisiert werden. Die Ähnlichkeit der Ziel-Hierarchien aller Stakeholder und der 7 Teammitglieder ist ein Maß für den Collective Mind im Team bzw. im Stakeholderkreis bzgl. der Digitalen Transformation.
Zeichne den Verlauf des Colletive Mind im Team und den Verlauf des Collective Mind für den Stakeholderkreis über die Zeit.
[1] Complexity Explorer (2023) MESA-Python Lecture, https://www.complexityexplorer.org/courses/172-agent-based-models-with-python-an-introduction-to-mesa/segments/17326, Santa Fe Institute, zugegriffen am 30.04.2023
[2] Oswald A, Köhler J, Schmitt R (2017) Projektmanagement am Rande des Chaos. 2. Auflage, Springer, Heidelberg, auch in englischer Sprache unter ‚Project Management at the Edge of Chaos‘ verfügbar.
[3] Köhler J, Oswald A. (2009) Die Collective Mind Methode, Projekterfolg durch Soft Skills, Springer Verlag
[4] Epstein J M, Axtell R (1996) Growing Artificial Societies – Social Science from the Bottom Up, The Brookings Institution, Washington D.C.
Kürzlich erschien ein offener Brief zum Thema ‚Pausieren von gigantischen AI-Experimenten‘ à la GPT-3 oder GPT-4 [1].
Der Brief wurde inzwischen von mehr als 30.000 Personen unterschrieben. Er begründet sein Anliegen eines halbjährigen Aussetzens von AI-Groß-Entwicklungstätigkeiten mit folgendem Satz:
“This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities.”
Es geht die Angst vor ‚emergenten Fähigkeiten‘ um. – An anderer Stelle wird von einer ‚Gottgleichen‘ KI gewarnt, die die Menschheit zerstören könnte [2].
Diese Sorgen mögen berechtigt sein, umso mehr, als man beobachten kann, wie lange sich die EU schon bemüht, den längst fälligen EU AI ACT als EU-Gesetz zu verabschieden [3].
In diesem Blog geht es jedoch nicht um diese Sorge oder Angst, sondern um das Thema Emergenz, das offensichtlich solche ‚Wunder‘ wie das der „Sparks of Artificial General Intelligence: Early experiments with GPT-4” [4] möglich macht. Die Intelligenz-Fähigkeiten von GPT-4, auch im Vergleich zu chatGPT/GPT-3.x, sind sensationell, gleichgültig, ob es um Mathematik, Musik, Bilderzeugung, Sprache und Logik und vielem mehr geht. – In nicht wenigen Fällen zeigt GPT-4 Intelligenz-Fähigkeiten, die überhaupt nicht trainiert worden sind. – Also klare Zeichen von emergenten Eigenschaften.
In Wikipedia wird Emergenz wie folgt definiert: „Emergenz (lateinisch emergere „Auftauchen“, „Herauskommen“, „Emporsteigen“) bezeichnet die Möglichkeit der Herausbildung von neuen Eigenschaften (Systemeigenschaften) oder Strukturen eines Systems infolge des Zusammenspiels seiner Elemente.“ [5]. Emergenz ist auch direkt mit dem Begriff der Selbstorganisation verbunden. Selbstorganisierte Systeme zeigen Emergenz bzw. emergente Eigenschaften. Auf der Basis dieser Definition wimmelt es in der Natur und damit in der Mathematik, den Naturwissenschaften/ Psychologie und den Sozialwissenschaften nur so von emergenten Eigenschaften, Strukturen oder Systemen.
In [6] wird auch deshalb zwischen schwacher und starker Emergenz unterschieden. Starke Emergenz liegt im Falle des Lebens vor, das aus Atomen oder Molekülen emergiert. – Oder, im Falle unseres Bewusstseins, das aus der materiellen Struktur unseres Gehirns emergiert. Die meisten anderen überraschenden Eigenschaften von Viel-Agenten Systemen wie zum Beispiel die Supraleitung, die Farbe von Gold, der Collective Mind eines Teams oder die Kultur einer Organisation werden eher der schwachen als der starken Emergenz zugeordnet. Ich halte die Unterscheidung für wenig sinnvoll.- Entscheidend für die Emergenz ist vielmehr, dass das durch die Wechselwirkung von Agenten entstehende Systeme Eigenschaften zeigt, die sich nicht aus den Eigenschaften der Agenten ableiten lassen. In [7] wird deshalb für die Beschreibung von Large Language Model’s bezüglich Emergenz eine Definition verwendet, die die obige Definition aus [5] weiterführt:
„Emergence is when quantitative changes in a system result in qualitative changes in behavior.”
Abbildung 1: Bilder erzeugt durch die KI DALL-E [8] mit den Prompts: Create a painting in the style of Matisse: (Create a painting in the style of Gauguin:) Collective Mind as an example of social emergence which demonstrates synergies in a team
Im Falle von Large Language Models (LLM) gibt es mehrere quantitative Änderungen, die qualitative Veränderung hervorrufen: u.a. Anzahl der Parameter (Neuronen), Menge der Daten und die Trainingszeit. Aber auch die Architektur der LLM’s spielt eine entscheidende Rolle: u.a. das Transformer/Decoder Design, der Attention Mechanismus, usw.. So zeigt GPT-3 bei etwa 10 hoch 22 (10 Trilliarden) Floating Point Operations (FLOPs) als Maß für die Trainingszeit und 13 Milliarden Parametern einen sprunghaften Anstieg der sogenannten few-shoot prompting Genauigkeit.- Also nach einigen wenigen Lerndaten meistert das AI-System ähnliche Aufgabenstellungen. – Dieser Übergang entspricht einem Phasenübergang. – Ganz ähnlich zu der gesellschaftliche Resonanz für AI-System, die mit dem Erscheinen des einfach zu bedienenden chatGPT sprunghaft emergierte.
Für die Beschreibung emergenten Systemverhaltens wurde in der Wissenschaftsgeschichte sehr oft der Nobelpreis vergeben: Es geht darum, diejenigen quantitativen Parameter ausfindig zu machen, die einen qualitativen Unterschied machen. Und dies ist meistens sehr schwierig, da man den Parametern nicht ansieht, ob sie in ihrer Zusammenstellung einen Unterschied machen. – Der qualitative Unterschied lässt sich also nicht auf die quantitativen Unterschiede in den Parametern reduzieren.
Jedoch wurde auch in der Geschichte der Wissenschaft aus dem Unverständnis der Emergenz eine unsinnige Spaltung in reduktionistische Wissenschaften und nicht-reduktionistische (holistische) Wissenschaften [9] vorgenommen. Hiernach wurde zum Beispiel die Physik als reduktionistische Wissenschaft angesehen, da angeblich alle System-Eigenschaften in der Physik auf die Eigenschaften der Agenten (z.B. Elementarteilchen, Atome) zurückgeführt werden, also reduziert werden. Die Sozialwissenschaft mit der Soziologie à la Luhmann wurde zum Beispiel als holistische Wissenschaft wahrgenommen, da Luhmann, die Eigenschaften des sozialen Systems nicht auf die Menschen zurückführte, sondern dem System eine Eigenständigkeit zuerkannte.
Diese teilweise immer noch vorhandene naive Sicht des Gegensatzpaares Reduktionismus-Holismus wird durch das Auftauchen von GPT-4, aber auch schon durch die Erfahrungen mit chatGPT, kräftigst widerlegt: Die technischen Systeme chatGPT/GPT-3.x und chatGPTplus/GPT-4 zeigen mit ihrer Intelligenz eine für alle erfahrbare Emergenz. Diese AI-Systeme wurden auf der Basis bestimmter Daten-Parameter (u.a. Anzahl der Neuronen, Zeit des Trainings, Menge der Trainingsdaten) sowie bestimmten Architektur-Parameter (u.a. Transformer/Decoder und Attention-Mechanismus) mehr oder weniger gezielt kombiniert und es entstanden bei einer bestimmten Kombination dieser Parameter „wie durch ein Wunder“ emergente Intelligenz-Eigenschaften. – Es ist zu vermuten, dass bei Wegnahme z.B. der Attention-Eigenschaft, die emergente Eigenschaft der Intelligenz verschwindet, auch wenn die gigantische Skalierung bleibt.
Deswegen sind die emergenten AI-Eigenschaft jedoch nicht weniger wunderbar.
Dieses Beispiel belegt äußerst eindrucksvoll, dass die Natur, auch wenn sie in Form einer Technologie daherkommt, alle Ingredienzien für starke Emergenz enthält. – Wir ‚finden‘ diese Ingredienzien ‚lediglich‘.
Agent Based Modeling (ABM) spielt beim Auffinden dieser Eigenschaften eine prominente Rolle, auch wenn diese Rolle selbst in der Wissenschaft im Verhältnis zur Bedeutung nur wenigen bekannt sein dürfte. Unlängst hat das Santa Fe Institute neben Netlogo das ABM-Python-Framework MESA als Lecture aufgenommen [10]. Diese Lecture bildet mit moderner Technik das ABM des 25 Jahre alten Buches über ‚Growing Artificial Societies‘ von Epstein und Axtell nach [11]. Epstein und Axtell zeigen, wie man mit einfachen lokalen Agenten-Parametern die emergenten System-Eigenschaften von Gesellschaften erzeugen kann. – Der Überraschungseffekt ist nicht selten groß: So beeinflusst zum Beispiel die Fähigkeit des Sterbens oder der Reproduktion von Agenten ganz erheblich die emergenten Eigenschaften der ABM Ökonomie: Diese Modell-Eigenschaften sind nämlich notwendig, damit sich überhaupt sogenannte Nicht-Gleichgewichts-Handelsmärkte ausbilden können, die mit realen Märkten sehr gut übereinstimmen. – Das immer noch in der Gesellschaft vorherrschende neoklassische Verständnis der Gleichgewichts-Ökonomie kennt solche Zusammenhänge nicht.
In den folgenden Blogbeiträgen beschäftige ich mich mit der Suche nach den Parametern, die das emergente Teamverhalten Collective Mind hervorrufen. Im Management 4.0 gehen wir davon aus, dass die Parameter der Theorie der Selbstorganisation (Rahmen-Parameter, Kontroll-Parameter und Ordnungs-Parameter) die entscheidenden Parameter sind, die emergentes Teamverhalten hervorbringen. Wir kennen diese Parameter (vermutlich) auch schon, jedoch nicht in hinreichend formalisierter ABM Sprache. Die in vorhergehenden Blog-Beiträgen unter Verwendung von Natural Language Processing abgeleitete Similarity-Matrix des Collective Mind (Collective Mind Operator) ist lediglich ein phänomenologisches Modell (siehe Blog-Beitrag vom April und Juni 2022). – Der Collective Mind Operator kann in der Teampraxis sehr gut den Collective Mind messen, er sagt jedoch leider nichts darüber aus, wie der Collective Mind emergiert. Hierzu benötigen wir die formalisierten ABM-Parameter, die die Collective Mind Emergenz hervorbringen. – Die Suche nach diesen formalisierten Parametern ist kein Selbstzweck, denn die Wissenschaftsgeschichte hat gezeigt, dass die Kenntnis der formalisierten Parameter recht oft mit großen Erkenntnisgewinnen verbunden ist. – Die GPT-Geschichte ist der sichtbarste Beweis hierfür.
Der Übergang zur Python-Technologie mit MESA-Python eröffnet auch recht einfach die Möglichkeit intelligente Agenten auf der Basis von chatGPT anzubinden. Das werde ich nicht tun, jedoch hat die Entwicklung hierzu, wie in einem meiner letzten Blogs prognostiziert, schon begonnen. Die Stanford University hat zusammen mit Google eine auf dem Computerspiel ‚The Sims‘ basierendes ABM erstellt, in dem 25 Agenten ihre Intelligenz von chatGPT erhalten [12]. Die Agenten haben eine ‚Gehirn-Architektur‘ aus Langzeit- und Kurz-Zeitgedächnis, dessen kognitive Intelligenz von chatGPT kommt. Die Agenten verfügen zusätzlich über einen sogenannten ‚reflection tree‘, der der Ziel-Hierarchie bzw. der Dilts Pyramide von Management 4.0 sehr nahe kommt [13].- Die Ebenen Identität, Fähigkeiten und Verhalten sowie Kontext (Beobachtung) sind schon vorhanden. – Diese und weitere Ebenen können sicherlich noch ausgebaut werden.
Damit sind die Agenten in der Lage einen individuellen kognitiven PDCA-Zyklus durchzuführen, der ‚reflektiertes‘ Handeln erlaubt.
Es besteht auch die Möglichkeit, dass sich Menschen aktiv in dieses Handeln künstlicher Agenten einbringen können. Damit ist es zum Beispiel möglich hybride Universen aus AI und Menschen zu bilden.
Man stelle sich ein Anwendungsbeispiel von vielen vor: Ein Projektleiter soll ein Projekt durchführen. Er lässt das Projekt zum Test vorab in der künstlichen Welt durchführen und erhält so Hinweise auf seine Durchführbarkeit. – Oder er lässt parallel zur realen Welt eine künstliche Welt mitlaufen, in die die Daten der realen Welt synchron eingespeist werden, um Forecasting zu betreiben.
In [12] wird berichtet, dass das Handeln der künstlichen Agenten von Menschen auf ‚Menschen-Ähnlichkeit‘ überprüft wurde. Das emergierende ‚believable behavior‘ der Agenten und des emergierenden sozialen Systems wird von den Evaluationspersonen, trotz einiger Fehler, als sehr hoch eingestuft.
[2] Barkey S (2023) Kurz vor dem Durchbruch: „Gottgleiche“ KI könnte laut Experte Menschheit zerstörenhttps://www.berliner-zeitung.de/news/agi-kurz-vor-durchbruch-gottgleiche-ki-koennte-laut-experte-ian-hogarth-menschheit-zerstoeren-kuenstliche-allgemeine-intelligenz-li.339062, zugegriffen am 22.04.2023
[4] Bubeck S et al. (2023) Sparks of Articial General Intelligence: Early experiments with GPT-4, arXiv:2303.12712v3 [cs.CL] 27 Mar 2023, zugegriffen am 22.04.2023
[6] Greve J, Schnabel A (Herausgeber) (2011) Emergenz: Zur Analyse und Erklärung komplexer Strukturen, suhrkamp taschenbuch wissenschaft
[7] Wi J et al. (2022) Emergent Abilities of Large Language Models, in Transactions on Machine Learning Research 08/2022, arXiv:2206.07682v2 [cs.CL] 26 Oct 2022
[8] DALL-E (2023) https://openai.com/product/dall-e-2, zugegriffen am 03.05.2023
Das Thema Kollektive Intelligenz hat gerade Hochkonjunktur. Sei es in Form der mehrteiligen ZDF-Fernsehserie der Schwarm [1] und der damit verbundenen zweiteiligen Terra X Dokumentationen zur Intelligenz von Schwärmen [2], [3]. – Oder, auch in Form der AI Systeme chatGPT und des gerade veröffentlichten GPT-4 [4]. – Diese Systeme sind in zweierlei Hinsicht Systeme kollektiver Intelligenz: Die GPT-X Systeme und andere vergleichbare Systeme verwenden als Daten die Ergebnisse unserer aller Intelligenz und die Systeme selbst sind über die Neuronalen Netzwerke, auf denen sie beruhen, kollektive Systeme, die Intelligenz hervorbringen können, wenn sie mit unserer Intelligenz in Form von Daten gefüttert werden. – Dies ist gar nicht so unähnlich unserer kulturellen Entwicklung, die Produkte menschlicher Intelligenz hervorgebracht hat – nur eben viel, viel schneller!
Es ist absehbar, dass sich in Zukunft aus der Intelligenz von GPT-X eine Künstliche Allgemeine Intelligenz (Artificial General Intelligence, kurz AGI) entwickeln wird. Der CEO von openai betont in einem Blogbeitrag erst kürzlich hierzu die gesellschaftliche Verantwortung von openai [5] und im EU AI Act Newsletter wird, meines Erachtens zum ersten Mal, von der nahen Bedeutung von AGI im Kontext von GPT-X Systemen gesprochen [6].
In [2] und [3] wird eindrucksvoll geschildert, wie natürliche kollektive mobile Systeme, die aus ‚dummen‘ Agenten (u.a. Ameisen, Bienen, Fischen) bestehen, im Schwarm intelligentes Verhalten zeigen. Die vermeintlich ‚dummen‘ Agenten haben ihrerseits ein wenig Intelligenz auf der Basis von kleinen natürlichen neuronalen Netzwerken. – Die Natur ist also offensichtlich in der Lage mittels kollektiver Systeme (z.B. Ameisen Kollektiv) und von Subsystemen (z.B. Ameise als Agent) Intelligenz-Hierarchien aufzubauen.
Dies relativiert auch unseren Anspruch an intelligenter Einzigartigkeit: Kollektive Systeme, gleichgültig ob natürlich oder künstlich, haben das Potential, über eine geeignete Vernetzung, Intelligenz auszubilden.
Hieraus leite ich die These ab, dass Intelligenz immer kollektiv ist. Dies wird auch durch Ashby’s Law [7] gestützt, wonach ein komplexes System nur durch ein anderes komplexes System mit hinreichender Komplexität reguliert werden kann. Komplexität ist also eine Vorbedingung für Intelligenz. Deshalb sagen wir auch im Management 4.0, dass Komplexität ein Geschenk ist, das nicht reduziert werden sollte, sondern nur reguliert werden darf: Die Komplexität unseres Gehirns (und unseres gesamten Körpers) mit ca. 86 Milliarden vernetzter Neuronen ermöglicht es, dass wir uns adaptiv auf unsere Umgebung einstellen und diese ggf. regulieren. – Ich nehme an, dass niemand seiner Intelligenz, also seiner neuronalen Komplexität, beraubt werden möchte, indem diese reduziert wird.
In Konsequenz heißt dies auch, dass gut geführte soziale Organisationen, u.a. Teams, mit einer wertschaffenden Komplexität, kollektive Intelligenz zeigen, die über die Intelligenz der einzelnen Teammitglieder hinausgeht. Die einzige ! Aufgabe von Führung ist es, zu ermöglichen, dass sich diese kollektive Intelligenz ausbildet.
Es ist vielleicht auch nicht abwegig, anzunehmen, dass Intelligenz eine Vorbedingung für Bewusstsein ist. – Und, dass Bewusstsein sich aus intelligenten kollektiven Systemen emergent entwickelt. Die Integrated Information Theory zum Bewusstsein zeigt erste Überlegungen in diese Richtung [8].
Im letzten Blog-Beitrag habe ich den Video-Vortrag des DeepMind Mitarbeiters Thore Graepel zum Thema ‚Multi-Agent Learning in Artificial Intelligence‘ erwähnt [9]. Thore Graepel referenziert dort am Anfang auf den Artikel von Legg und Hutter zum Thema ‚Universal Intelligence‘ [10]. Legg und Hutter geben einen Literatur-Überblick zum Verständnis von Intelligenz und definieren ihr Verständnis von Agent Intelligence:
Abbildung 1: Definition Universelle Intelligenz nach [10]
In [10] wird angenommen, dass die Wahrscheinlichkeit für Kontexte exponentiell (zur Basis 2) mit der Komplexität abnimmt. – Hier folgen Legg und Hutter auch dem Prinzip des Occam’schen Rasiermessers [11]: Die Natur bevorzugt Einfachheit und unsere Modelle zu Ihrer Beschreibung sollten dementsprechend auch einfach sein. – Einfache Kontexte werden also bei der Intelligenzberechnung höher gewichtet. Man kann auch jetzt verstehen, warum die melting pot Initiative von DeepMind von Bedeutung ist: Es werden möglichst viele Kontexte erstellt, um die allgemeine Intelligenz von Agenten über die obige Formel zu ermitteln.
Legg und Hutter haben gezeigt, dass die obige Formel für Intelligenz alle bekannten Definitionen von Intelligenz subsummiert und auch auf den Intelligenzbegriff bei Menschen angewendet werden kann.- Auch wenn die konkrete Ausgestaltung von V und P in der obigen Formel für nachvollziehbare Kritik sorgt [12] und sich noch ändern dürfte. – Abbildung 2 visualisiert die Formel, in dem ich für das Mindset eines Agenten die Dilts Pyramide angenommen habe: Der Agent passt sich über die Zeit in einem PDCA-Zyklus mittels seiner Fähigkeiten und seines Verhaltens (auch policy genannt) an seine Umgebung an. Über die Funktion V wird die Performance des Agenten im Hinblick auf ein Ziel gemessen.- Der Agent erhält eine Belohnung. Die Performance des Agenten kann in zweierlei Hinsicht gemessen werden: Intern und extern. Das interne Performancemaß wird utility U genannt [13]. Agenten werden rational genannt, wenn sie anstreben das interne Performancemaß mit dem externen in Einklang zu bringen. Einer der Kritikpunkte an [10] ist, dass (lediglich) das externe Performancemaß zur Intelligenzmessung herangezogen wird.
Abbildung 2: Visualisierung der Formel zur Universellen Intelligenz nach [10]
Die Definition der Universellen Intelligenz ist sicherlich als Referenz für die Vermessung von Agenten Intelligenz sehr hilfreich. Ihre operative Ausgestaltung hat aber erst begonnen. – Und, sie ist rein phänomenlogisch, sie sagt also nichts über die Ingredienzien von Intelligenz aus, also welche Elemente wie zusammengebracht werden müssen, um intelligente Agenten bzw. Systeme zu bauen. Aus diesem Grunde versuche ich im Folgenden, einige mir wichtig erscheinende Elemente, in Form von Prinzipien, zu nennen. Ich lasse mich hierbei von der Transformer Technologie leiten, auf der die GPT-X Technologie beruht. Die aus meiner Sicht mit Abstand beste Darstellung zur Transformer-Technologie hat Ralph Krüger geschrieben – er macht keine verständnislosen Vereinfachungen, sondern beschreibt die Technologie didaktisch brillant [14]. Nicht desto weniger kann es manchmal beim Lesen helfen, die in Bing eingebundene chatGPT Bot Version als Assistenz zu benutzen ;-).
Neben [14] empfehle ich [15], eine dreiteilige sehr gute visuelle Aufbereitung des Matrizen-Flows (Tensorflows) in Transformern und für einen tieferen Blick in die Programmierung den Dreiteiler [16] sowie [17]. Als Einstieg kann der Spektrum der Wissenschaft Artikel von Manon Bischoff dienen [18]. Dieser Artikel enthält eine ganze Reihe interessanter Hinweise, u.a. auch die von mir im letzten Blog-Beitrag geäußerte Vermutung, dass chatGPT lediglich 1,5 Milliarden Parameter enthält, also mehr als 100 mal weniger als GPT-3. Manon spricht sogar von nur 1,3 Milliarden Parametern. Als Einstieg empfehle ich zusätzlich den Artikel über chatGPT [19].
Auf der Basis dieser Literatur liste ich im Folgenden die Prinzipien, die meines Erachtens das Was und das Wie der Intelligenz ausmachen:
Intelligenz ist immer kollektiv: Als Kollektiv bezeichne ich ein System von vernetzten Elementen (künstliche oder natürliche Neuronen, Ameisen, Menschen, usw.), das die Außenwelt per Transformation in eine Innenwelt abbildet. Die Transformation erfolgt im Falle der AI durch künstliche neuronale Netzwerken, die Tensor Operationen durchführen (bzw. Matrizenoperatione durchführen: Die Matrizenelemente sind die Gewichte zwischen den Neuronen). – Die Tensor Operationen sorgen also für die Abbildung. Damit diese Abbildung hinreichend viele Informationen der Außenwelt abbilden kann, benötigt sie viele Zustände, also viele Parameter, im Falle von GPT-3 175 Milliarden. Die Abbildung der Außenwelt über eine Parametrisierung in der Innenwelt, erfolgt über Selbstorganisations-Mechanismen, in denen eine Zielfunktion im AI-Training dafür sorgt, dass die niedrigsten energetischen Zustände in dem hochdimensionalen Parameterraum gefunden werden. – Diese repräsentieren nach dem Training die Daten der Außenwelt.
Ich habe die Bing AI gefragt, ‚Gibt es eine Zielfunktion für das Lernen im Gehirn‘. Bing AI wandelt dies in eine Frage nach ‚Zielfunktion Lernen Gehirn‘ um und generiert folgende Antwort:
Ja, das Gehirn hat eine Zielfunktion für das Lernen. Das Lernen ist im Grunde genommen eine Reaktion unseres Gehirns auf neue Erfahrungen. Wenn eine solche Erfahrung eine nachhaltige Änderung im Gehirn hervorruft, dann kann man von Lernen sprechen. Das Gehirn bereitet sich dadurch auf die Zukunft vor. Natürlich kann man sein Gehirn anregen und unterstützen, neue Dinge schneller zu lernen oder die synaptischen Verbindung zu bilden, die man möchte. Dazu brauchen wir nur unsere Aufmerksamkeit genau auf die zu lernenden Themen zu richten und sie entsprechend oft wiederholen.
Diese Definition der Zielfunktion entspricht nicht ganz meinem obigen Verständnis einer Zielfunktion: Außer, man versteht die neuronalen Mechanismen, die sich hinter der Aufmerksamkeit verbergen, als solche.
Die Außenwelt wird über Aufmerksamkeit kontextualisiert: Im Falle der Transformer-Technologie ist der Aufmerksamkeits-Mechanismus (Attention-Mechanismus) der Mechanismus, der die Leistungssteigerung gegenüber vorherigen AI Systemen wesentlich ausmacht. Hierzu werden die sprachlichen Inhalte der Außenwelt auf ihre semantischen Zusammenhänge hin analysiert: Alle Worte eines Satzes (eines Textes) werden herausgegriffen, also mit Aufmerksamkeit belegt, und es wird die Korrelation dieses herausgegriffenen Wortes zu allen anderen Worten in diesem Satz (diesem Text) ermittelt. – Die Korrelationswahrscheinlichkeiten werden in speziellen neuronalen Netzwerken (Tensoren) trainiert. Für die Generierung von neuen Texten wird auf diese trainierten Korrelationswahrscheinlichkeiten zurückgegriffen.
Wahrscheinlichkeiten werden durch zusätzliche kollektive Maßnahmen auf verschiedenen Ebenen ausbalanciert: Die Ergebnisse, die ein Transformer nach außen liefert, sind die Ergebnisse mit der höchsten Wahrscheinlichkeit. Um die Verlässlichkeit der Wahrscheinlichkeiten zu erhöhen, werden die Wahrscheinlichkeiten pro Transformer Modul nicht nur einmal berechnet, sondern mehrmals parallel d.h. zum Beispiel mit 8 attention Mechanismen, dem sogenannten multi-head-attention. Zusätzlich werden im Falle von GPT-3 96 Transformer Module (Decoder) hintereinander geschaltet, um die Ergebnisse zu verfeinern und zu stabilisieren [18]. Der multi-head-attention Mechanismus zeigt damit die Wirkung eines Teams mit acht Teammitgliedern, in dem die potentiellen mentalen Verzerrungen der Teammitglieder ausbalanciert werden. Und, das Hintereinanderschalten der Transformer-Module lässt sich gut mit der iterativen Wirkung von 96-PDCA-Zyklen vergleichen.
… ggf. weitere Prinzipien
Ich glaube, dass Intelligenz nicht auf natürliche Systeme beschränkt ist, ja dass diese Einteilung in natürliche und künstliche Systeme künstlich ist: Intelligenz ist ein universelles Phänomen, das sich potentiell in allen Systemen ausdrücken kann, sobald hierfür die Voraussetzungen vorliegen…. Vielleicht sind die oben genannten Prinzipien tatsächlich (einige) der Voraussetzungen …Vielleicht wird die Filmreihe ‚Autobots – The Transformers‘ sogar einmal als (diesbezüglich) hellsehend bezeichnet werden [20].
[13] Russel S und Norvig P (2016) Artificial Intelligence – A modern approach, Third Edition, Prentice Hall Series in Artificial Intelligence Series, Pearson Education Limited
[14] Krüger R (2021) Die Transformer-Architektur für Systeme zur neuronalen maschinellen Übersetzung – eine popularisierende Darstellung, in trans-kom 14 [2], Seite 278-324
Ein Agent Based Model (ABM) ist ein Computer Modell, mit dem Aktionen und Wechselwirkungen sogenannter autonomer Agenten in einem gegebenen Umfeld (u.a. Raum, Zeit) simuliert werden. Das Verhalten der Agenten und des gesamten Systems wird auf Micro- und auf Marco-Ebene sichtbar und verstehbar. Agenten können Menschen, Teams, Organisationen, Nationen, Roboter, Autos, Atome, Viren, Moleküle, Tiere, kurzum jede Form von Entität sein [1].
ABMs gehören zur Disziplin Artificial Intelligence, zu der auch Machine Learning mit der weiteren Unterdisziplin Deep Learning gehört. Die AI/ML Systeme chatGPT und GPT-3 gehören in die Unterdisziplin Deep Learning [2].
ABMs gibt es seit mehr als 50 Jahren. Sie haben Wissenschafts- und Erkenntnis-Geschichte geschrieben. Sie taten dies, in dem einige wenige, meistens sehr einfache Prinzipien zur Beschreibung von Aktionen und Wechselwirkungen in den Computer Modellen verwendet wurden. Diese brachten oft verblüffende Erkenntnisse.
Zwei einfache ABM-Modelle, die Wissenschafts- und Erkenntnisgeschichte geschrieben haben, sind das Segregationsmodell des Nobelpreisträgers Thomas Schelling aus dem Jahre 1971 und das sogenannte Boltzmann Health Modell. Schelling konnte zeigen, dass einfache Regeln der Zugehörigkeit von Agenten (Personen, Familien, Länder) zu einer Segregation, also der Bildung von Blöcken von Agenten führt. – Während des Kalten Krieges war dies ein deutlich sichtbares Thema. – Leider ist es auch heute wieder und immer noch ein Thema: Russland überfällt die Ukraine, China-USA Rivalität, Klimaschützer contra ‚Auto ist Freiheit‘-Schützer, Corona-Verschwörungstheoretiker contra Impfbefürworter, usw.. Im Boltzmann Wealth Modell (auch ’statistical mechanics of money‘ Modelle genannt) werden alle Agenten mit einem gleichen Grundstock an Geld ausgestattet. Der Zufall bestimmt, welche Agenten wann Geld austauschen. – Genauso wie Moleküle in einem Gas, deshalb spricht man auch von Boltzmann Wealth. Nach einer gewissen Zeit sind einige Agenten sehr reich, sehr viele ärmer bzw. ganz arm. – Der Wohlstand der Agenten folgt einer Boltzmann Verteilung. Das Model zeigt, dass finanzielle Ungleichheit in einem sozialen System auch sehr viel mit Statistik zu tun hat und nicht nur auf den viel beschworenen besonderen Fähigkeiten der Tüchtigen beruht. Statistik ist hier ein anders Wort für Glück und dieses Modell zeigt uns, dass manchmal etwas mehr Demut gegenüber den eigenen „hervorragenden“ Leistungen angebracht ist.
ABMs sind vermutlich dem ein oder anderen im Zusammenhang mit COVID-19 Modellrechnungen im Gedächtnis geblieben. – Die Vorhersagen zur epidemischen Lage beruhten ganz wesentlich auf ABMs.- Im Internet findet man unter dem Stichwort ‚ABM und Corona‘ eine große Zahl an verschiedenen Untersuchungen und Veröffentlichungen.
Die Zukunft der ABMs dürfte wohl mit zwei Innovations-Richtungen verbunden sein: Zum einen werden die Agenten kognitiv immer intelligenter und selbst die emotionale Intelligenz wird heute schon über Persönlichkeitsmodelle teilweise abgebildet. Zum anderen wird die Realität, die die ABMs simulieren sollen über Data Assimilation [3] in einem PDCA ähnlichen Zyklus eingebunden.
Bezüglich der ‚Aufrüstung‘ an AI für ABMs verweise ich auf die Aktivitäten von Deepmind [4, 5, 6, 7]. – Deepmind entwickelt u.a. gerade die open source Testszenario-Plattform ‚melting pot‘ für ABMs. Ziel ist es, möglichst viele Umfeld-Szenarien (bestehend aus Raum, Zeit und anderen Agenten) aufzubauen. Mit den Testszenarien können KI-Entwickler die Intelligenz neu entwickelter Agenten testen.
Die Form der Korrektur von Simulationen mittels Data Assimilation wurde erstmals für die Navigation während der Apollo Mission angewendet und gehört heute zum Standardrepertoire bei Wettervorhersagen. Das Forecasting während der Pandemie beruhte u.a. auch auf dieser Technik. Mein Sohn Yannick Oswald und seine Kollegen der Universität Leeds konnten mittels ABM und Data Assimilation das ‚Kipp-Verhalten‘ der Länder bezüglich der Einführung des Lockdowns zu Beginn der Corona-Pandemie nachbilden (die Länder sind hier die Agenten): Für die globale Makroebene führt das ‚Kipp-Verhalten‘ der Länder zu einem globalen sozialen Phasenübergang [8].
Seit ein paar Wochen habe ich begonnen, mich mit ABMs programmierend zu beschäftigen. Da ich Anfänger bin, habe ich mich auf zwei ABM-Plattformen konzentriert. Die eine ist Netlogo [9] und die andere ist MESA-Python [10, 11, 13, 14, 15].
Netlogo gehört zur Standardausbildung in der Komplexitätsforschung und zum Lehrprogramm des Complexity Explorers des Santa Fe Instituts [16]. MESA-Python ist eine objekt-orientierte Python Entwicklungsplattform für ABM und kann u.a. in der google Colab Umgebung benutzt werden.
Netlogo enthält als Lern-Beispiele nahezu alle ABMs, die Wissenschafts- und Erkenntnisgeschichte geschrieben haben. – Etwas gewöhnungsbedürftig ist die Netlogo eigene Programmiersprache.
Da ich Anfänger bin kam die Idee auf, chatGPT und GPT-3 im Sinne einer Erweiterung meiner Intelligenz zu benutzen. In dem Blog-Artikel vom Februar 2022 habe ich dies als Collective Intelligence Perspective bezeichnet: D.h. Künstliche und menschliche Intelligenz arbeiten kollektiv zusammen.
Das Modell ‚Collective Mind‘ des Management 4.0 ist selbst eine spezielle Form der Collective Intelligence (CI) für Teams und Organisation. Also was liegt näher, als unter Assistenz von chatGPT und GPT-3 ein Netlogo- oder MESA-Python-Programm zu erstellen. Hierbei ist es zunächst nicht wichtig, dass ein beeindruckendes Collective Mind Modell entsteht, sondern, dass diese CI-Vorgehensweise überhaupt funktioniert.
Zuerst habe ich mit chatGPT kommuniziert: chatGPT machte mich auf ABM-Veröffentlichungen aufmerksam, die Persönlichkeitsmodelle wie MBTI und Big Five [17] enthalten. Anschließend fragte ich nach einer Erläuterung zum Collective Mind. Es war ganz offensichtlich, dass chatGPT den Inhalt meiner Bücher und Veröffentlichungen kennt, insbesondere auch die letzte Veröffentlichung zum Thema Projektmanagement und Selbstorganisation [18]. Abbildung 1 zeigt das Ergebnis der chatGPT Ausgabe zu Collective Mind:
Abbildung 1: chatGPT Ausgabe zur Definition Collective Mind [19]
Anschließend habe ich nach Ideen zur mathematischen Modellierung des Collective Mind gefragt – Man siehe Abbildung 2. Das Ergebnis ist auch verblüffend, denn ein Teil der Lösungsvorschläge habe ich schon in den vergangenen Blog-Beiträgen vorgestellt. Hier weiß man nicht, ob chatGPT diese kennt, oder davon unabhängige Vorschläge gemacht hat. – Ich merke schon hier an, dass diese Ergebnisse viel besser sind als diejenigen von GPT-3: GPT-3 war in seiner Antwort eher nichtssagend!
Abbildung 2: chatGPT Ausgabe zur (mathematischen) Modellierung eines Collective Mind [19]
Ich habe chatGPT auch gebeten, ein Netlogo-Programm mit folgendem Prompt zu erstellen: Please create a netlogo ABM model using the Big Five Model. The goal is to show that teams with a good collection of team members build a Collective Mind which shows synergy in the team performance.
Entsprechend habe ich um ein MESA-Python Programm gebeten. Abbildung 3 zeigt einen Ausschnitt dieser Antwort:
Abbildung 3: chatGPT MESA-Python Code auf der Basis des Promptes: Please create a MESA-Python ABM model using the Big Five Model. The goal is to show that teams with a good collection of team members build a Collective Mind which shows synergy in the team performance [19]
Beide Programme, Netlogo und MESA-Python, sind syntaktisch fehlerfrei, erzeugen aber Laufzeitfehler. Da ich die Python Programmierung der Netlogo Programmierung vorziehe, habe ich im Folgenden versucht das MESA-Python Programm zum Laufen zu bringen. Es ist mir, aufgrund meiner bescheidenen MESA-Python Kenntnisse, nicht gelungen. chatGPT war bei der Fehlersuche und -behebung nicht hilfreich.
Aber das Ergebnis ist trotzdem sehr erstaunlich: Die Teammitglieder eines Teams und das Team selbst wurden als Agenten modelliert. Für das Team wurde ein Collective Mind berechnet. chatGPT hat die Synergie des Collective Mind so interpretiert, dass der Collective Mind ein 5-dimensionaler Vektor aus der Summe der Big Five Persönlichkeitsdimensionen aller Teammitglieder ist. Die Teamperformance ergibt sich aus der Summe der fünf Dimensionen, wobei die Dimension Neurotizismus (entspricht grob einem Maß für emotionale Labilität) mit einem negativen Vorzeichen versehen wurde, also abgezogen wurde. – Meines Erachtens eine beachtliche Leistung!
Die Logik des Netlogo Codes und des MESA-Python Codes ist gleich!
Die intensiviere Beschäftigung mit MESA-Python zeigte auch, dass das Skelett des erzeugten Codes aus dem MESA-Python Tutorial stammt. Hierbei ist ein entscheidender Design-Fehler geschehen: Die Teammitglieder und die Teams wurden als Agenten programmiert, was im Prinzip nicht verkehrt ist, jedoch zur Laufzeit in dieser einfachen Implementierung zu Eindeutigkeits-Problemen führt.
Ich wollte kurze Zeit später den Prompt etwas erweitern und konkretisieren. ChatGPT hat sich zu diesem Zeitpunkt jedoch geweigert Code zu erzeugen. Stattdessen bot chatGPT eine gute Programmier-Vorgehensweise an. ChatGPT begründet dies damit, dass die Codeerzeugung zu viele spezielle Kenntnisse erfordern würde. Erstaunlich dieser Sinneswandel!
Ich überprüfte daraufhin eine andere erstaunliche Antwort, die ich kurz nach der Freischaltung von chatGPT erhalten habe: Ich fragte nämlich nach den Unterschieden von chatGPT und GPT-3: U.a. wurde mir damals mitgeteilt, dass GPT-3 über 175 Milliarden Parameter verfügt und chatGPT über 1.5 Milliarden Parameter. Dies ist eine sehr erstaunliche Aussage, da chatGPT hiernach über 100-mal weniger Parameter verfügt. Falls dies korrekt ist, wäre dies meines Erachtens eine sensationelle Aussage zur Leistungsfähigkeit von chatGPT. Also habe ich zu dem späteren Zeitpunkt nochmals nach dem Unterschied von chatGPT und GPT-3 und insbesondere nach der Anzahl der Parameter gefragt: ChatGPT verweigerte die Aussage, da es keine offiziellen Aussagen von openai hierzu gibt.
Es wird also im Hintergrund heftig an den Aussagen von chatGPT filternd gearbeitet.
Ich wechselte zu GPT-3 [20]: GPT-3 interpretierte die Synergie des Collective Mind und die daraus resultierende Teamperformance fast exakt wie chatGPT. -Jedoch wurde der Neurotizismus nicht abgezogen, sondern addiert. Das erstellte Programm ist syntaktisch korrekt und sogar nach der Behebung von zwei kleinen Fehlern im Aufruf der MESA-Python Objektstruktur sogar lauffähig. Der entscheidende Unterschied warum der GPT-3 Code lauffähig ist, ist dass GPT-3 sich an die Struktur von MESA-Python gehalten hat. Das räumliche Umfeld der Agenten, in der MESA-Python Sprache, the model, wird wie bei Netlogo auch, standardmäßig als Schachbrett modelliert und die Agenten bewegen sich wie Schachfiguren in dieser 2D-Welt. Jeder Agent hat dann bis zu 8 Teammitglieder, da auf einem Schachbrett jedes Quadrat acht Nachbar-Quadrate hat. – Es wird also kein Team eingeführt, das als Agent behandelt wird, sondern die jeweiligen Nachbarn definieren das Team. In dieser einfachen Welt sind die Teams dynamisch, da sich die Agenten auf dem Schachbrett in Zeitschritten bewegen. Alles in Allem eine erstaunliche GPT-3 Leistung!
Jedoch lässt sich diese Leistung leider nicht reproduzieren: Zum Zeitpunkt des Schreibens dieses Artikels (10.02.2023) verweigert GPT-3 zwar nicht die Code-Generierung, jedoch bricht die Erzeugung kurz nach Beginn ab und der Code ist schon zu Beginn leider mehr oder weniger unsinnig. – Die Qualität der ersten Generierung ist verschwunden!
Soweit, so gut – Fortsetzung folgt, wahrscheinlich 😉.
[4] Graepel T (2023) The role of Multi-Agent Learning in Artificial Intelligence Research at DeepMind, https://www.youtube.com/watch?v=CvL-KV3IBcM&t=619s, zugegriffen am 06.02.2023
[5] Deepmind (2023) Melting Pot: an evaluation suite for multi-agent reinforcement learning, https://www.deepmind.com/blog/melting-pot-an-evaluation-suite-for-multi-agent-reinforcement-learning, zugegriffen am 06.02.2023
[8] Oswald Y, Malleson N, Suchak K (2023) An agent-based model of the 2020 international policy diffusion in response to the COVID-19 pandemic with particle filter, Universität Leeds, https://arxiv.org/abs/2302.11277
[13] Ng Wai Foong (2022) Introduction to Mesa: Agent-based Modeling in Python, https://towardsdatascience.com/introduction-to-mesa-agent-based-modeling-in-python-bcb0596e1c9a
[17] Howard P J, Mitchell Howard J (2008) Führen mit dem Big-Five-Persönlichkeitsmodell, Das Instrument für optimale Zusammenarbeit, Campus Verlag und Handelsblatt
[18] A. Oswald (2020) The whole – more than the sum of its parts! – Self-organization – the universal principle!, IPMA Research Conference, Springer, in Ding R, Wagner R, Bodea CN (editors) Research on Project, Programme and Portfolio Management – Projects as an Arena for Self-Organizing, Lecture Notes in Management and Industrial Engineering, Springer
[19] chatGPT (2023) openai.com, zugegriffen am 19.01.2023
[20] GPT-3 (2023) openai.com, zugegriffen am 19.01.2023
