Emergenz – Management 4.0

AI & AM 4.0: Agent Based Modeling – Emergenz – Wunder geschehen!

Kürzlich erschien ein offener Brief zum Thema ‚Pausieren von gigantischen AI-Experimenten‘ à la GPT-3 oder GPT-4 [1].

Der Brief wurde inzwischen von mehr als 30.000 Personen unterschrieben. Er begründet sein Anliegen eines halbjährigen Aussetzens von AI-Groß-Entwicklungstätigkeiten mit folgendem Satz:

“This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities.”

Es geht die Angst vor ‚emergenten Fähigkeiten‘ um. – An anderer Stelle wird von einer ‚Gottgleichen‘ KI gewarnt, die die Menschheit zerstören könnte [2].

Diese Sorgen mögen berechtigt sein, umso mehr, als man beobachten kann, wie lange sich die EU schon bemüht, den längst fälligen EU AI ACT als EU-Gesetz zu verabschieden [3].

In diesem Blog geht es jedoch nicht um diese Sorge oder Angst, sondern um das Thema Emergenz, das offensichtlich solche ‚Wunder‘ wie das der „Sparks of Artificial General Intelligence: Early experiments with GPT-4” [4] möglich macht. Die Intelligenz-Fähigkeiten von GPT-4, auch im Vergleich zu chatGPT/GPT-3.x, sind sensationell, gleichgültig, ob es um Mathematik, Musik, Bilderzeugung, Sprache und Logik und vielem mehr geht. – In nicht wenigen Fällen zeigt GPT-4 Intelligenz-Fähigkeiten, die überhaupt nicht trainiert worden sind. – Also klare Zeichen von emergenten Eigenschaften.

In Wikipedia wird Emergenz wie folgt definiert: „Emergenz (lateinisch emergere „Auftauchen“, „Herauskommen“, „Emporsteigen“) bezeichnet die Möglichkeit der Herausbildung von neuen Eigenschaften (Systemeigenschaften) oder Strukturen eines Systems infolge des Zusammenspiels seiner Elemente.“ [5]. Emergenz ist auch direkt mit dem Begriff der Selbstorganisation verbunden. Selbstorganisierte Systeme zeigen Emergenz bzw. emergente Eigenschaften. Auf der Basis dieser Definition wimmelt es in der Natur und damit in der Mathematik, den Naturwissenschaften/ Psychologie und den Sozialwissenschaften nur so von emergenten Eigenschaften, Strukturen oder Systemen.

In [6] wird auch deshalb zwischen schwacher und starker Emergenz unterschieden. Starke Emergenz liegt im Falle des Lebens vor, das aus Atomen oder Molekülen emergiert. – Oder, im Falle unseres Bewusstseins, das aus der materiellen Struktur unseres Gehirns emergiert. Die meisten anderen überraschenden Eigenschaften von Viel-Agenten Systemen wie zum Beispiel die Supraleitung, die Farbe von Gold, der Collective Mind eines Teams oder die Kultur einer Organisation werden eher der schwachen als der starken Emergenz zugeordnet. Ich halte die Unterscheidung für wenig sinnvoll.- Entscheidend für die Emergenz ist vielmehr, dass das durch die Wechselwirkung von Agenten entstehende Systeme Eigenschaften zeigt, die sich nicht aus den Eigenschaften der Agenten ableiten lassen. In [7] wird deshalb für die Beschreibung von Large Language Model’s bezüglich Emergenz eine Definition verwendet, die die obige Definition aus [5] weiterführt:

„Emergence is when quantitative changes in a system result in qualitative changes in behavior.”

Abbildung 1: Bilder erzeugt durch die KI DALL-E [8] mit den Prompts: Create a painting in the style of Matisse: (Create a painting in the style of Gauguin:) Collective Mind as an example of social emergence which demonstrates synergies in a team

Im Falle von Large Language Models (LLM) gibt es mehrere quantitative Änderungen, die qualitative Veränderung hervorrufen: u.a. Anzahl der Parameter (Neuronen), Menge der Daten und die Trainingszeit. Aber auch die Architektur der LLM’s spielt eine entscheidende Rolle: u.a. das Transformer/Decoder Design, der Attention Mechanismus, usw.. So zeigt GPT-3 bei etwa 10 hoch 22 (10 Trilliarden) Floating Point Operations (FLOPs) als Maß für die Trainingszeit und 13 Milliarden Parametern einen sprunghaften Anstieg der sogenannten few-shoot prompting Genauigkeit.- Also nach einigen wenigen Lerndaten meistert das AI-System ähnliche Aufgabenstellungen. – Dieser Übergang entspricht einem Phasenübergang. – Ganz ähnlich zu der gesellschaftliche Resonanz für AI-System, die mit dem Erscheinen des einfach zu bedienenden chatGPT sprunghaft emergierte.

Für die Beschreibung emergenten Systemverhaltens wurde in der Wissenschaftsgeschichte sehr oft der Nobelpreis vergeben: Es geht darum, diejenigen quantitativen Parameter ausfindig zu machen, die einen qualitativen Unterschied machen. Und dies ist meistens sehr schwierig, da man den Parametern nicht ansieht, ob sie in ihrer Zusammenstellung einen Unterschied machen. – Der qualitative Unterschied lässt sich also nicht auf die quantitativen Unterschiede in den Parametern reduzieren.

Jedoch wurde auch in der Geschichte der Wissenschaft aus dem Unverständnis der Emergenz eine unsinnige Spaltung in reduktionistische Wissenschaften und nicht-reduktionistische (holistische) Wissenschaften [9] vorgenommen. Hiernach wurde zum Beispiel die Physik als reduktionistische Wissenschaft angesehen, da angeblich alle System-Eigenschaften in der Physik auf die Eigenschaften der Agenten (z.B. Elementarteilchen, Atome) zurückgeführt werden, also reduziert werden. Die Sozialwissenschaft mit der Soziologie à la Luhmann wurde zum Beispiel als holistische Wissenschaft wahrgenommen, da Luhmann, die Eigenschaften des sozialen Systems nicht auf die Menschen zurückführte, sondern dem System eine Eigenständigkeit zuerkannte.

Diese teilweise immer noch vorhandene naive Sicht des Gegensatzpaares Reduktionismus-Holismus wird durch das Auftauchen von GPT-4, aber auch schon durch die Erfahrungen mit chatGPT, kräftigst widerlegt: Die technischen Systeme chatGPT/GPT-3.x und chatGPTplus/GPT-4 zeigen mit ihrer Intelligenz eine für alle erfahrbare Emergenz. Diese AI-Systeme wurden auf der Basis bestimmter Daten-Parameter (u.a. Anzahl der Neuronen, Zeit des Trainings, Menge der Trainingsdaten) sowie bestimmten Architektur-Parameter (u.a. Transformer/Decoder und Attention-Mechanismus) mehr oder weniger gezielt kombiniert und es entstanden bei einer bestimmten Kombination dieser Parameter „wie durch ein Wunder“ emergente Intelligenz-Eigenschaften. – Es ist zu vermuten, dass bei Wegnahme z.B. der Attention-Eigenschaft, die emergente Eigenschaft der Intelligenz verschwindet, auch wenn die gigantische Skalierung bleibt.

Deswegen sind die emergenten AI-Eigenschaft jedoch nicht weniger wunderbar.

Dieses Beispiel belegt äußerst eindrucksvoll, dass die Natur, auch wenn sie in Form einer Technologie daherkommt, alle Ingredienzien für starke Emergenz enthält. – Wir ‚finden‘ diese Ingredienzien ‚lediglich‘.

Agent Based Modeling (ABM) spielt beim Auffinden dieser Eigenschaften eine prominente Rolle, auch wenn diese Rolle selbst in der Wissenschaft im Verhältnis zur Bedeutung nur wenigen bekannt sein dürfte. Unlängst hat das Santa Fe Institute neben Netlogo das ABM-Python-Framework MESA als Lecture aufgenommen [10]. Diese Lecture bildet mit moderner Technik das ABM des 25 Jahre alten Buches über ‚Growing Artificial Societies‘ von Epstein und Axtell nach [11]. Epstein und Axtell zeigen, wie man mit einfachen lokalen Agenten-Parametern die emergenten System-Eigenschaften von Gesellschaften erzeugen kann. – Der Überraschungseffekt ist nicht selten groß: So beeinflusst zum Beispiel die Fähigkeit des Sterbens oder der Reproduktion von Agenten ganz erheblich die emergenten Eigenschaften der ABM Ökonomie: Diese Modell-Eigenschaften sind nämlich notwendig, damit sich überhaupt sogenannte Nicht-Gleichgewichts-Handelsmärkte ausbilden können, die mit realen Märkten sehr gut übereinstimmen. – Das immer noch in der Gesellschaft vorherrschende neoklassische Verständnis der Gleichgewichts-Ökonomie kennt solche Zusammenhänge nicht.

In den folgenden Blogbeiträgen beschäftige ich mich mit der Suche nach den Parametern, die das emergente Teamverhalten Collective Mind hervorrufen. Im Management 4.0 gehen wir davon aus, dass die Parameter der Theorie der Selbstorganisation (Rahmen-Parameter, Kontroll-Parameter und Ordnungs-Parameter) die entscheidenden Parameter sind, die emergentes Teamverhalten hervorbringen. Wir kennen diese Parameter (vermutlich) auch schon, jedoch nicht in hinreichend formalisierter ABM Sprache. Die in vorhergehenden Blog-Beiträgen unter Verwendung von Natural Language Processing abgeleitete Similarity-Matrix des Collective Mind (Collective Mind Operator) ist lediglich ein phänomenologisches Modell (siehe Blog-Beitrag vom April und Juni 2022). – Der Collective Mind Operator kann in der Teampraxis sehr gut den Collective Mind messen, er sagt jedoch leider nichts darüber aus, wie der Collective Mind emergiert. Hierzu benötigen wir die formalisierten ABM-Parameter, die die Collective Mind Emergenz hervorbringen. – Die Suche nach diesen formalisierten Parametern ist kein Selbstzweck, denn die Wissenschaftsgeschichte hat gezeigt, dass die Kenntnis der formalisierten Parameter recht oft mit großen Erkenntnisgewinnen verbunden ist. – Die GPT-Geschichte ist der sichtbarste Beweis hierfür.

Der Übergang zur Python-Technologie mit MESA-Python eröffnet auch recht einfach die Möglichkeit intelligente Agenten auf der Basis von chatGPT anzubinden. Das werde ich nicht tun, jedoch hat die Entwicklung hierzu, wie in einem meiner letzten Blogs prognostiziert, schon begonnen. Die Stanford University hat zusammen mit Google eine auf dem Computerspiel ‚The Sims‘ basierendes ABM erstellt, in dem 25 Agenten ihre Intelligenz von chatGPT erhalten [12]. Die Agenten haben eine ‚Gehirn-Architektur‘ aus Langzeit- und Kurz-Zeitgedächnis, dessen kognitive Intelligenz von chatGPT kommt. Die Agenten verfügen zusätzlich über einen sogenannten ‚reflection tree‘, der der Ziel-Hierarchie bzw. der Dilts Pyramide von Management 4.0 sehr nahe kommt [13].- Die Ebenen Identität, Fähigkeiten und Verhalten sowie Kontext (Beobachtung) sind schon vorhanden. – Diese und weitere Ebenen können sicherlich noch ausgebaut werden.

Damit sind die Agenten in der Lage einen individuellen kognitiven PDCA-Zyklus durchzuführen, der ‚reflektiertes‘ Handeln erlaubt.

Es besteht auch die Möglichkeit, dass sich Menschen aktiv in dieses Handeln künstlicher Agenten einbringen können. Damit ist es zum Beispiel möglich hybride Universen aus AI und Menschen zu bilden.

Man stelle sich ein Anwendungsbeispiel von vielen vor: Ein Projektleiter soll ein Projekt durchführen. Er lässt das Projekt zum Test vorab in der künstlichen Welt durchführen und erhält so Hinweise auf seine Durchführbarkeit. – Oder er lässt parallel zur realen Welt eine künstliche Welt mitlaufen, in die die Daten der realen Welt synchron eingespeist werden, um Forecasting zu betreiben.

In [12] wird berichtet, dass das Handeln der künstlichen Agenten von Menschen auf ‚Menschen-Ähnlichkeit‘ überprüft wurde. Das emergierende ‚believable behavior‘ der Agenten und des emergierenden sozialen Systems wird von den Evaluationspersonen, trotz einiger Fehler, als sehr hoch eingestuft.

Das nächste Wunder geschieht schon!

[1] Future of Life Institute (2023) Pause giant AI Experiments, https://futureoflife.org/open-letter/pause-giant-ai-experiments/, zugegriffen am 22.04.2023

[2] Barkey S (2023) Kurz vor dem Durchbruch: „Gottgleiche“ KI könnte laut Experte Menschheit zerstörenhttps://www.berliner-zeitung.de/news/agi-kurz-vor-durchbruch-gottgleiche-ki-koennte-laut-experte-ian-hogarth-menschheit-zerstoeren-kuenstliche-allgemeine-intelligenz-li.339062, zugegriffen am 22.04.2023

[3] EU (2023) EU AI Act, https://artificialintelligenceact.eu/, zugegriffen am 22.04.2023

[4] Bubeck S et al. (2023) Sparks of Articial General Intelligence: Early experiments with GPT-4, arXiv:2303.12712v3 [cs.CL] 27 Mar 2023, zugegriffen am 22.04.2023

[5] Wikipedia (2023) Emergenz, https://de.wikipedia.org/wiki/Emergenz, zugegriffen am 25.04.2023

[6] Greve J, Schnabel A (Herausgeber) (2011) Emergenz: Zur Analyse und Erklärung komplexer Strukturen, suhrkamp taschenbuch wissenschaft

[7] Wi J et al. (2022) Emergent Abilities of Large Language Models, in Transactions on Machine Learning Research 08/2022, arXiv:2206.07682v2 [cs.CL] 26 Oct 2022

[8] DALL-E (2023) https://openai.com/product/dall-e-2, zugegriffen am 03.05.2023

[9] Wikipedia (2023) Reduktionismus, https://de.wikipedia.org/wiki/Reduktionismus, zugegriffen am 25.04.2023

[10] Complexity Explorer (2023) MESA-Python Lecture, https://www.complexityexplorer.org/courses/172-agent-based-models-with-python-an-introduction-to-mesa/segments/17326, Santa Fe Institute, zugegriffen am 30.04.2023

[11] Epstein J M, Axtell R (1996) Growing Artificial Societies – Social Science from the Bottom Up, The Brookings Institution, Washington D.C.

[12] Park J S et. al. (2023) Generative Agents: Interactive Simulacra of Human Behavior, arXiv:2304.03442v1 [cs.HC] 7 Apr 2023

[13] Oswald A, Müller W (2019) Management 4.0 – Handbook for Agile Practices, Release 3.0, Verlag BoD, kindle edition

Emergenz oder Selbstorganisation des Marktes?

Die 8^te research conference der IPMA (International Project Management Association) beginnt am 09.09.2020 als Online Veranstaltung und steht unter dem Thema „Projects as arena for self-organizing“ [1]. Eine Kollegin fragt in einer Voabdiskussion „Is self-organization a “superpower” or a “mythological creature?”.

Der vierte Teil der Blog-Reihe „Selbstorganisation des Marktes“ versucht diese Frage zu beleuchten und aus meiner Sicht zu beantworten. Gleichzeit möchte ich die Universalität des Konzeptes der Selbstorganisation weiter verdeutlichen.

In meinem Blog-Beitrag über Evidenz-basiertes Management [2] habe ich am Beispiel des Begriffes Selbstorganisation schon einmal gezeigt, dass dieser Begriff völlig unterschiedlich verwendet wird und meines Erachtens daraus abgeleitete Ergebnisse einer wissenschaftlichen Befragung nicht aussagkräftig sind. In dieser wissenschaftlichen Befragung wurden folgende Begriffe als Substitut für „selbst-organisierte Teams“ verwendet: „self-managing teams, self-directing teams, self-regulating teams, self-organizing teams, self-leading teams, autonomous teams, autonomous task groups, autonomous work groups, and team leadership.”

Fast Jeder, der schon einmal in Gruppen oder Teams gearbeitet hat, hat sicherlich schon die Erfahrung gemacht, dass Teams, die man umgangssprachlich als selbst-organisiert bezeichnet hat, keineswegs eine „superpower“ entwickelt haben. – Viele der sogenannten agilen Teams gehören in diese Kategorie. Dagegen haben einige wenige, die Erfahrung gemacht, dass es auch selbst-organisierte Teams gibt, die „superpower“ haben bzw. entwickeln. – Diese Teams zeigen eine enorme Leistungsfähigkeit, kreieren Etwas völlig Neues und empfinden ihre Arbeit als hoch-motivierend und sinnvoll. Wenn so etwas auftritt spricht man von emergenten Phänomenen oder Emergenz (lateinisch emergere „Auftauchen“, „Herauskommen“, „Emporsteigen“ [3]).

So gesehen trägt der Satz „Is self-organization a “superpower” or a “mythological creature?” kein ausschließendes Oder in sich. Denn die Superpower ist ein wenig beobachtetes Phänomen, und gleichzeitig haben alle schon mal von (selbstorganisierten) Teams mit Superpower gehört. – Und schon ist das Fabelwesen „Selbstorganisation“ geboren, denn man hat davon gehört, keiner weiss was es ist, und gleichzeitig wünscht man es sich herbei.

In den wenigsten Fällen wird man Selbstorganisation auch mit Technologie oder Technik verbinden. So dürfte den wenigsten bekannt sein, dass z.B. Laser, Supraleitung, Künstliche Intelligenz oder smarte autonome Logistiksysteme auf Selbstorganisation beruhen [4].

In [5] werden die Begriffe Emergenz und Selbstorganisation untersucht und voneinander abgegrenzt. Emergenz wird dort wie folgt definiert:

„A system exhibits emergence when there are coherent emergents at the macro-level that dynamically arise from the interation between the parts at the mirco-level. Such emergents are novel with respect to the individual parts of the system.”

Selbstorganisation wird in [5] definiert als:

„Self-organisation is a dynamical and adpative process where systems acquire and maintain structure themselves, without external control.”

Unsere in [6] gegebene Definition integriert Emergenz und Selbstorganisation:

„Self-organization creates, under certain conditions (setting-, control- and order parameters) and through the interaction of system elements on the micro-level, emergent properties on a macro-level. The consequence of a self-organizing process is an ordered pattern, collective behavior or a new structure.”

Wie man unmittelbar sehen kann, integriert unsere Definition Selbstorganisation und Emergenz nicht nur, sondern sie geht sogar noch ein Stück weiter: Sie spricht von bestimmten Konditionen (den Rahmen-, Kontroll- und Ordnungsparametern) unter denen emergente Selbstorganisation sich ausbilden. – Und in diesem Sinne verwenden wir Selbstorganisation im Management 4.0. – Wir sprechen nur dann von emergenter Selbstorganisation, wenn sich ein Ordnungsparameter ausbildet.

Das heißt auch, dass die von uns verwendete Definition von emergenter Selbstorganisation, Emergenz und das übliche Verständnis von Selbstorganisation (wie in [4] verwendet) einschließt. Nicht alle Systeme, die nach üblichem Verständnis als selbstorganisierte Systeme verstanden werden, zeigen Emergenz sondern sind z.B. nur autonom und passen sich mehr oder weniger emergent an die Umgebung an. Um diesen Grad an Emergenz zu verdeutlichen, könnte man eine Skala von z.B. 1 bis 10 einführen und selbstorganisierte Systeme entsprechend einordnen: Hiernach hätten vermutlich die meisten der sogenannten agilen Teams eine Emergenz, die nahe 1 ist (also nur wenig oder keine Emergenz) und einige wenige eine Emergenz nahe 10 (also eine hohe Emergenz). Wenn wir von einem Collective Mind in Teams sprechen, dann meinen wir eine Emergenz, die Nahe 10 ist. (Anm.: Es gibt in der wissenschaftlichen Literatur einige Versuche Emergenz über Komplexität oder Entropie zu definieren und zu messen. – Diese Versuche waren meines Erachtens bisher nicht sehr erfolgreich, da man eigentlich nicht wirklich genau weiß, was Emergenz ist [7].)

Die Unvorhersehbarkeit und die Stärke des Ordnungsparameters, beim Team der Collective Mind, ist im Management 4.0 ein „Maß“ für den Emergenzgrad. – In Management 4.0 Trainings lernen die Teilnehmer für den Emergenzgrad eine Intuition zu entwickeln. – Dies erlaubt ihnen über Selbstreflexion ihre Team-Emergenz (Teamperformance) zu erhöhen.

Technische Systeme, die auf Emergenz beruhen, hätten hiernach einen recht hohen Grad an Emergenz. – Dies wäre insoweit gerechtfertigt als der Emergenzgrad die mit einem kollektiven Verhalten verbundene qualitative und quantitative Neuartigkeit einer Vernetzung „misst“. Falls das Universum auf emergenter Selbstorganisation beruht, dann läge dessen Emergenzgrad sicherlich sehr viele Größenordnungen über unserer Skala von 1 bis 10. Abbildung 1 zeigt einen sehr vagen Versuch die Emergenzgrade verschiedener Systeme zu „bemessen“.

Abbildung 1: Systeme und deren Emergenzgrad, eine sehr vage Zuordnung

Warum ist dies Alles wichtig für das Verständnis von Selbstorganisation, insbesondere von sozialer Selbstorganisation, hier der Selbstorganisation des Marktes?

Ein Markt ist auch ein selbstorganisiertes System, das Emergenz zeigt. Ein überregulierter Markt kann keine emergente Selbstorganisation mehr ausbilden, denn es gibt ja keine Neuartigkeit bzw. Unvorhersehbarkeit, die der Markt als Ganzes zeigt. – Und damit verliert der Markt das Potential Emergenz zu zeigen. – Man beachte, dass diese Aussage direkt zu dem schon erwähnten Glaubenssatz „Selbstorganisation verträgt keine Eingriffe“ führt. – Man beachte aber auch, dass wir an vielen anderen Stellen im Blog schon gezeigt haben, dass „Eingriffe“ sehr wohl vorkommen können: Diese „Eingriffe“ wirken als Governance, die die Rahmen- und Kontrollparameter gestaltet und indirekt hilft, dass sich der oder die Ordnungsparameter ausbilden können.

Ein unterregulierter Markt, also ein Markt, der keinen Eingriffen unterliegt, zeigt aber auch nicht zwangsläufig eine hohe Emergenz und wenn er Emergenz zeigt, dann ist dies eventuell eine Emergenz, die nicht wünschenswert ist. – Man kann dies mit einem sehr wenig regulierten, also autonomen Team vergleichen, das auch nicht automatisch Emergenz zeigt.

Legt man den Fall Tönnies als symptomatisch für die Fleischindustrie zugrunde, dann zeigt dieser Markt wahrscheinlich eine gewisse Emergenz (auf unserer Skala vielleicht 2-3), die leider aber nicht wünschenswert ist! Diese Emergenz lässt sich zum großen Teil auf die nicht wünschenswerte Kultur in diesem Markt zurückführen. Wenn also Emergenz auftritt, so ist diese keineswegs immer gut. – An anderer Stelle habe ich des Öfteren festgestellt, dass Selbstorganisation keinesfalls immer „gut“ ist. – Es kann durchaus hochemergente Gesellschaften und Märkte oder auch Organisationen und Teams geben, die mit Superpower Böses tun.

Emergente Selbstorganisation, also „superpower“, wenn man sie denn haben will, benötigt die explizite Ausbildung eines wünschenswerten Mindsets oder einer wünschenswerten Kultur, denn sonst entsteht eine „superpower“, die man ggf. nicht mehr kontrollieren kann. – Deswegen ist z.B. die Ausbildung einer Ethik für die Digitale Transformation besonders wichtig. Allgemein kann man sagen, dass es für Transformationen, die emergente Strukturen hervorbringen (hervorbringen sollen) besonders wichtig ist, eine Ethik auszubilden, und zwar umso mehr, als ein höherer Emergenzgrad mit ihnen verbunden ist.

[1] IPMA (2020) 8^te IPMA research conference, http://www.ipma-research-conference.world/

[2] Oswald Alfred (2018) Evidenzbasiertes Management: Richtig verstanden… geht kein Weg daran vorbei, https://agilemanagement40.com/evidenzbasiertes-management-richtig-verstanden-geht-kein-weg-daran-vorbei, zugegriffen am 07.09.2020

[3] Emergenz (2020) https://de.wikipedia.org/wiki/Emergenz, zugegriffen am 07.09.2020

[4] Czybik Björn, Ehrlich Marco, Trsek Henning, Oswald Alfred (2020) Eine differenzierte Betrachtung ganzheitlicher Selbstorganisation im Rahmen von Industrie 4.0, veröffentlicht im Rahmen der Automation 2020, https://www.vdi-wissensforum.de/automatisierungskongress/

[5] De Wolf Tom, Holvoet Tom (2004) Emergence and Self-Organisation a statement of similarities and differences, Lecture Notes in Computer Science 3464

[6] Oswald Alfred, Köhler Jens, Schmitt Roland (2018) Project Management at the Edge of Chaos, Springer

[7] Greve Jens, Schnabel Annette (Hrsg.) (2011) Emergenz: Zur Analyse und Erklärung komplexer Strukturen, suhrkamp taschenbuch wissenschaft