OpenAI Model “o1” hat einen IQ von 120 – ein Kategorienfehler?

Lott, M. (2024): Massive breakthrough in AI intelligence: OpenAI passes IQ 120

Wenn wir von Intelligenz sprechen geht es oft um den Intelligenz-Quotienten (IQ) bei Menschen, dessen Ergebnisse in einer Normalverteilung dargestellt werden. Der Wert für den IQ kann dabei aus unterschiedlichen Testverfahren bestimmt werden. Der Mensa Norway IQ-Test ist dafür ein Beispiel.

Maxim Lott hat die dort gestellten Fragen von verschiedenen KI-Anwendungen beantworten lassen. Das Ergebnis ist in der Abbildung zusehen. Das neu vorgestellte Modell “o1” von OpenAI schneidet hier mit 120 Punkten am besten ab. Was bedeutet das?

Da in den IQ-Tests oftmals eher logisch-mathematische Attribute abgefragt werden, ist das Ergebnis wenig überraschend. Es stellt sich aus meiner Sicht eher die Frage, ob der Intelligenz-Quotient (IQ) mit seinen in den letzten über 100 Jahren entwickelten Messverfahren geeignet ist, menschliche Intelligenz abzubilden.

Wird das Verständnis von Intelligenz erweitert (entgrenzt), so kommen Dimensionen wie Emotionale Intelligenz, Soziale Intelligenz usw. hinzu, die von einer KI-App nicht, oder nur bedingt abgebildet werden können.

Aus meiner Sicht bedeutet das Ergebnis (Siehe Abbildung) also nicht, dass Künstliche Intelligenz genau so intelligent – oder intelligenter – als ein Mensch ist, sondern dass das zugrundeliegende Intelligenz-Konstrukt (IQ) möglicherweise nicht passt. In der von Howard Gardner vorgeschlagenen Theorie der Multiplen Intelligenzen ist Intelligenz beispielsweise wie folgt beschrieben:

„Ich verstehe eine Intelligenz als biopsychologisches Potenzial zur Verarbeitung von Informationen, das in einem kulturellen Umfeld aktiviert werden kann, um Probleme zu lösen oder geistige oder materielle Güter zu schaffen, die in einer Kultur hohe Wertschätzung genießen“ (Gardner 2002:46-47).

Der Hinweis auf ein “biopsychologisches Potenzial” deutet schon an, dass es für Howard Gardner bei dem Begriff “Intelligenz” für menschliche Intelligenz verwendet. Den Begriff “Künstliche Intelligenz” sieht Howard Gardner daher als Kategorienfehler. Siehe dazu auch Multiple Intelligenzen nach Howard Gardner: Ist eine Intelligenz der anderen überlegen?

Künstliche Intelligenz im Projektmanagement – eine Definition

Künstliche Intelligenz und die damit verfügbaren Anwendungen werden unsere Gesellschaft und unsere Arbeit beeinflussen und teilweise massiv verändern. Es ist daher sinnvoll, die Künstlicher Intelligenz in der jeweiligen beruflichen Domäne genauer zu beschreiben. Folgende “Definition” habe ich zu Künstlicher Intelligenz im Projektmanagement gefunden:

Künstliche Intelligenz im Projektmanagement bezieht sich auf den Einsatz von Algorithmen und maschinellem Lernen, um Projekte effizienter zu planen, zu überwachen und zu steuern. Sie ermöglicht, aus vergangenen Projektverläufen und -daten zu lernen, Risiken frühzeitig zu erkennen, Ressourcen besser zu verteilen, Prozesse zu automatisieren und fundierte Entscheidungen zu treffen. KI kann dazu beitragen, die Produktivität zu steigern, die Qualität der Ergebnisse zu verbessern und Projekte erfolgreicher abzuschließen“ (Bialas, M. (2024), in Bernert et al. (Hrsg.) (2014): KI im Projektmanagement).

Diese Beschreibung ist sehr stark auf die klassischen, methodischen Elemente des Projektmanagements fokussiert, und stellt die durch den Einsatz von Künstlicher Intelligenz möglichen Effizienzvorteile heraus.

Aus meiner Sicht ist das etwas zu kurz gegriffen, da Künstliche Intelligenz durchaus auch soziale Dimensionen der Projektarbeit unterstützen kann. Siehe dazu auch

Mensch und Künstliche Intelligenz: Engineering bottlenecks und die fehlende Mitte

Projektmanagement: KI-Unterstützung der ICB 4.0 Kompetenzen

Projektmanagement-Office (PMO): Neue Aufgaben durch Künstliche Intelligenz (KI)

Menschliche Intelligenz und Künstliche Intelligenz: ein Idealszenario der Arbeitsteilung.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK). Informationen dazu, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.

Künstliche Intelligenz: Warum sollten Forscher besser offene Large Language Models (LLM) nutzen?

Usage of large language models (LLMs) in behavioral and social sciences research (Wulff/Hussain/Mata 2024). Die Hervorhebung in Rot ist von mir (Robert Freund) ergänzt worden.

Natürlich verwenden immer mehr Wissenschaftler Künstlichen Intelligenz in ihrer Arbeit. Wie die Grafik zeigt, wird ChatGPT beispielsweise in den Verhaltens- und Sozialwissenschaften sehr stark genutzt. ChatGPT ist allerdings von OpenAI, dessen Large Language Model (LLM) als eher geschlossenes System (Closed LLM) bezeichnet werden kann, da das zugrundeliegende Datenmodell nicht transparent ist. Andere LLM – wie z.B. LLama – sind eher offen LLM (Open LLM), die gerade für Forschung und Wissenschaft geeigneter erscheinen.

In dem aktuellen Paper Wulff/Hussain/Mata (2024): The Behavioral and Social Sciences Need Open LLMs (PDF) argumentieren die Autoren dazu wie folgt:

Academic research should prefer open LLMs because they offer several practical and ethical advantages that are essential for scientific progress.

First, open models provide the transparency necessary for thorough scrutiny, allowing researchers to understand better the tools they are using and ensuring accountability.

Second, this transparency, combined with the adaptability of open models, facilitates innovation by enabling researchers to customize models to meet specific needs and explore new applications (Wulff & Mata, 2024).

Third, open LLMs support reproducibility, a cornerstone of scientific research, by allowing other researchers to replicate and build upon existing work.

Finally, the ethical implications of AI usage are better managed with open models, as they enable greater scrutiny of AI decisions, arguably reduce the risks of deploying biased or unethical systems, and avoid giving away data to further train closed, proprietary models.”

Ich frage mich an dieser Stelle, ob solche Hinweise nicht auch für die Nutzung von Künstlicher Intelligenz in Unternehmen gelten sollten.

Siehe dazu auch Künstliche Intelligenz: Vorteile von Open-Source-Modellen

Top 100 Tools for Learning 2024

Quelle: Tools for Learning

Es ist nicht verwunderlich, dass immer mehr KI-Anwendungen in der Liste der 100 Tools for Learning auftauchen. ChatGPT ist vom 4. auf den 2. Platz vorgerückt und weitere KI-Copilots tauchen in der Liste auf, bzw. rücken auch in den Platzierung vor. Es sieht so aus, als ob immer mehr KI-Anwendungen für Lernprozesse genutzt werden.

Es ist daher für viele an der Zeit, sich mit den Möglichkeiten und Beschränkungen von KI-Anwendungen bei Lernprozessen zu befassen. Am besten geht das in Unternehmen natürlich im Prozess der Arbeit: Kompetenzentwicklung im Prozess der Arbeit.

Erwähnen möchte ich hier, dass mir in der Liste Open-Source-KI-Anwendungen fehlen oder zu kurz kommen. Viele der KI-Anwendungen sind von Microsoft und Google dominiert, auch wenn z.B. ChatGPT von OpenAI ist und suggeriert, dass die Anwendung “Open” ist. Siehe dazu Open Source AI: Nun gibt es endlich eine Definition – und damit interessante Erkenntnisse zu OpenAI und Co. und Künstliche Intelligenz: Vorteile von Open Source Modellen.

Vermindert der Einsatz Künstlicher Intelligenz menschliche Fähigkeiten?

Wenn wir ein Navigationssystem nutzen hilft uns das, schnell und bequem unser Ziel zu erreichen. Andererseits vermindert sich dadurch auch die menschliche Fähigkeit, sich zu orientieren. Die Nutzung eines Autos hilft uns, große Strecken zurückzulegen, doch vermindert es auch unsere körperlichen Fähigkeiten. Die Nutzung eines Computers erleichtert uns die Bearbeitung von Zahlenkolonnen, doch reduziert es auch unsere Rechen-Fähigkeiten. Die Nutzung von Suchmaschinen wie Google hat es uns erleichtert, Daten und Informationen schnell zu finden. Manche Fähigkeiten der Recherche und des Prüfens von Daten und Informationen bleiben hier manchmal wegen den schnellen Zyklen der Veränderungen auf der Strecke.

Warum sollten diese Effekte also bei der Nutzung von Künstlicher Intelligenz anders sein?

“Eine grundlegende Erkenntnis besagt, dass jedes technische Hilfsmittel die Fähigkeiten der Kombination «Mensch-Tool» zwar erhöht, jene des Menschen alleine aber potenziell vermindert (every augmentation is also an amputation, frei nach Marshall McLuhan)” (Digital Society Initiative 2023)

Im Kontext der universitären Bildung haben Forscher ermittelt, welche menschlichen Fähigkeiten in Zukunft in einem von KI dominierten Umfeld erhalten und gestärkt werden sollten (vgl. Digital Society Initiative 2023):

Grundlegende technische Fähigkeiten in Bezug auf KI-Technologien.

Sozialisationsfähigkeiten: Soziales Lernen, Einfühlungsvermögen, Resilienz und effektives
Teamwork gefördert werden. Dies bedingt auch ein Verständnis und eine Reflexion über ethische Werte und wissenschaftlichen Ethos.

Kritisches Denken: Kritische Diskurs, das Denken in Modellen und Abstraktionen sowie die Fähigkeit zur multiperspektivischen Kognition und Analyse.

Handeln unter Unsicherheit: Um mit der Geschwindigkeit des technischen Fortschritts (und auch den bekannten globalen Herausforderungen wie z.B. dem Klimawandel) umgehen zu können, sind Fähigkeiten zu fördern, welche das Handeln unter Unsicherheit erleichtern. Unter anderem zu nennen ist hier eine Schulung der Intuition und abstraktes Problemlösen.

Anmerken muss ich an dieser Stelle, dass persönliche Fähigkeiten nicht mit Persönlichkeitseigenschaften gleich gesetzt werden sollten. Siehe dazu auch Über den Umgang mit Ungewissheit. Es geht hier darum, dass gerade der Mensch als soziales und emotionales Wesen komplexe Problemlösungssituationen besser bewältigen kann, als es Technologie vermag. Wie ein Idealszenario der Arbeitsteilung zwischen menschlicher und künstlicher Intelligenz aussehen kann, lesen Sie in diesem Blogbeitrag.

Open Source AI: Nun gibt es endlich eine Definition – und damit interessante Erkenntnisse zu OpenAI und Co.

OpenAI ist mit ChatGPT etc. inzwischen weltweit erfolgreich am Markt. Angefangen hat das damalige Start-up mit der Idee, Künstliche Intelligenz (AI) als Anwendung offen, und damit frei verfügbar und transparent anzubieten. – ganz im Sinne der Open Source Idee.

Durch den Einstieg von Microsoft ist der Name OpenAI zwar geblieben, doch sind die Angebote in der Zwischenzeit eher als geschlossenes, intransparentes System einzuordnen, mit dem die Inhaber (Shareholder) exorbitante Gewinne erzielen möchten.

Dieser Problematik hat sich eine Personengruppe angenommen, und eine erste Definition für Open Source AI erarbeitet, anhand der die aktuellen KI-Apps bewertet werden können: In dem Artikel MIT Technology Review (2024): We finally have a definition for open-source AI (Massachusetts Institut of Technology, 22.08.224) findet sich dazu folgendes:

“According to the group, an open-source AI system can be used for any purpose without securing permission, and researchers should be able to inspect its components and study how the system works.

It should also be possible to modify the system for any purpose—including to change its output—and to share it with others to usewith or without modificationsfor any purpose. In addition, the standard attempts to define a level of transparency for a given model’s training data, source code, and weights.”

Die Intransparenz der Trainingsdaten bei den eher geschlossenen KI-Systemen von OpenAI, Meta und Google führt aktuell dazu, dass sich diese Unternehmen mit sehr vielen Klagen und Rechtstreitigkeiten auseinandersetzen müssen.

Die Open Source Initiative (OSI) plant, eine Art Mechanismus zu entwickeln, der bei den jeweiligen KI-Anwendungen anzeigt, ob es sich wirklich um Open Source KI-Anwendungen handelt

Interessant ist, dass dieser Gedanke bei Nextcloud mit seinem Ethical AI Ansatz schon vorweggenommen wurde.

Projektmanagement: KI-Unterstützung der ICB 4.0 Kompetenzen

Künstliche Intelligenz (KI) oder auch Artificial Intelligence (AI) ist mit seinen unglaublichen Möglichkeiten in aller Munde – natürlich auch im Projektmanagement. Ein guter Bezugspunkt für eine KI-Unterstützung im Projektmanagement kann die ICB 4.0 (Individual Competence Baseline 4.0) sein, die von der International Project Management Association (IPMA) zur Professionalisierung des Projekt-, Programm- und Portfoliomanagements veröffentlicht wurde. In der ICB 4.0 sind insgesamt 28 Kompetenzen definiert, die in drei Kategorien gegliedert sind. Jeder Kategorie kann durch KI unterstützt werden.

KategorieThemenKI-Unterstützung
Kontextuelle KompetenzenStrategie, Kultur, Werte etc.Einhaltung der Governance-Richtlinien
Persönliche und soziale KompetenzenPersönliche Integrität, Verlässlichkeit, Teamarbeit etc.Kommunikations-
verhalten einzelner Teammitglieder
Technische KompetenzenProjektplanung und Steuerung, Risikomanagement etc.Virtuelle KI-Assistenten
In Anlehnung an Schelter, N. (2024)

Grundsätzlich halte ich diese strukturierte KI-Unterstützung auf Basis der ICB 4.0 – Kompetenzen für sinnvoll. Dennoch möchte ich folgendes anmerken:

(1) Es handelt sich hier möglicherweise um ein mismatch von Begrifflichkeiten. Einerseits sprechen wir von Kompetenzen, andererseits von Künstlicher Intelligenz. Hier gibt es durchaus Unterschiede, die zu beachten sind. Siehe dazu beispielsweise Kompetenzen, Regeln, Intelligenz, Werte und Normen – Wie passt das alles zusammen?

(2) Als Leser unseres Blogs wissen Sie, dass ich eher das Konzept der Multiplen Kompetenz auf den Analyseebenen Individuum, Gruppe, Organisation und Netzwerk bevorzuge.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK). Informationen dazu, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.

Multiple Intelligenzen nach Howard Gardner: Ist eine Intelligenz den anderen überlegen ?

Die von Howard Gardner veröffentlichte Theorie der Multiplen Intelligenzen geht von relativ unabhängigen Intelligenzen aus. Die Anzahl hat sich dabei in den letzten Jahren von 7 auf 9 erweitert. Es ist in diesem Zusammenhang wichtig, dass Howard Gardner den Intelligenz-Begriff beispielsweise im Vergleich zu dem oftmals vorherrschenden psychometrischen Intelligenzkonstrukt (Beispiel: Intelligenz-Quotient / IQ) entgrenzt/erweitert.

(…) the predictive value of IQ measures had been found to be poor in situations requiring production and evaluation of new ideas (Feldman 1980: 89-90).

Wenn es also verschiedene Multiple Intelligenzen gibt, so kann durchaus die Frage gestellt werden, ob nicht eine davon den anderen überlegen ist. Genau diese Frage hat Howard Gardner in dem englischsprachigen Blogbeitrag Are Some Intelligences Superior to Others? vom 11.04.2023 mit einem klaren NEIN beantwortet. Es kann zwar vorkommen, dass in einer Situation die eine oder andere Intelligenz dominiert, in einer anderen Situation aber wiederum nicht.

In einem speziellen beruflichen Umfeld (Kontext, Domäne) zeigen sich immer mehrere Intelligenzen.

In diesem Sinne hat man diese Multiplen Intelligenzen nicht, sondern sie zeigen sich in intelligenten (komplexen) Problemlösungen.

In diesem Zusammenhang musss ich auch die Frage stellen, ob die Künstliche Intelligenz der Menschlichen Intelligenz, oder die Menschliche Intelligenz der Künstlichen Intelligenz überlegen ist. Dieses Thema werde ich in einem der folgenden Blogbeiträge (versuchen zu) beantworten.

Machen Sie einen KI-Fachckeck (KI-Readiness)

Auszug auf den Fachcheck ( Mittelstand-Digital Zentrum Chemnitz)

Das Mittelstand-Digital Zentrum Chemnitz hat eine übersichtliche Möglichkeit entwickelt, in einem Fachcheck die KI-Readiness einer Organisation zu bestimmen, zu visualisieren.

“Der Fachcheck KI-Readiness hilft Unternehmen dabei, ihren KI-Reifegrad zu ermitteln. Mit dem Wissen über den eigenen Status qou können Unternehmen weitere Maßnahmen ergreifen, um die Potenziale von künstlicher Intelligenz für sich zu nutzen” (ebd.).

In dem Selbstcheck werden Fragen zu den Bereichen Strategie und Planung, Daten und Technologie und Ethik, Compliance, Sicherheit gestellt, und jeweils der Reifegrad von 0 (Beobachter) bis 4 (Experte) beurteilt (siehe Abbildung oben). Die folgende Abbildung zeigt dazu beispielhaft eine Auswertung.

Beispielauswertung (fiktive Angaben)

Es ist insgesamt eine einfache, kostenfreie und auf KMU (Kleine und mittlere Unternehmen) abgestimmte erste “Analyse”.

An dieser Stelle möchte ich anmerken, dass es gut wäre, auch einen Check zu Menschlicher Intelligenz in Unternehmen zu haben…

Auf solche Themen gehen wir auch in den von uns entwickelten Blended Learning Lehrgängen ein, die wir an verschiedenen Standorten anbieten. Informationen zu unseren Blended Learning Lehrgängen und zu aktuellen Terminen finden Sie auf unserer Lernplattform.

Kostenfreie KI-Tools in den Projektmanagement-Phasen ausprobieren

Natürlich kann und sollte Künstliche Intelligenz in Organisationen genutzt werden, Siehe dazu auch Arbeit 4.0: Chancen, die sich aus den neuen technischen Möglichkeiten ergeben.

Speziell im Projektmanagement gibt es viele Möglichkeiten, Künstliche Intelligenz einzusetzen., Siehe dazu beispielsweise Künstliche Intelligenz (KI) im Projektmanagement: Routine und Projektarbeit. Betrachten wir das klassische plangetriebene Projektmanagement, so gibt es hier verschiedene Phasenmodelle, an denen man sich orientieren kann. In der DIN 69901 wird beispielsweise vorgeschlagen, die Phasen Initiierung, Definition, Planung, Steuerung und Abschluss zu unterscheiden.

Im einfachsten Fall würde eine Organisation ChatGPT als kostenpflichtige Anwendung in allen Phasen nutzen. Viele Organisationen fragen sich allerdings, ob es nicht möglich ist, kostenfreie KI-Tools auszuprobieren, die möglicherweise spezifischer (besser?) sind. In einem Artikel von Haltmeyer/Lenz wird genau diese Frage thematisiert. Die Autoren machen dazu erste Vorschläge, die in der Abbildung zusammengefasst sind. Ziel bei der Auswahl ist es, dass die Nutzer in den kostenfreien Versionen ausprobieren, ob es Sinn macht, die kostenpflichtige Variante zu nutzen – oder eben nicht. Es kann auch sein, dass Open-Source-Modelle beim Einsatz von Künstlicher Intelligenz infrage kommen.

Mit Hilfe dieser ersten Überlegungen kann eine Organisation weitere kostenfreie KI-Tools sammeln und ausprobieren, um so nach und nach einen organisationsspezifischen Mix an sinnvollen KI-Tools im Projektmanagement aufzubauen.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen, Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.