Aktuelle Studie der ETH Zürich: Kein populäres LLM entspricht den EU AI Act – Anforderungen

Künstliche Intelligenz mit seinen vielfältigen Möglichkeiten wird immer populärer. Die Europäische Union hat daher schon 2023 versucht, die Entwicklung so zu regulieren, dass einerseits (persönliche und organisationale) Rechte garantiert bleiben und anderseits, die Entwicklung von Innovationen nicht unnötig gebremst wird. Siehe dazu ausführlicher: EU AI Act: first regulation on artificial intelligence.

Natürlich stellt sich dabei sofort die Frage, ob die populären KI-Anwendungen mit ihren verwendeten Large Language Models (LLMs) diesen Anforderungen gerecht werden. In einer umfassenden Studie wurde das an der ETH Zürich nun untersucht, und am 10. Oktober 2024 veröffentlicht. Das Ergebnis ist ernüchternd;

“Finally, we applied our benchmarking suite to evaluate 12 popular LLMs, identifying that both current models and state-of-the-art benchmarks exhibit critical shortcomings in the context of the Act. In particular, none of the examined models are fully compliant with the requirements of the EU AI Act, and certain technical requirements cannot be currently assessed with the available set of tools and benchmarks, either due to a lack of understanding of relevant model aspects (e.g., explainability), or due to inadequacies in current benchmarks (e.g., privacy)” (Guldimann et al. (2024): COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act | PDF).

Ich bin sehr gespannt, was nun passiert, oder auch nicht passiert. Wird sich die EU mit ihren Anforderungen an KI-Anwendungen stärker durchsetzen, oder wird die Lobbyarbeit der verschiedenen Anbieter die Vorgaben mit der Zeit “aufweichen”. Möglicherweise gibt es auch einen dritten Weg: Open Source LLM erfüllt die Anforderungen und ist so leistungsfähig, wie die oftmals kommerziellen Angebote. Warum eigentlich nicht?

Collabora Online: Switching Formats von Microsoft zu Open Source und umgekehrt

Quelle: https://www.collaboraonline.com/collabora-online/

In den letzten Jahrzehnten haben sich viele Personen und Organisationen an die Microsoft-Anwendungen angepasst. In der letzten Zeit gibt es allerdings immer mehr stimmen, die sich den Möglichkeiten von Open-Source-Anwendungen zuwenden, was unterschiedliche Gründe hat. Siehe dazu beispielsweise Warum geschlossene Softwaresysteme auf Dauer viel Zeit und viel Geld kosten und Künstliche Intelligenz: Vorteile von Open-Source-Modellen.

Auf der Ebene der Kollaborationsplattformen gibt es mit Nextcloud und Collabora Online interessante Open-Source-Alternativen zur Microsoft-Welt. Dabei können beispielsweise Microsoft-Dateien und Open-Source-Dateien in Nextcloud abgelegt und bearbeitet werden. Ist die Collabora-Online-App installiert, so kann auch kollaborativ an Dateien gearbeitet werden. Die Dateien werden in dem jeweiligen Browser geöffnet, sodass keine weitere spezielle Software erforderlich ist.

Wenn man allerdings häufig zwischen den “beiden Welten” (Microsoft – Open Source) hin- und herwechselt, kommt es durchaus zu Schwierigkeiten, die in einem White Paper von Collabora Online wie folgt beschrieben wurden.

You may run into problems if you frequently switch between document formats. This is not a problem unique to Collabora Online, this will be true by all document editors, but we feel it worth pointing out still. Document formats are very complicated. For example, the specification document for Microsoft-developed Open XML format ist 5000 pages long. Consequently, every document format contain some functionality available only in that format. For this reason, we encourage end users to stick to one document format” (Collabora Productivity (2024): Document Interoperability with Collabora Online | PDF).

Es wundert mich nicht, dass manche Microsoft-Anwender bei solchen Punkten Open-Source-Lösungen aus Bequemlichkeit ablehnen. Microsoft hat es geschafft, dass sich sehr viele Personen und Organisationen an die Microsoft-Logik angepasst haben und jetzt bei einem Wechsel gefühlt hohe Switching-Costs entstehen. Dabei treten die offensichtlichen Vorteile von Open-Source-Anwendungen in den Hintergrund. Wie oben in dem Link erwähnt, kann so ein Verhalten teuer sein.

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in Agil (IHK), die wir an verschiedenen Standorten anbieten. Weitere Informationen zu den Lehrgängen und zu Terminen finden Sie auf unserer Lernplattform.

Was können Organisationen vom Orpheus Chamber Orchestra lernen?

Quelle: https://orpheusnyc.org/education-community/orpheus-leadership-institute

Wenn wir an Orchester denken, sehen wir einen Dirigenten und Musiker, bei denen die Rollen hierarchisch klar getrennt sind. Der Dirigent bestimmt (fast) alles und die Musiker versuchen, den Anforderungen gerecht zu werden. Falls ein Ton oder das Zusammenspiel nicht genau passt, korrigiert der Dirigent.

Als es noch keine großen Symphonieorchester gab, organisierten sich die Musiker z.B. in kleinen Kammerorchestern, durchaus selbst (Selbstorganisation).

Aufbauend auf dieser Tradition gab es auch bei größeren Ensembles in der Vergangenheit Entwicklungen, die Selbstorganisation bei Orchestern auch auf größere Einheiten zu übertragen. Ein Beispiel dafür ist das Orpheus Chamber Orchestra, das seit seiner Gründung im Jahr 1972 diesen etwas anderen Weg geht: Das Orchester setzt mehr auf Kollaboration und weniger auf einen (klassischen) Dirigenten. Dabei gibt es allerdings einige Prinzipien, die beachtet werden sollten:

(1) Denen Macht geben, die die Arbeit erledigen. (…)
(2) Ermutigen zu persönlicher Verantwortung. (…)
(3) Rollen klar definieren. (…)
(4) Führungsbefugnis aufteilen und rotierend zuordnen. (…)
(5) Die Zusammenarbeit auf einzelnen Ebenen fördern. (…)
(6) Zuhören lernen und reden lernen. (…)
(7) Konsens suchen (und ein kreatives Umfeld schaffen, das den Konsens fördert). (…)
(8) Leidenschaftliche Hingabe an die Arbeit.
Quelle: Seifter, H.; Economy, P. (2001:34-35): Das virtuose Unternehmen. Aktivieren Sie das Potenzial Ihrer Mitarbeiter mit der Methode des Orpheus Chamber Orchestra, des einzigen dirigentenlosen Orchester.

Durch die Veränderungen in unserem Umfeld (VUCA), haben auch größere Unternehmen gemerkt, dass eine fremdorganisierte hierarchische Organisationsstruktur nicht mehr angemessen ist . Mehr Selbstorganisation ist hier auch die Antwort auf mehr Komplexität.

Es war daher nicht verwunderlich, dass immer mehr Unternehmen bei dem Orpheus Chamber Orchestra nachgefragt haben, welche Erfahrungen sie gemacht haben. Daraus ist dann sogar das Orpheus Leadership Institute entstanden.

“Orpheus provides a unique perspective on the practice of leadership that can unlock creativity, agility, and collaboration at your organization” (Qrpheus Leadership Institute).

Solche Zusammenhänge thematisieren wir auch in den von uns entwickelten Blended Learning Lehrgängen Projektmanager/in (IHK) und Projektmanager/in AGIL (IHK). Informationen dazu, und zu aktuellen Terminen, finden Sie auf unserer Lernplattform.