In Europa gibt es immer mehr länderspezifische LLM (Large Language Models) – wie z.B. AI Sweden

Screenshot von der Website AI Sweden

In dem Blogbeitrag Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data hatte ich schon erläutert, wie wichtig es ist, dass sich Organisationen und auch Privatpersonen nicht nur an den bekannten AI-Modellen der Tech-Giganten orientieren. Ein wichtiges Kriterien sind die dort oftmals hinterlegten Daten, die natürlich zum überwiegenden Teil in Englisch (oder Chinesisch) vorliegen.

In Europa haben wir gegenüber China und den USA in der Zwischenzeit ein eigenes Verständnis von der gesellschaftlichen Nutzung der Künstlichen Intelligenz entwickelt (Blogbeitrag). Dabei spielen die technologische Unabhängigkeit (Digitale Souveränität) und die europäische Kultur wichtige Rollen.

Die jeweiligen europäischen Kulturen drücken sich in den verschiedenen Sprachen aus, die dann auch möglichst Bestandteil der in den KI-Modellen genutzten Trainingsdatenbanken (LLM) sein sollten – damit meine ich nicht die Übersetzung von englischsprachigen Texten in die jeweilige Landessprache.

Ein Beispiel für so eine Entwicklung ist AI SWEDEN mit dem veröffentlichten GPT-SW3 (siehe Abbildung). Das LLM ist im Sinne der Open Source Philosophie (FOSS: Free Open Source Software) transparent und von jedem nutzbar – ohne Einschränkungen.

“GPT-SW3 is the first truly large-scale generative language model for the Swedish language. Based on the same technical principles as the much-discussed GPT-4, GPT-SW3 will help Swedish organizations build language applications never before possible” (Source).

Für schwedisch sprechende Organisationen – oder auch Privatpersonen – bieten sich hier Möglichkeiten, aus den hinterlegten schwedischen Trainingsdaten den kulturellen Kontext entsprechend Anwendungen zu entwickeln. Verfügbar ist das Modell bei Huggingface.

Wie können ethische Überlegungen im Scrum-Framework beachtet werden?

Embedding ethical deliberations into Scrum; based on Zuber et al. (2022) http:// creativecommons.org/licenses/by/4.0/, zitiert in Zuber et al (2024) in Werther et al. (eds) (2024)

Wenn es um Technik geht wird immer wieder die Frage nach der Ethik gestellt, denn Technik kann zum Wohle oder zum Nachteil von (allen) Menschen und der Umwelt genutzt werden. Aktuell geht es dabei beispielsweise um die Ethik bei der Nutzung von Künstlicher Intelligenz. Siehe dazu auch Technikethik (Wikipedia).

In der Softwareentwicklung hat sich der Einsatz von Scrum als Rahmenwerk (Framework) bewährt. In der Abbildung sind die verschiedenen Events, Artefakte und Rollen zu erkennen. Die Autoren Zuber et al. (2024) schlagen nun vor, ethische Überlegungen (ethical deliberations) mit in das Scrum-Framework einzubauen. Diese sind in der Abbildung grün hervorgehoben.

“The core idea is that, before the regular agile cadence begins, in a sprint 0, we first proceed descriptively and align ourselves with societal and organizational value specifications, i.e., we start from a framework defined by society and organization. Second, in the relationship between the product owner and the client, central ethical values are identified within this framework on a project-specific basis, if necessary, and become part of the product backlog. This can be done on the basis of existing codes of conduct or with other tools and methods that are specific to culture and context. We call this the normative horizon that is established during disclosive contemplation. Value-Sensitive Software Design: Ethical Deliberation in Agile. Within each individual sprint, it is a matter of identifying new values and implementing normative demands through suitable technical or organizational mechanisms” (Zuber et al 2024, in Werther et al (eds.) 2024).

Es ist wichtig, dass wir uns mit den ethischen Fragen neuer Technologien wie z.B. der Künstliche Intelligenz auseinandersetzen und es nicht zulassen, dass Tech-Konzerne die Vorteile der neuen Möglichkeiten in Milliarden von Dollar Gewinn ummünzen, und die sozialen Folgen der der neuen KI-Technologien auf die Gesellschaft abwälzen. Hier muss es eine Balance geben, die durch ethische Fragestellungen in den Entwicklungsprozessen von Technologien mit integriert sein sollten – nicht nur im Scrum-Framework.

Künstliche Intelligenz: Wie hängen Modelle, Agenten und Tools zusammen?

General agent architecture and components (Wiesinger et al. (2024): Agents)

In der letzten Zeit kommt immer mehr der Begriff AI Agent – oder auch Gen AI Agent – auf. Mit Hilfe der Abbildung möchte ich die Zusammenhänge der verschiedenen Komponenten erläutern.

Die Modelle (Model), oft als Language Models, Small Language Models oder Large Language Models (LLM) bezeichnet, enthalten eine sehr große Menge an Trainingsdaten. Dabei können Open Source AI Models, Open Weights Models und Closed AI Models unterschieden werden. An dieser Stelle merkt man schon, wie wichtig die Auswahl eines geeigneten Modells ist. Diese Modelle sind üblicherweise nicht auf typische Tools oder Kombinationen von Tools trainiert. Oftmals wird dieser Teil dann mit Hilfe von immer detaillierteren Eingaben (Prompts, Dateien etc.) des Users spezifiziert.

Die Beschränkungen von Modellen bei der Interaktion mit der “äußeren Welt” kann durch geeignete Tools erweitert werden. Dazu können spezielle Datenbanken, API-Schnittstellen usw. genutzt werden. Siehe dazu auch RAG: KI-Basismodelle mit eigener Wissensbasis verknüpfen.

Der AI Agent orchestriert nun alle Komponenten, wie die Eingabe des Users, das jeweilige Modell (oder sogar mehrere), die Tools und gibt das Ergebnis (Output) für den User in der gewünschten Form aus.

Die Möglichkeit, AI Agenten zu erstellen, bieten in der Zwischenzeit viele kommerzielle KI-Anbieter an. Wir gehen demgegenüber den Weg, Open Source AI auf unserem Server zu installieren und zu nutzen:

AI Agenten konfigurieren wir mit Langflow (Open Source). Dabei können wir in Langflow auf sehr viele Open Source AI Modelle über Ollama (Open Source) zugreifen, und vielfältige Tools integrieren. Alle Daten bleiben dabei auf unserem Server.

Künstliche Intelligenz: Mit Private Prompts (Open Source) bleiben die Daten auf dem eigenen Rechner

Was passiert eigentlich mit meinen Daten, wenn ich Künstliche Intelligenz nutze? Bei Anweisungen (Prompts) an das jeweilige KI-Modell ist oft nicht klar, was mit den Daten passiert, da viele der bekannten Modelle – wie beispielsweise ChatGPT – Closed Source Models, also nicht transparent sind.

Gerade wenn es um persönliche Daten geht, ist das unangenehm. Es ist daher sehr erfreulich, dass die Entwicklung eines Tools, dass die privaten Daten schützt öffentlich gefördert wurde und als Open Source Anwendung frei zur Verfügung steht.

“Mit der kostenlosen Anwendung Private Prompts bleiben deine Daten dort, wo sie hingehören – bei dir auf deinem Rechner. Die Entwicklung von Private Prompts wird im Zeitraum 1.9.2024-28.02.2025 gefördert durch das Bundesministerium für Bildung und Forschung und den Prototype Fund (Förderkennzeichen 01IS24S44)” (Quelle: https://www.privateprompts.org/).

Wir gehen noch einen Schritt weiter, in dem wir LocalAI auf unserem Server installiert haben. Wir nutzen dabei verschiedene Modelle, die als Open Source AI bezeichnet werden können. Siehe dazu

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

Mit Künstlicher Intelligenz und Online-Daten von Verbrauchern können (auch eigene) Produkte direkt entwickelt werden

Mit Hilfe der hybriden Wettbewerbsstrategie Mass Customization (PDF) ist es Unternehmen möglich, Produkte zu individualisieren, ohne dass der Preis höher ist, als bei massenhaft hergestellten Produkten. Kernelement ist dabei ein Konfigurator, mit dem der Kunde selbst in einem definierten Lösungsraum (fixed solution space) vielfältige Möglichkeiten zusammenstellen kann. In der Zwischenzeit gibt es allerdings mit Künstlicher Intelligenz noch ganz andere Optionen für Mass Customization.

Künstliche Intelligenz kann für einen Verbraucher Produkte und Dienstleistungen entwickeln und anbieten, nur auf Basis der vom Konsumenten generierten Daten – sogar ohne die aktive Mitwirkung des Konsumenten. Damit bringt Künstliche Intelligenz Mass Customization auf ein neues Level: Smart Customization.

“But this is one area where AI can take mass customization to a new level: The growth of AI and machine learning can allow us to use all the data traces consumers leave online to design a perfect product for an individual consumer, without their active involvement. AI can evolve into the ability to perfectly customize a product for a consumer, without the
need for a conscious process of elicitation from the consumer. As a consumer, I could specify what I want for aesthetics, while for functional parameters, it could be the system that senses what I want and desire. An algorithm reading your Instagram profile might know better than you do about your dream shirt or dress. I see a lot of opportunity to use the data that’s out there for what I call smart customization” (Piller, Frank T. and Euchner, James, Mass Customization in the Age of AI (June 07, 2024). Research-Technology Management, volume 67, issue 4, 2024 [10.1080/08956308.2024.2350919], Available at SSRN: https://ssrn.com/abstract=4887846).

Dieser Ansatz ist natürlich für Unternehmen interessant, da sie die umständlichen und teuren Befragungen von Verbraucher nicht mehr – oder etwas weniger – benötigen, um angemessene Produkte anzubieten.

Es gibt allerdings auch noch eine andere Perspektive: Was ist, wenn die Verbraucher ihre eigenen Daten mit Hilfe von Künstlicher Intelligenz selbst nutzen, um eigene Produkte zu entwickeln? Im Extremfall – und mit Hilfe von modernen Technologien wie z.B. den 3D-Druck (Additive Manufacturing) – können sich die Verbraucher innovative Produkte selbst herstellen. Diese Option klingt etwas futuristisch, da wir es gewohnt sind, Innovationen mit Unternehmen in Verbindung zu bringen. Doch hat Eric von Hippel gezeigt, dass es immer mehr von diesen Open User Innovation gibt, die gar nicht in den üblichen Statistiken zu Innovation auftauchen. Siehe dazu auch

Eric von Hippel (2005): Democratizing Innovation

Free Innovation: Was wäre, wenn wir Innovationen stärker Bottom-Up denken und fördern würden?

Eric von Hippel (2017): Free Innovation

Versuch einer Einordnung: Menschliche Intelligenz, Hybride Intelligenz, Künstliche Intelligenz

Artificial Intelligence in relation to human intelligence (Hossein Jarrahi et al. 2022, https://doi.org/10.1177/20539517221142824

Der Begriff “Intelligenz” wird in der aktuellen Diskussion um Künstliche Intelligenz (Artificial Intelligence) immer wichtiger. Dabei gibt es oft zwei Argumentations-Pole, die sich scheinbar unüberbrückbar gegenüberstehen:

Zunächst ist da der Standpunkt, dass Künstliche Intelligenz (Technologie) in Zukunft auch die Menschliche Intelligenz umfassen wird. Demgegenüber gibt es die Perspektive, dass die Menschliche Intelligenz Elemente enthält, die (noch) nicht von Technologie (Künstlicher Intelligenz) ersetzt werden kann.

In der Zwischenzeit setzt sich – wie so oft – immer stärker die Auffassung durch, dass es durchaus Sinn machen kann, eine Art Hybride Intelligenz zu thematisieren, also eine Art Schnittmenge zwischen Menschlicher und Künstlicher Intelligenz. In der Abbildung ist diese Sicht auf Intelligenz dargestellt.

“Put simply, humans possess “general intelligence” in being able to comprehend and analyze various situations and stimuli, to ideate, create and imagine. The intelligence projected by AI systems is predominantly task-centered (Narayanan and Kapoor, 2022)” (Hossein Jarrahi et al. 2022).

Ergänzen möchte ich an dieser Stelle, dass hier der Begriff “general intelligence” bei der Menschlichen Intelligenz wohl auf den Intelligenz-Quotienten verweist, der allerdings in der Gesamtdiskussion wenig hilfreich erscheint. In dem Beitrag OpenAI Model “o1” hat einen IQ von 120 – ein Kategorienfehler? wird deutlich, dass aktuelle KI-Modelle schon locker entsprechende Intelligenz-Tests bestehen.

Meines Erachtens scheint es immer wichtiger zu sein, das Verständnis der Menschlichen Intelligenz im Sinne von Multiplen Intelligenzen nach Howard Gardner zu erweitern Dieses Verständnis hätte eine bessere Passung zu der aktuellen Entwicklung.

Siehe dazu auch Freund, R. (2011): Das Konzept der Multiplen Kompetenz auf den Analyseebenen Individuum, Gruppe, Organisation und Netzwerk.

Open LLMs for Transparent AI in Europe

Screenshot Open Euro LLM

Wie schon in dem Beitrag Digitale Souveränität: Europa, USA und China im Vergleich dargestellt, haben China, die USA und Europa unterschiedliche Herangehensweisen, mit Künstlicher Intelligenz umzugehen.

Es wundert daher nicht, dass sich die neue Regierung in den USA darüber beschwert, dass Europa die Entwicklung und Nutzung Künstlicher Intelligenz in Schranken regulieren will. Ich hoffe, Europa ist selbstbewusst genug, sich diesem rein marktwirtschaftlich ausgerichteten Vorgehen der USA zu widersetzen, ohne die Möglichkeiten einer Nutzung und Entwicklung von Künstlicher Intelligenz zu stark einzuschränken. Der Einsatz Künstlicher Intelligenz wird gravierende gesellschaftliche Veränderungen nach sich ziehen, sodass es auch erforderlich, gesellschaftlich auf diese Entwicklung zu antworten.

Neben China und den USA kann es Europa durchaus gelingen, beide Schwerpunkte (USA: Kapital getrieben, China: Politik getrieben) zur Nutzung von Künstliche Intelligenz in einem Hybriden Europäischen KI-Ansatz zu verbinden. Das wäre gesellschaftlich eine Innovation, die durchaus für andere Länder weltweit interessant sein könnte.

Open Euro LLM ist beispielsweise so eine Initiative, die durchaus vielversprechend ist. Wie in dem Screenshot zur Website zu erkennen ist, setzt man bei Open Euro LLM auf Offenheit und Transparenz, und auch auf europäische Sprachen in den Trainingsdatenbanken der Large Language Models (LLM). Beispielhaft soll hier der Hinweis auf Truly Open noch einmal herausgestellt werden:

Truly Open
including data, documentation, training and testing code, and evaluation metrics; including community involvement

In Zukunft wird es meines Erachtens sehr viele kleine, spezialisierte Trainingsdatenbanken (SLM: Small Language Models) geben, die kontextbezogen in AI-Agenten genutzt werden können. Wenn es um Kontext geht, muss auch die kulturelle Vielfalt Europas mit abgebildet werden. Dabei bieten sich europäische Trainingsdatenbanken an. Siehe dazu auch

CAIRNE: Non-Profit Organisation mit einer europäischen Perspektive auf Künstliche Intelligenz

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data

Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

AI Agents: Langflow (Open Source) auf unserem Server installiert

Ollama: AI Agenten mit verschiedenen Open Source Modellen entwickeln

Künstliche Intelligenz (KI oder AI: Artificial Intelligence) einzusetzen ist heute in vielen Organisationen schon Standard. Dabei nutzen immer noch viele die von den kommerziellen Anbietern angebotenen KI-Systeme. Dass das kritisch sein kann, habe ich schon in vielen Blogbeiträgen erläutert.

Wir wollen einen anderen Weg, aufzeigen, der die Digitale Souveränität für Organisationen und Privatpersonen ermöglicht: Open Source AI und eine Open Source Kollaborationsplattform. Siehe dazu Von der digitalen Abhängigkeit zur digitalen Souveränität.

Im ersten Schritt haben wir unsere NEXTCLOUD über einen ASSISTENTEN mit Künstlicher Intelligenz verknüpft, wobei alle Daten auf unserem Server bleiben. Siehe LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten.

Im zweiten Schritt haben wir für die Entwicklung von AI-Agenten Langflow (Open Source) auf unserem Server installiert. Dabei ist es möglich, ChatGPT von OpenAI, oder über Ollama sehr viele unterschiedliche Open Source Modelle zu nutzen. Wir wollen natürlich den zweiten Weg gehen und haben daher Ollama auf unserem Server installiert.

Ollama Startseite auf unserem Server: Eigener Screenshot

In der Abbildung ist zu sehen, dass wir für den ersten Test zunächst vier Modelle installiert haben, inkl. DeepSeek-R1 und LLama 3.2. Demnächst werden wir noch weitere Modelle installieren, die wir dann in Langflow integrieren, um AI-Agenten zu entwickeln. In den kommenden Wochen werden wir über die Erfahrungen berichten.

AI Agents: Langflow (Open Source) auf unserem Server installiert

Das nächste große Ding in der KI-Entwicklung ist der Einsatz von KI-Agenten (AI Agents). Wie schon in vielen Blogbeiträgen erwähnt, gehen wir auch hier den Weg dafür Open Source zu verwenden. Bei der Suche nach entsprechenden Möglichkeiten bin ich recht schnell auf Langflow gestoßen. Die Vorteile lagen aus meiner Sicht auf der Hand:

(1) Komponenten können per Drag&Drop zusammengestellt werden.
(2) Langflow ist Open Source und kann auf unserem eigenen Server installiert werden. Alle Daten bleiben somit auf unserem Server.

Die Abbildung zeigt einen Screenshot von Langflow – installiert auf unserem Server.

Auf der linken Seite der Abbildung sind viele verschiedene Komponenten zu sehen, die in den grau hinterlegten Bereich hineingezogen werden können. Per Drag&Drop können INPUT-Komponenten und OUTPUT-Format für ein KI-Modell zusammengestellt – konfiguriert – werden. Wie weiterhin zu erkennen, ist standardmäßig OpenAI als KI-Modell hinterlegt. Für die Nutzung wird der entsprechende API-Schlüssel eingegeben.

Mein Anspruch an KI-Agenten ist allerdings, dass ich nicht OpenAI mit ChatGPT nutzen kann, sondern auf unserem Server verfügbare Trainingsdaten von Large Language Models (LLM) oder Small Language Models (SML), die selbst auch Open Source AI sind. Genau diesen Knackpunkt haben wir auch gelöst. Weitere Informationen dazu gibt es in einem der nächsten Blogbeiträge. Siehe in der Zwischenzeit auch

Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Digitale Souveränität: Europa, USA und China im Vergleich

LocalAI: Aktuell können wir aus 713 Modellen auswählen

Eigener Screenshot

Künstliche Intelligenz (KI) wirkt schon heute – und in Zukunft noch viel mehr – in alle Bereiche der Gesellschaft. Die Frage ist allerdings, wie Künstliche Intelligenz (AI: Artificial Intelligence) genutzt wird.

Ein Weg ist dabei, sich von den Vorgaben der eher geschlossenen KI-Systeme treiben zu lassen. Das hat durchaus Vorteile, allerdings auch Nachteile. Siehe dazu ausführlicher Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften.

Wir versuchen daher einen alternativen Weg aufzuzeigen, und auch umzusetzen. Dabei setzen wir auf die lokale Verarbeitung der Daten und auf die Nutzung von Open Source AI.

Dazu haben wir LocalAI (LokalKI) auf unserem Server installiert. Wie der Abbildung zu entnehmen ist, stehen uns aktuell 713 frei verfügbare Modelle zur Verfügung, die unterschiedlich genutzt werden können:

Zunächst ist es möglich, einzelne Modelle auszuwählen und mit Eingaben (Texte) zu testen. Dabei können Sie schon erkennen, welche Modelle für welche Anwendungen geeignet sind. Denn: Es wird in Zukunft immer mehr darauf ankommen, die geeigneten (kleineren) Modelle für die jeweiligen Prozessschritte im Unternehmen, oder privat zu nutzen.

Weiterhin können wir jedes der Modelle auch in NEXTCLOD über den NEXTCLOUD-ASSISTENTEN und der Funktion CHAT MIT KI nutzen. Siehe dazu LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten.

Der Vorteil liegt auf der Hand: Mit LocalAI bleiben alle Daten auf unserem Server. Ein nicht zu unterschätzender Punkt – heute, und viel stärker noch in Zukunft.