In Europa gibt es immer mehr länderspezifische LLM (Large Language Models) – wie z.B. AI Sweden

Screenshot von der Website AI Sweden

In dem Blogbeitrag Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data hatte ich schon erläutert, wie wichtig es ist, dass sich Organisationen und auch Privatpersonen nicht nur an den bekannten AI-Modellen der Tech-Giganten orientieren. Ein wichtiges Kriterien sind die dort oftmals hinterlegten Daten, die natürlich zum überwiegenden Teil in Englisch (oder Chinesisch) vorliegen.

In Europa haben wir gegenüber China und den USA in der Zwischenzeit ein eigenes Verständnis von der gesellschaftlichen Nutzung der Künstlichen Intelligenz entwickelt (Blogbeitrag). Dabei spielen die technologische Unabhängigkeit (Digitale Souveränität) und die europäische Kultur wichtige Rollen.

Die jeweiligen europäischen Kulturen drücken sich in den verschiedenen Sprachen aus, die dann auch möglichst Bestandteil der in den KI-Modellen genutzten Trainingsdatenbanken (LLM) sein sollten – damit meine ich nicht die Übersetzung von englischsprachigen Texten in die jeweilige Landessprache.

Ein Beispiel für so eine Entwicklung ist AI SWEDEN mit dem veröffentlichten GPT-SW3 (siehe Abbildung). Das LLM ist im Sinne der Open Source Philosophie (FOSS: Free Open Source Software) transparent und von jedem nutzbar – ohne Einschränkungen.

“GPT-SW3 is the first truly large-scale generative language model for the Swedish language. Based on the same technical principles as the much-discussed GPT-4, GPT-SW3 will help Swedish organizations build language applications never before possible” (Source).

Für schwedisch sprechende Organisationen – oder auch Privatpersonen – bieten sich hier Möglichkeiten, aus den hinterlegten schwedischen Trainingsdaten den kulturellen Kontext entsprechend Anwendungen zu entwickeln. Verfügbar ist das Modell bei Huggingface.

Open LLMs for Transparent AI in Europe

Screenshot Open Euro LLM

Wie schon in dem Beitrag Digitale Souveränität: Europa, USA und China im Vergleich dargestellt, haben China, die USA und Europa unterschiedliche Herangehensweisen, mit Künstlicher Intelligenz umzugehen.

Es wundert daher nicht, dass sich die neue Regierung in den USA darüber beschwert, dass Europa die Entwicklung und Nutzung Künstlicher Intelligenz in Schranken regulieren will. Ich hoffe, Europa ist selbstbewusst genug, sich diesem rein marktwirtschaftlich ausgerichteten Vorgehen der USA zu widersetzen, ohne die Möglichkeiten einer Nutzung und Entwicklung von Künstlicher Intelligenz zu stark einzuschränken. Der Einsatz Künstlicher Intelligenz wird gravierende gesellschaftliche Veränderungen nach sich ziehen, sodass es auch erforderlich, gesellschaftlich auf diese Entwicklung zu antworten.

Neben China und den USA kann es Europa durchaus gelingen, beide Schwerpunkte (USA: Kapital getrieben, China: Politik getrieben) zur Nutzung von Künstliche Intelligenz in einem Hybriden Europäischen KI-Ansatz zu verbinden. Das wäre gesellschaftlich eine Innovation, die durchaus für andere Länder weltweit interessant sein könnte.

Open Euro LLM ist beispielsweise so eine Initiative, die durchaus vielversprechend ist. Wie in dem Screenshot zur Website zu erkennen ist, setzt man bei Open Euro LLM auf Offenheit und Transparenz, und auch auf europäische Sprachen in den Trainingsdatenbanken der Large Language Models (LLM). Beispielhaft soll hier der Hinweis auf Truly Open noch einmal herausgestellt werden:

Truly Open
including data, documentation, training and testing code, and evaluation metrics; including community involvement

In Zukunft wird es meines Erachtens sehr viele kleine, spezialisierte Trainingsdatenbanken (SLM: Small Language Models) geben, die kontextbezogen in AI-Agenten genutzt werden können. Wenn es um Kontext geht, muss auch die kulturelle Vielfalt Europas mit abgebildet werden. Dabei bieten sich europäische Trainingsdatenbanken an. Siehe dazu auch

CAIRNE: Non-Profit Organisation mit einer europäischen Perspektive auf Künstliche Intelligenz

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data

Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht

Open Source AI: Besser für einzelne Personen, Organisationen und demokratische Gesellschaften

AI Agents: Langflow (Open Source) auf unserem Server installiert

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data

Immer mehr Privatpersonen und Organisationen realisieren, dass die populären Trainingsdaten (LLM: Large Language Models) für ChatGPT von OpanAI, oder auch Gemini von Google usw., so ihre Tücken haben können, wenn es beispielsweise im andere oder um die eigenen Urheberrechte geht. In diesem Punkt unterscheiden wir uns in Europa durchaus von den US-amerikanischen und chinesischen Ansätzen. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich. Darüber hinaus liegen die Daten der bekannten (closed source) LLMs zu einem überwiegenden Teil in englischer oder chinesischer Sprache vor.

Die Alternativen waren bisher entweder nicht leistungsstark genug, oder einfach nicht für die Allgemeinheit als Open Source Model verfügbar. Siehe dazu Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht. Das hat sich in der Zwischenzeit geändert. Beispielsweise wurde Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht, die gerade Daten für KI-Anwendungen enthält, die urheberrechtlich freigegeben wurden. Weiterhin gibt es das geförderte Projekt OpenGPT-X, das nun Teuken 7B-v0.4 veröffentlicht hat.

Quelle: https://opengpt-x.de/en/models/teuken-7b/

“Multilingual, open source models for Europe – instruction-tuned and trained in all 24 EU languages…. Training on >50% non English Data. (…) This led to the creation of a custom multilingual tokenizer” (ebd.).

Neben der freien Verfügbarkeit (Open Source AI) (via Hugging Face) ist somit ein großer Pluspunkt, dass eine große Menge an Daten, nicht englischsprachig sind. Das unterscheidet dieses Large Language Model (LLM) sehr deutlich von den vielen englisch oder chinesisch dominierten (Closed Source) Large Language Models.

Insgesamt halte ich das alles für eine tolle Entwicklung, die ich in der Geschwindigkeit nicht erwartet hatte!

MCP-CE 2016: Mass Customization and Open Innovation in Central Europe

mcpce2016Die von mir initiierte Konferenzreihe MCP in Mittel- und Osteuropa findet im kommenden Jahr zum 7. Mal statt. Nach der Weltkonferenz MCPC 2015 in Montréal ist die MCP-CE eine der wichtigsten Konferenzen zu Mass Customization und Open Innovation in Europa geworden. Auch im kommenden Jahr ist wieder mit einem spannenden Konferenzprogramm zu rechnen, da wir mit der 1. Regionalkonferenz iDEAlab kooperieren und auch wieder den Workshop für Doktoranden haben werden. Hier nun die Mitteilung für den 1. Call for Papers:

===================================================================

Dear Colleagues,

It is our pleasure to inform you about the first call for the 7th International Conference on Mass Customization and Personalization which will be held in Novi Sad from 21st to 23rd September of 2016.

We are also happy to inform you that we are going to have again 3 joint events next year:

–  7th MCP-CE International Conference

–  1st Regional conference iDEAlab

–  2nd DSW – Doctoral Student Workshop

The next conference will focus on Mass Customization and Open Innovation in University-Industry Collaboration in Central Europebut other challenging topics regularly discussed at our conference include all aspects of development, manufacture and distribution of mass customized products and services.

We are also preparing a rich social and cultural program, so you can fully enjoy our hospitality during your stay in Novi Sad.

You can find more information on our website www.mcp-ce.org, or download Call for Papers for MCP-CE 2016 from the link given bellow:

http://www.mcp-ce.org/images/mcp-ce_2016_1st_call_for_papers.pdf

 

Yours sincerely,

Cipriano Forza, Robert Freund & Zoran Anisic

                Conference Chairmen

===================================================================

Internet der Dinge – Was ist das eigentlich?

internetofthings2Der Begriff “Internet der Dinge” oder “Internet of Things” (IoT) ist in aller Munde, doch wird der Kern oftmals unterschiedlich interpretiert. Der Begriff “Internet of Things” stammt wohl von einer gleichnamigen Präsentation, die Kevin Ashton 1999 bei Procter & Gamble gehalten hat (Quelle). Ashton meinte damit allerdings zunächst die Vernetzung von “befähigten Computern” und noch nicht die Vernetzung aller Dinge – also aller “physischen Objekte”. Diese Erweiterung des Begriffs “Internet of Things” findet man dann in 2012 in einem RAND Europe Forschungsbericht an die Europäische Kommission:

„Das Internet der Dinge baut das heutige Internet zu einem allgegenwärtigen, selbst-organisierenden Netzwerk verbundener, identifizierbarer und ansprechbarer physischer Objekte aus. Es erlaubt die Anwendungsentwicklung quer durch alle wichtigen vertikalen Branchensegmente unter Verwendung eingebauter Chips, Sensoren, Ansteuerungen
und Low-Cost-Miniaturisierung.” [RAND (2012): Europe’s policy options for a dynamic and trustworthy development of the Internet of Things, zitiert in AIG (2015:6)]

“Ein Sensor und eine Verbindung sind also die zwei wichtigsten elektronischen „Teile“ eines
IoT-Objekts” (AIG 2015:6). Dabei ist es egal, ob das Objekt ein Ding oder der Mensch ist… Aus diesen Überlegungen heraus ergeben sich viele Anwendungsmöglichkeiten, die unser Leben in naher Zukunft stark verändern werden. Diese Zusammenhänge besprechen wir auch in den von uns entwickelten Blended Learning Lehrgängen Innovationsmanager (IHK) und Wissensmanager (IHK). Informationen dazu finden Se auf unserer Lernplattform.

Innovation Union Scoreboard 2014

ius-2014-coverDie EU ist daran interessiert, den Rahmen für vielfältige Innovationen zu schaffen. Das Innovation Union Scoreboard 2014 (PDF, 14MB) bzw. das Executive Summary (PDF, 195KB) zeigt die großen Unterschiede zwischen den verschiedenen Mitgliedsstaaten auf. Beruhigend für Deutschland ist, dass sich das Land im Vergleich zu den Top 4 zählen kann. Ich frage mich allerdings, ob ein Vergleich innerhalb der EU wirklich etwas bringt, denn immerhin gibt es in der EU bzw. in Deutschland keinen einzigen wirklichen Kontrahenten im Vergleich zu den dynamischen und innovativen Weltmarktführer wie Google, Apple, Facebook usw. Warum eigentlich? Ich habe manchmal das Gefühl, dass es in der EU – und auch in den einzelnen Ländern wie Deutschland – mehr Innovationspreise als wirkliche Innovationen gibt. Oder täusche ich mich hier?

Open Innovation in verschiedenen Regionen Europas

Die Veröffentlichung Embracing Open Innovation in Europa. A best practice guide on Open Innovation Policies aus dem Jahr 2012 zeigt deutlich auf, welche Regionen in Europa Open Innovation zur besseren Entwicklung nutzen. In Deutschland ist es z.B. die Region um Stuttgart, deren Aktivitäten sehr schön beschrieben werden. Regionale oder lokale Open Innovation Ansätze haben den Vorteil, dass sie die Besonderheiten einer regionalen/lokalen komplexen Problemlösung beachten: Eine nicht zu unterschätzende Qualität. Siehe dazu auch Gedanken zum Problemlösen und Lukac, D.; Freund, R. (2012): Open Innovation, Social Embeddedness of Economic Action and its Cultural Determinants.