Veröffentlicht am

Open Source AI-Models for Europe: Teuken 7B – Training on >50% non English Data

Immer mehr Privatpersonen und Organisationen realisieren, dass die populären Trainingsdaten (LLM: Large Language Models) für ChatGPT von OpanAI, oder auch Gemini von Google usw., so ihre Tücken haben können, wenn es beispielsweise im andere oder um die eigenen Urheberrechte geht. In diesem Punkt unterscheiden wir uns in Europa durchaus von den US-amerikanischen und chinesischen Ansätzen. Siehe dazu Digitale Souveränität: Europa, USA und China im Vergleich. Darüber hinaus liegen die Daten der bekannten (closed source) LLMs zu einem überwiegenden Teil in englischer oder chinesischer Sprache vor.

Die Alternativen waren bisher entweder nicht leistungsstark genug, oder einfach nicht für die Allgemeinheit als Open Source Model verfügbar. Siehe dazu Open Source AI Definition – 1.0: Release Candidate 2 am 21.10.2024 veröffentlicht. Das hat sich in der Zwischenzeit geändert. Beispielsweise wurde Open Source AI: Common Corpus als größte offene Trainingsdatenbank veröffentlicht, die gerade Daten für KI-Anwendungen enthält, die urheberrechtlich freigegeben wurden. Weiterhin gibt es das geförderte Projekt OpenGPT-X, das nun Teuken 7B-v0.4 veröffentlicht hat.

Quelle: https://opengpt-x.de/en/models/teuken-7b/

“Multilingual, open source models for Europe – instruction-tuned and trained in all 24 EU languages…. Training on >50% non English Data. (…) This led to the creation of a custom multilingual tokenizer” (ebd.).

Neben der freien Verfügbarkeit (Open Source AI) (via Hugging Face) ist somit ein großer Pluspunkt, dass eine große Menge an Daten, nicht englischsprachig sind. Das unterscheidet dieses Large Language Model (LLM) sehr deutlich von den vielen englisch oder chinesisch dominierten (Closed Source) Large Language Models.

Insgesamt halte ich das alles für eine tolle Entwicklung, die ich in der Geschwindigkeit nicht erwartet hatte!

Veröffentlicht am

Worin unterscheiden sich Industry 5.0 und Society 5.0?

Quelle: https://www8.cao.go.jp/cstp/english/society5_0/index.html (Abgerufen am 01.11.2024)

Wir haben uns an die verschiedenen Beschreibungen industriellen Fortschritts gewöhnt, indem wir beispielsweise von Industry 4.0, oder jetzt auch Industry 5.0 sprechen. Was ist darunter zu verstehen?

“Industry 5.0 recognises the power of industry to achieve societal goals beyond jobs and growth to become a resilient provider of prosperity by making production respect the boundaries of our planet and placing the well-being of the industry worker at the centre of the production process” (Breque et al., 2021:14, zitiert in Nielsen & Brix 2023).

Es wird deutlich, dass hier ein menschenzentrierter Ansatz zu erkennen ist, der allerdings auf den Industriearbeiter fokussiert ist. Erweiternd hat sich ein Gedanke etabliert, der schon vor einigen Jahren in Japan mit dem Begriff Society 5.0 beschrieben wurde, und in der Zwischenzeit auch in Europa Beachtung findet.

“By comparison, Society 5.0 is “A human-centred society that balances economic advancement with the resolution of social problems by a system that highly integrates cyberspace and physical space” (Japan Cabinet Office, 2016, zitiert in Nielsen & Brix 2023).

Auch hier geht es um einen menschenzentrierten Ansatz, der allerdings nicht auf den Industriearbeiter begrenzt ist, sondern alle Bürger generell mitnehmen will. Dabei sollen die konkreten Probleme der Menschen (endlich) gelöst werden, wobei die neuen Technologien eine große Bedeutung haben. Innovationen müssen letztendlich in diesem Zusammenhang auf soziale und gesellschaftliche Innovationen erweitert werden.

Nielsen und Brix (2023) beschreiben diese Zusammenhänge ausführlich und stellen ein entsprechendes Modell vor, das im Raum Aalborg (Dänemark) auch schon erfolgreich umgesetzt wurde. Interessant dabei ist, dass beide Autoren vorschlagen, den Weg zu einer Society 5.0 nicht Top-Down – also nur von den politischen EU-Gremien aus -sondern von “unten” – also von den Bürgern aus – anzugehen. Daher nennen Nielsen und Brix dieses Vorgehensweise auch “bottom-up ‘society transition model’”.

Ich mag diesen Bottom-Up-Gedanken sehr, da es mit den Überlegungen von Eric von Hippel (Democratizing Innovation, Free Innovation) und den vielfältigen Open Source Initiativen zusammenpasst.

Veröffentlicht am

Künstliche Intelligenz: Vorteile von Open-Source-Modellen

Was als Open-Source begann, wird oft zu einem wirtschaftlich getriebenen Closed-Source-Modell. Das Beispiel OpenAI zeigt, wie das funktioniert. Zunächst war OpenAI Open-Source basiert und wurde dann unter dem Einfluss und dem Kapital von Microsoft Schritt für Schritt zu einem Closed-Source KI-System, das sich der Konzern gut bezahlen lässt. Es ist zu vermuten, dass dieser Weg auch von anderen Konzernen beschritten wird, sobald sich die Anwender an die zunächst freien Funktionen gewöhnt haben, wodurch sich deren Switching-Cost pro Anwender erhöhen. Diese Entwicklung wird allerdings in dem aktuellen EFI Gutachten (2024) kritisch gesehen, und hervorgehoben, welche Vorteile Open-Source KI-Modelle haben:

“Open-Source-Modelle können den Wettbewerb stärken und bieten mehr Innovationsmöglichkeiten als Closed-Source-Modelle, da sie in der Regel besser anpassbar sind. Zudem können Akteure aus Wissenschaft und Wirtschaft, insbesondere Startups und KMU, von den verhältnismäßig niedrigen Kosten der Open-Source-Nutzung profitieren und
vorhandene Open-Source-Modelle einsetzen, um domänenspezifisch zu innovieren und die Produktivität zu steigern. Dies erhöht den Wettbewerb und die Angebotsvielfalt und beugt somit Monopolisierungstendenzen vor. Darüber hinaus haben Open-Source-Modelle den Vorteil, dass Programmierfehler oder potenzielle Verzerrungen, die bei der Analyse von Daten entstehen, schneller identifiziert und behoben werden können. Dies ist der Transparenz und Zuverlässigkeit von KI-Modellen förderlich” (EFI Gutachten 2024:88).

Jede Organisation sollte sich genau überlegen, welche KI-Strategie geeignet ist, mittel- und langfristig die Chancen von KI-Modellen zu nutzen. Wir nutzen Open-Source-KI-Modelle in unserer Nextcloud und entwickeln dadurch eine KI-Strategie, die zu unseren Anforderungen passt. Wie weit wir Closed-Source KI-Modelle mit integrieren, entscheiden wir je nach Bedarf mit Hilfe des integrierten Ethical KI-Rankings.

Veröffentlicht am

Wie sieht es aus, wenn wir “Innovation” weltweit vergleichen?

Wie ich in unserem Blog schon an vielen Stellen erwähnt habe, ist die deutsche/europäische Sicht auf Innovation oft sehr selektiv. Wenn wir deutsche Innovationen mit vergleichbaren Werten aus der Vergangenheit vergleichen, gibt es auf der Ebene der Politik und auch auf der Ebene der Unternehmen nur Positives zu vermelden – was auch gemacht wird. Es vergeht kein Tag, in dem nicht darauf hingewiesen wird, wie innovativ Deutschland sei. Es ist eben alles relativ: Honi soit qui mal y pense.

Vergleichen wir das deutsche Innovationssystem international, sieht es allerdings anders aus. Das weltweite Ranking der Boston Consulting Group zeigt seit 2005 eine deutliche Entwicklung. Die innovativsten Unternehmen kommen – bei einer Ausnahme (Samsung, Südkorea) – aus den USA oder China – und Europa/Deutschland schaut staunend zu. Als exportabhängige Nation sind wir von der Zukunftsfähigkeit von Produkten und Dienstleistungen, aber auch von der Zukunftsfähigkeit der politischen und rechtlichen Strukturen abhängig. Diese Zukunftsfähigkeit scheint in den letzten Jahrzehnten verspielt worden zu sein.

Wo sind deutsche/europäische Unternehmen wie Apple, Alphabet/Google, Amazon, Microsoft, Samsung, Huawei, Alibaba, IBM, Sony, Facebook (Top 10)?

Veröffentlicht am

Open Innovation in European Industries

oi-net

 

Die Studie OI-NET (2016): Open Innovation in Europeam Industries (PDF, Executive Summary) zeigt auf, wie unterschiedlich Open Innovation genutzt wird (S. 3):

Inbound open innovation activities (sourcing for technology outside the firm, co-creating with
external partners, in-licensing, etc.) are adopted much more ofen and intensively, than outbound modes (free revealing of technologies, outlicensing, surplus technology commercializing, etc.). In general, 69,6% of companies in our sample adopt open innovation activities. The average level of open innovation adoption differs for different activities: from maximum 93,3% (Collaboration with external partner) to minimum of 44,3% (IP out
licensing). The most intensively adopted open innovation activities are: collaborative innovation; scanning for new ideas; customer co-creation in R&D project and using external networks. The least intensively adopted open innovti,on activites are: IP in and out licensing; selling initialized technologies; crowdsourcing; free revealing of ideas and IP to external parties.

Auch hier ist bezeichnend, dass man sich bei der Definition von Open Innovation auf Chesbrough bezieht, der Open Innovation mit Geschäftsmodellen verbindet, und sich damit eher auf Organisationen bezieht. Der Ansatz von Eric von Hippel, Open Innovation auf User zu beziehen (Open User Innovation) wird hier leider nicht thematisiert. Solche Zusammenhänge und Unterschiede besprechen wir auch in dem von uns entwickelten Blended Learning Lehrgang Innovationsmanager (IHK). Ab November wird der Lehrgang beispielsweise bei der IHK-Rhein-Neckar in Mannheim angeboten. Weitere Informationen dazu finden Sie auf unserer Lernplattform.

Veröffentlicht am

Frugale Innovationen: Ergebnisse einer europäischen Studie

idea

Die europäische Studie zu Frugalen Innovationen Fraunhofer ISI (2017): Study on frugal innovation and reengineering of traditional techniques (PDF, Kurzfassung) zeigt auch anhand von Beispielen auf, wie Frugale Innovation gelingen kann. Der Begriff Frugale Innovationen bezieht sich dabei auf den “process of reducing a solution to exactly those, often basic, functionalities that users will need, thus economising on resources and cost” (S. 4). Die Erkenntnisse der Studie werden wie folgt zusammengefasst (S. 14).

1. Many Europeans pursue frugally inspired projects, often driven by altruistic motivation but at the same time confident that they will eventually become viable or even profitable.
2. The prevailing approach in firms with a primary focus on technology development remains non-frugal for good reasons, but new actors could be mobilised for frugal innovation.
3. There are several very positive examples of more open innovation models in Europe, even if most have not yet connected with the industrial mainstream.
4. Many technologies constitute relevant platforms for the design of future frugal solutions, even if the heralded industrial paradigm shift has yet to materialize.
5. There are clear trends that point towards greater demand for frugal solutions in Europe. However, it seems that often, customers are still hesitant about choosing frugal solutions due to the negative image associated with “buying affordably”.
6. Most smaller firms face considerable challenges in the attempt to launch technology-based frugal solutions on emerging markets, and many have failed in the process.
7. Due to slow market reactions, it proves difficult to scale first ideas to broad applications. For many of the solutions reviewed, public sector demand could be an initial trigger.
8. To be considered worthy of public policy support, frugal projects should aim not only at achieving low prices but on proven quality and limited environmental footprint.

In dem von uns entwickelten Blended Learning Lehrgang Innovationsmanager (IHK) gehen wir auch auf Frugale Innovationen ein. Informationen zum Lehrgang finden Sie auf unserer Lernplattform.

Veröffentlicht am

Deutschland verschwendet Kompetenzen

menschenDie Überschrift hört sich etwas komisch an, wenn man bedenkt, dass das deutsche Duale Ausbildungssystem so erfolgreich ist. Im Vergleich zu anderen Ländern, hinkt Deutschland allerdings bei der Anerkennung informell erworbener Kompetenzen hinterher. Der Beitrag Anerkennung von Kompetenzen – Deutschland muss nachsitzen vom 10.02.2015 stellt die Zusammenhänge gut dar: “Laut jüngsten Ergebnissen einer Studie am WZB verfügt jeder sechste formal gering qualifizierte Mann über hohe alltagsmathematische Kompetenzen. Diese zahlen sich für ihn aber überhaupt nicht auf seine Erwerbschancen aus. In Deutschland liegt das Nichterwerbsrisiko unabhängig von den tatsächlich vorhanden Kompetenzen bei Geringqualifizierten Männern in Deutschland bei knapp 30%.” In 2003, also vor gut 12 Jahren, war ich auf einer Konferenz zu dem Thema in Saarbrücken, auf der genau diese Unterschiede im Vergleich zu anderen europäischen Ländern aufgezeigt wurden. In der Zwischenzeit hat sich scheinbar nichts gebessert. Es wird Zeit, dass sich in Deutschland die vielfältigen Potentiale der Menschen besser entfalten können. Das ist nicht nur für den Bildungsbereich, sondern auch für die wirtschaftliche Entwicklung von Unternehmen wichtig. Siehe dazu auch Freund, R. (2011): Das Konzept der Multiplen Kompetenz auf den Analyseebenen, Individuum, Gruppe, Organisation und Netzwerk.

Veröffentlicht am

European Commission (2014): Open Innovation 2.0 Yearbook 2014

oi-20-2014Alles entwickelt sich weiter, auch Open Innovation. Im September 2014 wurde nun das European Commission (2014): Open Innovation 2.0 Yearbook 2014 (PDF) veröffentlich. Darin wird erläutert, wie sich das Verständnis von Innovation wandelt – gewandelt hat -, und welche Perspektiven sich auf Open Innovation 2.0 ergeben. Die komplexen Probleme unserer Zeit, werden nur durch die Öffnung von Innovationsprozessen zu lösen sein. Ob es manche etablierten Strukturen nun wollen, oder nicht. Ich habe immer noch den Eindruck, dass versucht wird, Open Innovation von oben (Top Down) zu verordnen. Die Entwicklungen von User Innovation (Bottom Up) werden zu wenig beachtet und teilweise ignoriert. Siehe dazu auch Ein Europa von unten als Gegenmodell zum vorherrschenden Europa von oben

Veröffentlicht am

Open Innovation 2.0 vom 11.-12.06.2014 in Dublin

open-innovation-2-0Die EU ist im Rahmen der Digitalen Agenda sehr aktiv, wenn es um Open Innovation geht. Vom 11.-12-06.2014 findet daher eine spannende Konferenz zu diesem Thema in Dublin statt. Es ist gut, wenn die Öffnung von Innovationsprozesses immer wieder angesprochen wird, denn es scheint mir im Moment so zu sein, dass die Besitzstandswahrer in der EU immer noch das Sagen haben. Das Gute an Open Innovation – oder von Entgrenzung allgemein – ist, dass es keine Einbahnstraße ist. Die Nutzung von Potenzialen außerhalb von Organisationen wird unweigerlich auch zu Veränderungen der Organisationen selbst führen (Reflexive Open Innovation). Siehe dazu auch Ramaswamy, V. (2014): Wealth-Welfare-Wellbeing, Private-Public-Social Ecosystem Innovation, and Co-Creation of Value.  European Commission, Open Innovation 2.0 und MCP-CE 2014.

Veröffentlicht am

Co-Creation in Schweden

umeaIm September fand in der schwedischen Stadt Umeå eine Konferenz statt, deren Programm mit Hilfe von Co-Creation zusammengestellt wurde: “The conference program has been created through a co-creative process by the actors in the area of sustainability from all over Scandinavia.” Die Stadt Umeå ist in 2014 Kulturhauptstadt und nutzt moderne Ansätze zur Mitarbeit und Mitgestaltung. Es ist schön zu sehen, wie Co-Creation in den unterschiedlichsten Bereichen eingesetzt wird. Siehe dazu auch MCP-CE 2014.