Veröffentlicht am

Locale KI-Anwendung: Erster Test mit dem Modell LLama 3.3 70B

Eigener Screenshot

Wie Sie wissen, haben wir auf unserem Server die Möglichkeit eingerichtet, KI-Modelle lokal auszuwählen und zu testen, bzw. zu nutzen – LokalKI oder LocalAI. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

Die verschiedenen Modelle können dazu vorab ausgewählt werden. Für diesen Test habe ich Llama 3.3 70B ausgewählt, was in der Abbildung zu erkennen ist. LLama 3.3 ist ein nur textbasiertes Modell, das den Vorteil hat, deutlich weniger Rechenaufwand zu benötigen, als z.B. LLama 3.1 405B.

Die Eingabetext wird unten in dem dunkelgrau hinterlegten Feld eingetragen und erscheint dann in dem blau hinterlegten Feld.

Eingabe: Welche Prozessschritte gehören zu einem Innovationsprozess?

Das Ergebnis (Grün hinterlegt) kann sich für den ersten kleinen Test sehen lassen. Die Prozessschritte sind genannt und erläutert.

Die Antwortzeit war relativ kurz, was bei der Modellgröße von 70B durchaus überrascht. Immerhin haben wir keine besondere Rechenleistung installiert.

Der Vorteil ist auch hier: Alle Daten der KI-Anwendung bleiben auf unserem Server .

Veröffentlicht am

LocalAI (Free Open Source Software): Chat mit KI über den Nextcloud-Assistenten

LocalAI: Chat mit KI über den Nextcloud Assistenten

Wie Sie wissen, haben wir eine lokale KI (LokalKI) oder LocalAI installiert. Siehe dazu Free Open Source Software (FOSS): Eigene LocalAI-Instanz mit ersten drei Modellen eingerichtet.

In unserer Kollaborationsplattform Nextcloud (Open Source) kann an jeder beliebigen Stelle der Nextcloud-Assistent aufgerufen werden. Wie in der Abbildung zu sehen ist, ergeben sich hier viele Möglichkeiten, die auch mit lokalen Large Language Models (LLM) verknüpft sind.

In dem Beispiel ist CHAT MIT KI angewählt. Diese Funktion ist in unserer LocalAI mit Llama 3.2 (LLM) verknüpft.

Als Prompt habe ich zum Test einfach “Erstelle eine Liste mit Stakeholdern für das Projekt Website” eingegeben.

Es kam zu einer Nachfrage, die ich beantwortet habe. Anschließend wurde eine durchaus brauchbare Liste möglicher Stakeholder für ein Projekt “Website” ausgegeben.

Nach verschiedenen kleinen Einstellungen am Server waren die Antwortzeiten sehr gut.

Der große Vorteil bei dieser Arbeitsweise ist allerdings: Alle Daten bleiben auf unserem Server – LocalAI eben.

Veröffentlicht am

Nextcloud-Assistent – Lokales LLM als Assistent in Nextcloud integriert

Nextcloud ist eine Open Source Anwendung, die durch verschiedene Apps an die individuellen Anforderungen angepasst werden kann. Damit die Arbeit noch zeitgemäßer, und somit KI-unterstützt durchgeführt werden kann, wurde 2023 die erste Version des Nextcloud Assistenten veröffentlicht. Wir haben nun die Version 1.03 vom Dezember 2023 bei uns problemlos installiert.

Das Symbol für den Nextcloud Assistenten erscheint in der oberen Leiste des Dashboards und in allen Apps, die in unserer Nextcloud verwendet werden. Wie in der Abbildung zu sehen ist, können dabei Context Chat, Free Prompt oder Generate Headline aufgerufen werden. Weitere Funktionen, die sich hinter den drei Punkten verbergen sind Summarize und Reformulate.

Es ist wirklich erstaunlich, wie dynamisch sich Nextcloud entwickelt und die vielfältigen KI-Möglichkeiten integriert – alles Open Source.

Veröffentlicht am

Chatbots setzen sich immer mehr durch

chat

Das Schwerpunktthema des digital publishing report 6/2017 (PDF) lautet: Chatbots. Das digitale Magazin für die Verlagsbranche sollte sich mit diesen – und anderen – neuen Technologien intensiv auseinandersetzen und Risiken und Chancen abwägen. Chatbots sind keine Spielerei mehr, sondern haben sich schon in vielen Bereichen etabliert. 2017 wird ein wichtiges Jahr für Chatbots, denn (S. 19):

  • von den “Großen” der Branche bis zu bestehenden und in 2017 entstehenden Startups sind
    neue Hardwareprodukte, Softwareservices und Integrationen in andere Plattformen zu erwarten
  • die großen Player besetzen durch Akquisitionen und Investitionen das Spielfeld als Plattformbetreiber und besetzen ihre Positionen im Wettbewerb
  • es wird klar, wie stark Benutzer wirklich nachhaltig Chatbots nutzen
  • praktische Fragestellungen zur Entwicklung von Chatbots, zur Integration in bestehende Enterprise-Infrastrukturen, und zur Sicherheit, zum Datenschutz und zur Compliance gestellt und beantwortet werden
  • das vielfältige Angebot an Chatbots im B2C-Bereich wird zunehmend um Chatbots für B2E- und B2B-Services erweitert werden.

In den von uns entwickelten Blended Learning Lehrgängen Innovationsmanager (IHK) und Wissensmanager (IHK) gehen wir auf diese Entwicklungen ein. Weitere Informationen dazu finden Sie auf unserer Lernplattform.