Der Versuch

Ja, ich habe in der Regel auch sehr positiv über meine AI-Erfahrungen berichtet. Heute muss ich auch mal über die Nebenwirkungen reden.

Der Versuch, eine KI lokal auf meinem Laptop zu installieren, hat wieder eine Menge Erkenntnisse zu Tage gefördert.

“Mit zwei Befehlen auf der Kommandozeile ist die lokale KI up and running!”

Hat (erwartungsgemäß) nicht ganz geklappt. Immerhin hat die KI dann geholfen, alles ans Laufen zu bekommen.

Tipp für Neugierige

Wer nur neugierig ist, was der eigene Rechner so hergibt: LM Studio ist tatsächlich einfach und kostenlos.

Hinweis: Mehr als 8 GB RAM sind hilfreich.

Warum der Aufwand?

Viele KI-Angebote und Automatisierungs-Tools haben von den AGBs angefangen über DSGVO-Konformität bis hin zur allgemeinen Vertrauenswürdigkeit eigentlich nicht die Voraussetzungen, professionell eingesetzt zu werden:

  • Meine Microsoft-Zugangsdaten auf obscure.ai hinterlegen?
  • Geschäftsdaten zur Analyse in die USA/China schicken?
  • Was ist mit den Kosten bei intensiver Nutzung?

Die gute Nachricht

Auf meinem MacBook parlieren jetzt zwei LLMs mit mir auf Deutsch und Portugiesisch. Die größere kann auch kleine Programmieraufgaben - in passabler Geschwindigkeit. Besser als erwartet.

Die schlechte Nachricht

Diese lokalen Modelle anderen Applikationen als ChatGPT-Ersatz unterzuschieben funktioniert nicht zwingend. Jedes Sprachmodell kocht sein eigenes Süppchen.

Die schnelle Weiterentwicklung der Fähigkeiten induziert auch eine Weiterentwicklung der Schnittstellen - von Standardisierung sind wir noch entfernt.

Die Auswahl der eigenen Toolchain braucht Sorgfalt, die Integration viel Pflege.

Die Realität

Es wird genügend Firmen geben, die nicht auf KI verzichten wollen, aber:

  • Sich kein selbst gehostetes ChatGPT leisten können
  • Die einschlägigen Cloud-Angebote nicht nutzen können, dürfen oder wollen

Gefühlt öffnet sich gerade die Schere zwischen dem, was mit KI möglich ist, und dem, was sinnvollerweise produktiv umsetzbar ist.

Nicht vergessen

Wer seine KI tiefgreifender optimieren oder spezialisieren muss, kommt um das Lokalisieren auch nicht herum.

Wo liegt Ihr Regler zwischen 0 (keine Cloud) und 10 (Cloud ohne Einschränkungen)? Lassen Sie uns darüber sprechen