Lokale KI, Hardware, Halluzinationen und Sicherheit.

Eine lokale KI läuft auf einem Rechner in Ihrem Haus statt bei einem Anbieter im Internet. Entscheidend ist vor allem der Arbeitsspeicher, weil das Sprachmodell hineinpassen muss. Ein Mac mini genügt für einfache Aufgaben, ein Mac Studio mit viel Arbeitsspeicher trägt größere Modelle und mehrere Nutzer.

Apple-Chips nutzen einen gemeinsamen Speicher für Prozessor und Grafik. Dadurch passen auf ein Gerät größere Modelle als bei vielen Rechnern mit getrennter Grafikkarte, bei wenig Strom und kaum Lärm. Es gibt Alternativen, etwa PCs mit leistungsfähigen Grafikkarten. Wir entscheiden nach einem Test mit Ihren Dokumenten.

Als grobe Faustregel muss das Modell samt Reserve in den Speicher passen. Kleine Modelle laufen mit 16 Gigabyte, größere brauchen ein Vielfaches. Welche Größe Ihre Aufgabe braucht, zeigt ein Test. Wir kaufen nicht auf Vorrat Hardware ein, sondern legen sie nach dem Test fest.

Bei offenen Modellen sind die Gewichte veröffentlicht, sodass man sie auf eigener Hardware betreiben kann. Für Aufgaben wie Belege auslesen, sortieren und zusammenfassen sind sie oft gut genug. Lizenzbedingungen unterscheiden sich, und bei sehr schwierigen Texten sind die größten Cloud-Modelle stärker.

Halluzination heißt, dass ein Sprachmodell überzeugend klingende Aussagen erfindet. Begrenzen lässt sie sich durch Quellenbindung, bei der die KI nur aus Ihren Dokumenten antwortet, durch Prüfstufen für unsichere Fälle und durch die Regel, dass ohne Quelle keine Antwort kommt.

RAG steht für Retrieval-Augmented Generation. Die KI sucht zuerst in Ihren Dokumenten passende Stellen und formuliert die Antwort daraus, mit Verweis auf die Quelle. So antwortet sie mit Ihrem Wissen statt mit Allgemeinwissen, und Sie können nachprüfen, woher eine Aussage stammt.

Beide haben andere Risiken. Bei Cloud-Diensten geht es um Datenweitergabe, Verträge und Standort der Verarbeitung. Bei lokaler KI tragen Sie Wartung, Updates und physische Sicherheit selbst, die Daten bleiben dafür im Haus. Die Wahl richtet sich nach Art der Daten und Anforderungen.

Dabei versteckt jemand in einem Text, etwa einer Mail, Anweisungen an die KI, die sie ausführen soll. Wer Mails automatisch verarbeitet, muss damit rechnen. Schutz bieten begrenzte Rechte, keine automatischen Aktionen mit Folgen und Freigabeschritte für alles, was nach außen geht.

Die Automatisierung bekommt ein eigenes Konto mit den kleinsten nötigen Rechten, etwa Lesezugriff auf ein bestimmtes Postfach. Wir legen vorab fest, wer was sehen darf, und führen ein Protokoll. Konten und Schlüssel laufen auf Ihren Namen, damit Sie jederzeit entziehen können.

Die Vorgänge bleiben in einer Warteschlange, nichts geht verloren, und Ihr Team arbeitet wie bisher von Hand weiter. Wir überwachen die Abläufe im Support und melden uns bei Störungen. Bei lokaler KI sind Stromausfall und Hardwaredefekt die Risiken, die wir mit Ihnen besprechen.