Vorüberlegung für eine persönliche Offline-KI

Digitale Autarkie

Digitale Autarkie in der Praxis
├─ Autarkie → Digitale Autarkie
├─ Umgang mit Kis
└─ Vorüberlegung für eine persönliche Offline-KI

Offline-KI

Mitte des Jahres 2025 bekam ich zum ersten Mal Zugriff auf ein KI-Modell. Bis dahin war KI für mich vor allem Science-Fiction.

Es ist erstaunlich, wie schnell sich diese Modelle entwickeln. Heute, am Ende des Jahres 2026, arbeite ich sehr aktiv mit verschiedenen KI-Modellen und überlege, ein kleines KI-Modell auf meinem Volla Tablet zu installieren.

Es ist eine Tatsache, die mich innehalten und leicht den Kopf schütteln lässt.

Ich bin mir ziemlich sicher, dass ich persönlich keinen Science-Fiction-Roman kenne, in dem eine solche Technologie auch nur im Ansatz so beschrieben wurde.

Eine KI, die nicht irgendwo in einem riesigen Rechenzentrum steht, sondern möglicherweise auf meinem eigenen Tablet läuft – mit meiner eigenen Hardware, meinen eigenen Daten und ohne ständige Verbindung zum Internet.

Genau darüber möchte ich hier zunächst nachdenken.

Was ist eine Offline-KI?

Mit einer Offline-KI ist hier eine künstliche Intelligenz gemeint, deren eigentliches KI-Modell auf der eigenen Hardware ausgeführt wird.

Das unterscheidet sie von einem klassischen Cloud-KI-Dienst:

System	Wo läuft das KI-Modell?	Internet für die eigentliche Verarbeitung notwendig?	Eigene Daten lokal nutzbar?
Cloud-KI	Rechenzentrum eines Anbieters	Ja	Je nach Dienst
Lokale KI	Eigener PC, Server, Tablet oder Smartphone	Nein	Ja
Lokale KI mit Internetzugriff	Eigene Hardware	Nur für externe Informationen	Ja

Eine lokale KI bedeutet dabei nicht automatisch, dass das gesamte System ohne Internet auskommt.

Beispielsweise kann ein lokales Sprachmodell völlig offline arbeiten, während eine zusätzlich installierte Suchfunktion bei Bedarf Webseiten aus dem Internet abruft.

Damit entstehen unterschiedliche Formen lokaler KI:

• vollständig offline – Modell und Daten befinden sich lokal
• lokal mit eigener Wissenssammlung – das Modell arbeitet zusätzlich mit lokalen Dokumenten
• lokal mit Internetzugriff – das Modell selbst läuft lokal, kann aber externe Informationen abrufen
• hybrid – manche Aufgaben werden lokal und andere über externe Dienste erledigt

Warum überhaupt eine lokale KI?

Auf den ersten Blick stellt sich die Frage, warum man überhaupt eine KI auf dem eigenen Rechner betreiben sollte.

Große Cloud-Modelle verfügen über enorme Rechenleistung und können teilweise erheblich leistungsfähiger sein als kleine lokale Modelle.

Eine lokale KI hat dafür andere Eigenschaften.

Eigenschaft	Bedeutung
Unabhängigkeit	Das System kann grundsätzlich ohne einen externen KI-Anbieter betrieben werden.
Datenschutz	Die eingegebenen Daten müssen nicht zwangsläufig an einen externen KI-Dienst übertragen werden.
Offline-Betrieb	Das Modell kann auch ohne Internetverbindung verwendet werden.
Eigene Wissensbasis	Lokale Dokumente, Handbücher, Bücher oder eigene Aufzeichnungen können eingebunden werden.
Kontrolle	Hardware, Software und verwendetes Modell können selbst ausgewählt werden.
Langlebigkeit	Ein einmal heruntergeladenes Modell kann grundsätzlich weiter verwendet werden, auch wenn sich externe Dienste verändern.
Lernprojekt	Der Aufbau eines lokalen KI-Systems vermittelt praktische Kenntnisse über moderne KI-Technik.

Das bedeutet allerdings nicht, dass eine lokale KI automatisch besser ist.

Es geht vielmehr um eine andere Form der Abhängigkeit.

Bei einer Cloud-KI lautet die Kette beispielsweise:

Mensch
  ↓
Internet
  ↓
Anbieter
  ↓
Rechenzentrum
  ↓
KI-Modell
  ↓
Antwort

Bei einer lokalen KI kann sie dagegen so aussehen:

Mensch
  ↓
eigene Hardware
  ↓
eigenes KI-Modell
  ↓
Antwort

Damit wird die Abhängigkeit nicht vollständig beseitigt.

Stattdessen wird sie sichtbar, kontrollierbar und teilweise austauschbar.

Das entspricht dem Grundgedanken der technischen Autarkie:

bewusste, bekannte und austauschbare Abhängigkeiten.

Was kann eine kleine lokale KI?

Eine lokale KI ist nicht einfach eine kleinere Version einer großen Cloud-KI.

Je kleiner das Modell ist, desto stärker müssen die Erwartungen an die Aufgabe angepasst werden.

Für viele alltägliche Aufgaben reichen jedoch überraschend kleine Modelle aus.

Aufgabe	Kleine Modelle	Mittlere Modelle	Große lokale Modelle	Bemerkung
Texte schreiben	gut	sehr gut	sehr gut	Für einfache Texte reichen kleine Modelle häufig aus.
Rechtschreibung und Grammatik	gut	sehr gut	sehr gut	Eine der leichteren Aufgaben.
Texte zusammenfassen	gut	sehr gut	sehr gut	Besonders interessant für lokale Dokumentensammlungen.
Übersetzen	brauchbar bis gut	gut	sehr gut	Qualität hängt stark von den verwendeten Sprachen ab.
Texte strukturieren	gut	sehr gut	sehr gut	Tabellen, Stichpunkte und Gliederungen funktionieren auch mit kleinen Modellen.
Fragen zu Allgemeinwissen	brauchbar	gut	sehr gut	Kleine Modelle besitzen deutlich weniger Wissensbreite.
Programmierung	eingeschränkt bis gut	gut	sehr gut	Für einfache Skripte reichen kleine Modelle; komplexe Software benötigt größere Modelle.
Technische Erklärungen	brauchbar	gut	sehr gut	Antworten müssen unabhängig von der Modellgröße überprüft werden.
Logisches Schlussfolgern	eingeschränkt	gut	sehr gut	Komplexe Aufgaben benötigen meist größere Modelle.
Längere Dokumente analysieren	eingeschränkt	gut	sehr gut	Neben der Modellgröße spielt der verfügbare Kontextspeicher eine wichtige Rolle.
Eigene Dokumentensammlung durchsuchen	mit zusätzlicher Suchtechnik möglich	gut	sehr gut	Hier ist die Qualität der Dokumentensuche mindestens genauso wichtig wie das Sprachmodell.

Die Tabelle beschreibt keine festen Leistungsgrenzen.

Ein kleines Modell kann bei einer bestimmten Aufgabe überraschend gut sein, während ein größeres Modell bei derselben Aufgabe nicht zwangsläufig proportional besser arbeitet.

Aktuelle Untersuchungen zu kleinen lokalen Modellen zeigen ebenfalls, dass Leistungsfähigkeit, Geschwindigkeit und Energieverbrauch nicht einfach mit der Anzahl der Parameter gleichzusetzen sind. :contentReference[oaicite:1]{index=1}

Die Größe des Modells

Lokale Sprachmodelle werden häufig über die Anzahl ihrer Parameter beschrieben.

Beispielsweise:

• 1B = ungefähr 1 Milliarde Parameter
• 3B = ungefähr 3 Milliarden Parameter
• 7B/8B = ungefähr 7 bis 8 Milliarden Parameter
• 12B/14B = ungefähr 12 bis 14 Milliarden Parameter
• 30B/32B = ungefähr 30 bis 32 Milliarden Parameter
• 70B = ungefähr 70 Milliarden Parameter

Die Zahl allein sagt jedoch noch nicht aus, wie viel Arbeitsspeicher benötigt wird.

Eine wichtige Rolle spielt die Quantisierung.

Dabei werden die internen Zahlenwerte eines Modells mit geringerer Genauigkeit gespeichert. Dadurch kann ein Modell wesentlich weniger Speicher benötigen.

Deshalb kann beispielsweise ein quantisiertes 7B- oder 8B-Modell auf Hardware betrieben werden, auf der ein unkomprimiertes Modell dieser Größe nicht sinnvoll laufen würde.

Welche lokalen KI-Modelle gibt es?

Die folgende Tabelle ist nur eine Auswahl.

Sie soll vor allem zeigen, wie groß die Bandbreite inzwischen ist.

Die Modelllandschaft verändert sich sehr schnell. Neue Modelle erscheinen, ältere Modelle werden weiter optimiert und unterschiedliche Varianten desselben Modells können sich hinsichtlich Speicherbedarf und Geschwindigkeit deutlich unterscheiden.

Modellfamilie	Typische Größen	Stärken	Geeignet für
Llama	1B, 3B, 8B, 70B und größer	Allgemeine Aufgaben, große Verbreitung, viele Werkzeuge	Chat, Texte, Programmierung, Wissensarbeit
Gemma	270M, 1B, 4B, 12B, 27B	Kleine und mittlere Modelle, teilweise multimodal	Chat, Textanalyse, lokale Assistenten
Qwen	0,6B, 1,7B, 4B, 8B, 14B, 30B, 32B und größer	Mehrsprachigkeit, allgemeine Aufgaben, Programmierung	Chat, technische Aufgaben, Programmierung
Phi	kleine bis mittlere Modelle	Kompakte Modelle mit Schwerpunkt auf effiziente Verarbeitung und logische Aufgaben	Kleine Rechner, lokale Assistenten, technische Aufgaben
Mistral	7B und größere Modelle	Allgemeine Sprachaufgaben, effiziente lokale Nutzung	Chat, Texte, technische Aufgaben
DeepSeek	verschiedene Größen, darunter kleine quantisierte Varianten	Schlussfolgern und komplexere Aufgaben	Technische Aufgaben, Analyse, Programmierung

Eine aktuelle Modellübersicht bei Ollama zeigt beispielsweise Llama 3.2 mit 1B und 3B, Gemma 3 mit 1B bis 27B sowie Qwen3 mit Größen von 0,6B bis zu sehr großen Modellen. :contentReference[oaicite:2]{index=2}

Welche Hardware wird benötigt?

Die Hardwareanforderungen einer lokalen KI lassen sich nicht mit einer einzigen Zahl angeben.

Entscheidend sind unter anderem:

• Arbeitsspeicher
• Grafikspeicher
• Prozessor
• GPU bzw. NPU
• Modellgröße
• Quantisierung
• Kontextlänge
• verwendete Software
• Anzahl gleichzeitig laufender Anwendungen
• Kühlung und Leistungsaufnahme

Besonders wichtig ist der Unterschied zwischen „startet“ und „läuft angenehm“.

Ein Modell kann technisch auf einem Rechner laufen und trotzdem so langsam sein, dass es im Alltag kaum Freude macht.

Grobe Orientierung

Arbeitsspeicher / VRAM	Typischer Bereich	Mögliche Modelle	Einschätzung
4 GB	sehr kleine Modelle	ca. 0,5B–2B	Für Experimente und einfache Aufgaben.
8 GB	kleine Modelle	ca. 1B–4B	Für einfache lokale KI bereits interessant.
12 GB	kleine bis mittlere Modelle	ca. 3B–8B, je nach Quantisierung und System	Interessanter Bereich für mobile Geräte und kleine PCs.
16 GB	mittlere Modelle	ca. 4B–12B	Gute Einstiegsklasse für einen stationären Rechner.
24 GB	mittlere bis größere Modelle	ca. 8B–20B+	Deutlich mehr Möglichkeiten.
32 GB	größere Modelle	ca. 14B–30B+	Für anspruchsvollere lokale KI interessant.
64 GB und mehr	große Modelle	ca. 30B–70B+	Große lokale Modelle werden möglich.

Diese Werte sind keine Mindestanforderungen.

Sie dienen nur als grobe Orientierung. Je nach Quantisierung, Kontextlänge und verwendeter Hardware können die tatsächlichen Anforderungen deutlich abweichen.

Als praktische Orientierung werden beispielsweise für kleine 7B-Modelle häufig mindestens etwa 8 GB verfügbarer Arbeitsspeicher genannt. Für größere Modelle steigt der Speicherbedarf entsprechend. :contentReference[oaicite:3]{index=3}

CPU, GPU und NPU

Eine lokale KI benötigt nicht zwingend eine leistungsfähige Grafikkarte.

Ein Sprachmodell kann auch ausschließlich mit der CPU betrieben werden.

Das ist allerdings häufig deutlich langsamer.

Eine GPU kann viele Berechnungen parallel durchführen und dadurch die Geschwindigkeit erheblich erhöhen.

Hardware	Vorteil	Nachteil
CPU	Fast überall vorhanden; funktioniert ohne spezielle Grafikhardware.	Bei größeren Modellen häufig langsam.
GPU	Sehr hohe parallele Rechenleistung; für lokale KI besonders interessant.	Zusätzliche Kosten und hoher Energieverbrauch möglich.
NPU	Speziell für KI-Berechnungen ausgelegt; interessant bei mobilen Geräten.	Softwareunterstützung ist nicht bei jedem Modell und jeder Plattform gleich gut.

Für einen privaten Rechner ist deshalb nicht nur die Frage interessant:

„Wie viel RAM hat der Rechner?“

Sondern auch:

„Welche Rechenhardware kann das Modell tatsächlich verwenden?“

Was bedeutet das für ein Tablet?

Gerade bei einem Tablet wird die Frage interessant.

Ein modernes Tablet kann über relativ viel Arbeitsspeicher verfügen, besitzt aber normalerweise keine Desktop-GPU.

Dadurch kann ein Modell zwar genügend Speicher haben, aber trotzdem relativ langsam arbeiten.

Ein Tablet mit 12 GB RAM befindet sich jedoch bereits in einem Bereich, in dem kleine und einige mittlere Modelle grundsätzlich interessant werden.

Für mein eigenes Volla Tablet ist deshalb ein kleines Modell besonders interessant.

Nicht mit dem Ziel, die großen Cloud-KIs zu ersetzen.

Sondern um herauszufinden:

• Was kann eine lokale KI tatsächlich?
• Wie schnell arbeitet sie?
• Wie viel Speicher benötigt sie?
• Wie viel Energie verbraucht sie?
• Welche Modelle sind sinnvoll?
• Kann sie auf lokale Dateien zugreifen?
• Kann sie mit meiner eigenen Wissenssammlung arbeiten?
• Was passiert, wenn das Internet vollständig abgeschaltet wird?

Das ist letztlich ein Experiment zur digitalen Autarkie.

Eine lokale KI ist noch keine Bibliothek

Ein Sprachmodell allein besitzt zwar Wissen, aber es kennt nicht automatisch meine eigenen Dateien.

Wenn ich beispielsweise meine eigenen technischen Unterlagen, Bücher, PDF-Dateien und Wiki-Inhalte auf einem Gerät speichere, könnte eine zusätzliche Suchtechnik diese Dokumente durchsuchen.

Das Sprachmodell kann anschließend die gefundenen Informationen verarbeiten.

Ein mögliches System sieht dann so aus:

Eigene Dokumente
      ↓
Dokumentensuche
      ↓
relevante Textstellen
      ↓
lokales KI-Modell
      ↓
Antwort

Das wird häufig unter Begriffen wie RAG (Retrieval-Augmented Generation) zusammengefasst.

Für mich ist genau dieser Punkt besonders interessant.

Denn damit verändert sich die Rolle der KI.

Sie muss nicht mehr alles selbst „wissen“.

Sie kann vielmehr dabei helfen, mein vorhandenes Wissen zugänglich zu machen.

Die lokale KI als digitale Bibliothekarin

Als Kind stand ich einmal in einer Bibliothek zwischen riesigen Regalen voller Bücher.

Ich wurde gefragt, was mich interessiert.

Meine damalige Antwort war sinngemäß:

Was gibt es denn überhaupt, was mich interessieren könnte?

Das eigentliche Problem war nicht, dass es keine Informationen gab.

Das Problem war, dass ich noch nicht wusste, wonach ich suchen musste.

Eine erfahrene Bibliothekarin kann genau hier helfen.

Sie muss nicht nur wissen, wo ein Buch steht.

Sie muss auch wissen, wie ein Mensch von einer vagen Frage zu einem passenden Buch gelangt.

Genau diese Funktion könnte eine lokale KI in einer eigenen Wissenssammlung übernehmen.

Zum Beispiel:

„Ich möchte Lebensmittel ohne Strom lagern.“

Die KI könnte daraus verschiedene Wissensbereiche erkennen:

Lebensmittelkonservierung
        ↓
historische Lagerung
        ↓
Erdkeller
        ↓
Verdunstungskühlung
        ↓
passive Kühlung
        ↓
moderne Sensorik

Das wäre für mich wesentlich interessanter als eine KI, die einfach nur Texte erzeugt.

Sie würde zu einem Werkzeug werden, das dabei hilft, Zusammenhänge zwischen vorhandenem Wissen zu finden.

Alte und neue Technologien verbinden

Viele technische Probleme sind nicht neu.

Unsere Vorfahren mussten Lebensmittel lagern, Wasser gewinnen, Gebäude kühlen, Wärme speichern, Werkzeuge herstellen und Informationen weitergeben.

Die technischen Randbedingungen waren jedoch andere.

Heute verfügen wir über Elektronik, Sensoren, Computer, moderne Werkstoffe und künstliche Intelligenz.

Wenn sich die Randbedingungen verändern, können alte Lösungen plötzlich wieder interessant werden.

Dabei geht es nicht darum zu behaupten:

„Früher war alles besser.“

Früher war vieles einfach anders.

Interessant wird es dort, wo sich alte und neue Technologien miteinander verbinden lassen.

Beispielsweise:

Alte Technologie	Moderne Ergänzung	Mögliche Anwendung
Erdkeller	Temperatur- und Feuchtigkeitssensoren	Überwachung der Lagerbedingungen
Verdunstungskühlung	moderne Sensorik	automatische Überwachung
Regenwasserspeicherung	Füllstandssensor	Verbrauchs- und Vorratsüberwachung
Holzofen	Temperaturmessung	bessere Kontrolle des Betriebs
Mechanische Werkzeuge	digitale Dokumentation	Reparatur und Nachbau
Alte technische Bücher	lokale KI	Durchsuchung und Verknüpfung des Wissens

Die KI muss diese Technologien nicht erfunden haben.

Die eigentliche Aufgabe kann darin bestehen, vorhandenes Wissen wiederzufinden und miteinander in Beziehung zu setzen.

Was eine Offline-KI nicht kann

Eine lokale KI hat auch klare Grenzen.

Problem	Erklärung
Aktuelle Informationen	Ein vollständig offline betriebenes Modell kennt keine Ereignisse, die nach seinem Trainingszeitraum passiert sind.
Internetrecherche	Ohne zusätzliche Software kann es keine Webseiten abrufen.
Garantierte Wahrheit	Auch lokale Modelle können falsche Informationen erzeugen.
Fachliche Genauigkeit	Kleine Modelle können bei komplexen technischen Aufgaben Fehler machen.
Rechenleistung	Größere Modelle benötigen entsprechend mehr Speicher und Rechenleistung.
Aktualisierung	Ein lokales Modell muss selbst aktualisiert oder ersetzt werden.
Stromversorgung	Auch eine lokale KI benötigt Energie.

Damit wird deutlich:

Offline bedeutet nicht allwissend.

Und:

Lokal bedeutet nicht automatisch unabhängig.

Es bedeutet vielmehr, dass ein Teil der technischen Abhängigkeiten unter die eigene Kontrolle gebracht wird.

Geschwindigkeit ist nicht alles

Bei einer Cloud-KI ist man häufig an die Geschwindigkeit eines entfernten Dienstes gewöhnt.

Bei einer lokalen KI kann eine Antwort dagegen deutlich länger dauern.

Das muss nicht unbedingt ein Problem sein.

Wenn eine lokale KI beispielsweise einige Sekunden benötigt, um einen kurzen Text zu formulieren, ist das im Alltag möglicherweise völlig ausreichend.

Wenn sie dagegen mehrere Minuten für eine einfache Frage benötigt, wird die Nutzung schnell unpraktisch.

Deshalb sollte man lokale KI nicht nur nach der Frage beurteilen:

„Wie intelligent ist das Modell?“

Sondern auch nach:

• Wie schnell antwortet es?
• Wie viel Speicher benötigt es?
• Wie viel Strom verbraucht es?
• Wie groß ist das Modell?
• Wie gut versteht es meine Sprache?
• Wie gut arbeitet es mit meinen Dokumenten?
• Wie einfach lässt es sich austauschen?
• Wie lange kann ich die Software voraussichtlich weiterverwenden?

Software für lokale KI

Für lokale Sprachmodelle existieren inzwischen verschiedene Programme.

Ein bekanntes Beispiel ist Ollama.

Ollama ermöglicht es, verschiedene Sprachmodelle lokal herunterzuladen und auszuführen. Dabei können je nach Hardware CPU und unterstützte GPU-Technologien verwendet werden.

Weitere Werkzeuge existieren beispielsweise für grafische Benutzeroberflächen, Modellverwaltung oder die direkte Verwendung von GGUF-Modellen.

Für ein langfristig dokumentiertes AutarkWiki-System sind dabei besonders wichtig:

Eigenschaft	Warum sie wichtig ist
Offene Dokumentation	Das System soll auch später nachvollziehbar bleiben.
Austauschbare Modelle	Ein einzelnes Modell sollte nicht zur dauerhaften Abhängigkeit werden.
Lokale Datenhaltung	Eigene Dokumente sollen unter eigener Kontrolle bleiben.
Plattformunterstützung	Das System sollte auf möglichst vielen Geräten betrieben werden können.
Einfache Sicherung	Modelle, Konfigurationen und Wissensdatenbanken sollten gesichert werden können.
Offline-Fähigkeit	Grundlegende Funktionen sollten auch ohne Internet funktionieren.

Ein mögliches persönliches System

Für meine eigenen Überlegungen stelle ich mir langfristig ein System ungefähr so vor:

                 ┌───────────────────┐
                 │      Mensch       │
                 └─────────┬─────────┘
                           │
                           ▼
                 ┌───────────────────┐
                 │   lokale KI       │
                 └─────────┬─────────┘
                           │
             ┌─────────────┼─────────────┐
             ▼             ▼             ▼
        ┌─────────┐   ┌──────────┐   ┌─────────┐
        │  Wiki   │   │   PDFs   │   │ Notizen │
        └─────────┘   └──────────┘   └─────────┘
             │             │             │
             └─────────────┼─────────────┘
                           ▼
                  eigene Wissensbasis

Damit würde aus einer lokalen KI mehr als ein Chatprogramm.

Sie könnte zu einer Schnittstelle zum eigenen Wissen werden.

Ein mögliches Szenario ohne Internet

Man stelle sich einen Ausfall der Internetverbindung vor.

Die lokale KI funktioniert weiterhin.

Die eigenen Dokumente sind weiterhin vorhanden.

Das eigene Wiki ist weiterhin vorhanden.

Technische Handbücher sind weiterhin vorhanden.

Eine lokale Suchfunktion kann weiterhin Informationen finden.

Die KI kann diese Informationen weiterhin zusammenfassen, erklären und miteinander verbinden.

Das bedeutet nicht, dass plötzlich alle Probleme gelöst sind.

Aber die Fähigkeit, auf vorhandenes Wissen zuzugreifen, bleibt erhalten.

Genau darin liegt für mich der eigentliche Wert.

Die Zukunft der lokalen KI

Noch vor wenigen Jahren waren leistungsfähige Sprachmodelle fast ausschließlich mit großen Rechenzentren verbunden.

Heute gibt es Modelle mit wenigen Milliarden Parametern, die auf normalen PCs und teilweise sogar auf mobilen Geräten ausgeführt werden können.

Die Entwicklung geht dabei in zwei Richtungen:

• größere und leistungsfähigere Modelle für leistungsfähige Hardware
• kleinere und effizientere Modelle für lokale und mobile Geräte

Damit könnte künstliche Intelligenz zunehmend zu einer normalen Funktion von Computern werden.

Nicht unbedingt als ständig mit dem Internet verbundener Dienst.

Sondern als Werkzeug auf dem eigenen Gerät.

Vorläufiges Fazit

Ich weiß noch nicht, welches Modell am Ende auf meinem Volla Tablet laufen wird.

Vielleicht ist die Hardware zu langsam.

Vielleicht funktioniert es überraschend gut.

Vielleicht stellt sich heraus, dass ein kleines Modell für meine Zwecke völlig ausreicht.

Genau deshalb möchte ich es ausprobieren.

Für mich ist dabei nicht die Frage:

„Kann eine kleine lokale KI mit den größten Cloud-Modellen mithalten?“

Die interessantere Frage lautet:

„Was kann eine kleine KI auf meinem eigenen Gerät für mich tun, wenn das Internet nicht verfügbar ist?“

Und noch interessanter:

„Was kann daraus entstehen, wenn diese KI Zugriff auf mein eigenes gesammeltes Wissen bekommt?“

Denn dann könnte aus einem kleinen Sprachmodell etwas entstehen, das mich an eine alte Erfahrung erinnert:

Eine Bibliothek ist nicht nur ein Raum voller Bücher.

Sie wird erst dann wirklich wertvoll, wenn man einen Weg findet, das darin enthaltene Wissen zu erreichen.

Vielleicht kann eine lokale KI dabei eines Tages eine ähnliche Rolle übernehmen.

Nicht als Orakel.

Nicht als Ersatz für den Menschen.

Sondern als digitale Bibliothekarin für das eigene Wissen.

Siehe auch

• Digitale Autarkie
• Technische Souveränität
• Wissensbewahrung]]
• Content Archäologie
• Volla Tablet]]
• Linux
• Künstliche Intelligenz

Quellen und weiterführende Informationen

• Ollama Model Library – Übersicht aktuell verfügbarer lokaler Modelle
• Ollama – Software zum lokalen Ausführen von Sprachmodellen

Hinweis:

Die Angaben zu Modellgrößen und Hardwareanforderungen sind Richtwerte und keine garantierten Mindestanforderungen. Neue Modelle, Quantisierungen und optimierte Software können die tatsächlichen Anforderungen verändern. Für eine konkrete Installation sollten deshalb immer die Angaben des jeweiligen Modells und der verwendeten Software geprüft werden.