Quelltext der Seite Vorüberlegung für eine persönliche Offline-KI

[[Kategorie:Digitale Autarkie]]
[[Datei:Neuronales-netz.png|400px|rechts]]
==[[Digitale Autarkie]]==
 [[Digitale Autarkie in der Praxis]]
 ├─ [[Autarkie]] → [[Digitale Autarkie]]
 ├─ [[Umgang mit Kis]]
 └─ [[Vorüberlegung für eine persönliche Offline-KI]]
== Offline-KI ==

Mitte des Jahres 2025 bekam ich zum ersten Mal Zugriff auf ein KI-Modell. Bis dahin war KI für mich vor allem Science-Fiction.

Es ist erstaunlich, wie schnell sich diese Modelle entwickeln. Heute, am Ende des Jahres 2026, arbeite ich sehr aktiv mit verschiedenen KI-Modellen und überlege, ein kleines KI-Modell auf meinem Volla Tablet zu installieren.

Es ist eine Tatsache, die mich innehalten und leicht den Kopf schütteln lässt.

Ich bin mir ziemlich sicher, dass ich persönlich keinen Science-Fiction-Roman kenne, in dem eine solche Technologie auch nur im Ansatz so beschrieben wurde.

Eine KI, die nicht irgendwo in einem riesigen Rechenzentrum steht, sondern möglicherweise auf meinem eigenen Tablet läuft – mit meiner eigenen Hardware, meinen eigenen Daten und ohne ständige Verbindung zum Internet.

Genau darüber möchte ich hier zunächst nachdenken.

== Was ist eine Offline-KI? ==

Mit einer Offline-KI ist hier eine künstliche Intelligenz gemeint, deren eigentliches KI-Modell auf der eigenen Hardware ausgeführt wird.

Das unterscheidet sie von einem klassischen Cloud-KI-Dienst:

{| class="wikitable"
! System
! Wo läuft das KI-Modell?
! Internet für die eigentliche Verarbeitung notwendig?
! Eigene Daten lokal nutzbar?
|-
| Cloud-KI
| Rechenzentrum eines Anbieters
| Ja
| Je nach Dienst
|-
| Lokale KI
| Eigener PC, Server, Tablet oder Smartphone
| Nein
| Ja
|-
| Lokale KI mit Internetzugriff
| Eigene Hardware
| Nur für externe Informationen
| Ja
|}

Eine lokale KI bedeutet dabei nicht automatisch, dass das gesamte System ohne Internet auskommt.

Beispielsweise kann ein lokales Sprachmodell völlig offline arbeiten, während eine zusätzlich installierte Suchfunktion bei Bedarf Webseiten aus dem Internet abruft.

Damit entstehen unterschiedliche Formen lokaler KI:

* '''vollständig offline''' – Modell und Daten befinden sich lokal
* '''lokal mit eigener Wissenssammlung''' – das Modell arbeitet zusätzlich mit lokalen Dokumenten
* '''lokal mit Internetzugriff''' – das Modell selbst läuft lokal, kann aber externe Informationen abrufen
* '''hybrid''' – manche Aufgaben werden lokal und andere über externe Dienste erledigt

== Warum überhaupt eine lokale KI? ==

Auf den ersten Blick stellt sich die Frage, warum man überhaupt eine KI auf dem eigenen Rechner betreiben sollte.

Große Cloud-Modelle verfügen über enorme Rechenleistung und können teilweise erheblich leistungsfähiger sein als kleine lokale Modelle.

Eine lokale KI hat dafür andere Eigenschaften.

{| class="wikitable"
! Eigenschaft
! Bedeutung
|-
| Unabhängigkeit
| Das System kann grundsätzlich ohne einen externen KI-Anbieter betrieben werden.
|-
| Datenschutz
| Die eingegebenen Daten müssen nicht zwangsläufig an einen externen KI-Dienst übertragen werden.
|-
| Offline-Betrieb
| Das Modell kann auch ohne Internetverbindung verwendet werden.
|-
| Eigene Wissensbasis
| Lokale Dokumente, Handbücher, Bücher oder eigene Aufzeichnungen können eingebunden werden.
|-
| Kontrolle
| Hardware, Software und verwendetes Modell können selbst ausgewählt werden.
|-
| Langlebigkeit
| Ein einmal heruntergeladenes Modell kann grundsätzlich weiter verwendet werden, auch wenn sich externe Dienste verändern.
|-
| Lernprojekt
| Der Aufbau eines lokalen KI-Systems vermittelt praktische Kenntnisse über moderne KI-Technik.
|}

Das bedeutet allerdings nicht, dass eine lokale KI automatisch besser ist.

Es geht vielmehr um eine andere Form der Abhängigkeit.

Bei einer Cloud-KI lautet die Kette beispielsweise:

<pre>
Mensch
  ↓
Internet
  ↓
Anbieter
  ↓
Rechenzentrum
  ↓
KI-Modell
  ↓
Antwort
</pre>

Bei einer lokalen KI kann sie dagegen so aussehen:

<pre>
Mensch
  ↓
eigene Hardware
  ↓
eigenes KI-Modell
  ↓
Antwort
</pre>

Damit wird die Abhängigkeit nicht vollständig beseitigt.

Stattdessen wird sie '''sichtbar, kontrollierbar und teilweise austauschbar'''.

Das entspricht dem Grundgedanken der technischen Autarkie:

'''bewusste, bekannte und austauschbare Abhängigkeiten.'''

== Was kann eine kleine lokale KI? ==

Eine lokale KI ist nicht einfach eine kleinere Version einer großen Cloud-KI.

Je kleiner das Modell ist, desto stärker müssen die Erwartungen an die Aufgabe angepasst werden.

Für viele alltägliche Aufgaben reichen jedoch überraschend kleine Modelle aus.

{| class="wikitable"
! Aufgabe
! Kleine Modelle
! Mittlere Modelle
! Große lokale Modelle
! Bemerkung
|-
| Texte schreiben
| gut
| sehr gut
| sehr gut
| Für einfache Texte reichen kleine Modelle häufig aus.
|-
| Rechtschreibung und Grammatik
| gut
| sehr gut
| sehr gut
| Eine der leichteren Aufgaben.
|-
| Texte zusammenfassen
| gut
| sehr gut
| sehr gut
| Besonders interessant für lokale Dokumentensammlungen.
|-
| Übersetzen
| brauchbar bis gut
| gut
| sehr gut
| Qualität hängt stark von den verwendeten Sprachen ab.
|-
| Texte strukturieren
| gut
| sehr gut
| sehr gut
| Tabellen, Stichpunkte und Gliederungen funktionieren auch mit kleinen Modellen.
|-
| Fragen zu Allgemeinwissen
| brauchbar
| gut
| sehr gut
| Kleine Modelle besitzen deutlich weniger Wissensbreite.
|-
| Programmierung
| eingeschränkt bis gut
| gut
| sehr gut
| Für einfache Skripte reichen kleine Modelle; komplexe Software benötigt größere Modelle.
|-
| Technische Erklärungen
| brauchbar
| gut
| sehr gut
| Antworten müssen unabhängig von der Modellgröße überprüft werden.
|-
| Logisches Schlussfolgern
| eingeschränkt
| gut
| sehr gut
| Komplexe Aufgaben benötigen meist größere Modelle.
|-
| Längere Dokumente analysieren
| eingeschränkt
| gut
| sehr gut
| Neben der Modellgröße spielt der verfügbare Kontextspeicher eine wichtige Rolle.
|-
| Eigene Dokumentensammlung durchsuchen
| mit zusätzlicher Suchtechnik möglich
| gut
| sehr gut
| Hier ist die Qualität der Dokumentensuche mindestens genauso wichtig wie das Sprachmodell.
|}

Die Tabelle beschreibt keine festen Leistungsgrenzen.

Ein kleines Modell kann bei einer bestimmten Aufgabe überraschend gut sein, während ein größeres Modell bei derselben Aufgabe nicht zwangsläufig proportional besser arbeitet.

Aktuelle Untersuchungen zu kleinen lokalen Modellen zeigen ebenfalls, dass Leistungsfähigkeit, Geschwindigkeit und Energieverbrauch nicht einfach mit der Anzahl der Parameter gleichzusetzen sind. :contentReference[oaicite:1]{index=1}

== Die Größe des Modells ==

Lokale Sprachmodelle werden häufig über die Anzahl ihrer Parameter beschrieben.

Beispielsweise:

* 1B = ungefähr 1 Milliarde Parameter
* 3B = ungefähr 3 Milliarden Parameter
* 7B/8B = ungefähr 7 bis 8 Milliarden Parameter
* 12B/14B = ungefähr 12 bis 14 Milliarden Parameter
* 30B/32B = ungefähr 30 bis 32 Milliarden Parameter
* 70B = ungefähr 70 Milliarden Parameter

Die Zahl allein sagt jedoch noch nicht aus, wie viel Arbeitsspeicher benötigt wird.

Eine wichtige Rolle spielt die '''Quantisierung'''.

Dabei werden die internen Zahlenwerte eines Modells mit geringerer Genauigkeit gespeichert. Dadurch kann ein Modell wesentlich weniger Speicher benötigen.

Deshalb kann beispielsweise ein quantisiertes 7B- oder 8B-Modell auf Hardware betrieben werden, auf der ein unkomprimiertes Modell dieser Größe nicht sinnvoll laufen würde.

== Welche lokalen KI-Modelle gibt es? ==

Die folgende Tabelle ist nur eine Auswahl.

Sie soll vor allem zeigen, wie groß die Bandbreite inzwischen ist.

Die Modelllandschaft verändert sich sehr schnell. Neue Modelle erscheinen, ältere Modelle werden weiter optimiert und unterschiedliche Varianten desselben Modells können sich hinsichtlich Speicherbedarf und Geschwindigkeit deutlich unterscheiden.

{| class="wikitable"
! Modellfamilie
! Typische Größen
! Stärken
! Geeignet für
|-
| '''Llama'''
| 1B, 3B, 8B, 70B und größer
| Allgemeine Aufgaben, große Verbreitung, viele Werkzeuge
| Chat, Texte, Programmierung, Wissensarbeit
|-
| '''Gemma'''
| 270M, 1B, 4B, 12B, 27B
| Kleine und mittlere Modelle, teilweise multimodal
| Chat, Textanalyse, lokale Assistenten
|-
| '''Qwen'''
| 0,6B, 1,7B, 4B, 8B, 14B, 30B, 32B und größer
| Mehrsprachigkeit, allgemeine Aufgaben, Programmierung
| Chat, technische Aufgaben, Programmierung
|-
| '''Phi'''
| kleine bis mittlere Modelle
| Kompakte Modelle mit Schwerpunkt auf effiziente Verarbeitung und logische Aufgaben
| Kleine Rechner, lokale Assistenten, technische Aufgaben
|-
| '''Mistral'''
| 7B und größere Modelle
| Allgemeine Sprachaufgaben, effiziente lokale Nutzung
| Chat, Texte, technische Aufgaben
|-
| '''DeepSeek'''
| verschiedene Größen, darunter kleine quantisierte Varianten
| Schlussfolgern und komplexere Aufgaben
| Technische Aufgaben, Analyse, Programmierung
|}

Eine aktuelle Modellübersicht bei Ollama zeigt beispielsweise Llama 3.2 mit 1B und 3B, Gemma 3 mit 1B bis 27B sowie Qwen3 mit Größen von 0,6B bis zu sehr großen Modellen. :contentReference[oaicite:2]{index=2}

== Welche Hardware wird benötigt? ==

Die Hardwareanforderungen einer lokalen KI lassen sich nicht mit einer einzigen Zahl angeben.

Entscheidend sind unter anderem:

* Arbeitsspeicher
* Grafikspeicher
* Prozessor
* GPU bzw. NPU
* Modellgröße
* Quantisierung
* Kontextlänge
* verwendete Software
* Anzahl gleichzeitig laufender Anwendungen
* Kühlung und Leistungsaufnahme

Besonders wichtig ist der Unterschied zwischen '''„startet“''' und '''„läuft angenehm“'''.

Ein Modell kann technisch auf einem Rechner laufen und trotzdem so langsam sein, dass es im Alltag kaum Freude macht.

=== Grobe Orientierung ===

{| class="wikitable"
! Arbeitsspeicher / VRAM
! Typischer Bereich
! Mögliche Modelle
! Einschätzung
|-
| 4 GB
| sehr kleine Modelle
| ca. 0,5B–2B
| Für Experimente und einfache Aufgaben.
|-
| 8 GB
| kleine Modelle
| ca. 1B–4B
| Für einfache lokale KI bereits interessant.
|-
| 12 GB
| kleine bis mittlere Modelle
| ca. 3B–8B, je nach Quantisierung und System
| Interessanter Bereich für mobile Geräte und kleine PCs.
|-
| 16 GB
| mittlere Modelle
| ca. 4B–12B
| Gute Einstiegsklasse für einen stationären Rechner.
|-
| 24 GB
| mittlere bis größere Modelle
| ca. 8B–20B+
| Deutlich mehr Möglichkeiten.
|-
| 32 GB
| größere Modelle
| ca. 14B–30B+
| Für anspruchsvollere lokale KI interessant.
|-
| 64 GB und mehr
| große Modelle
| ca. 30B–70B+
| Große lokale Modelle werden möglich.
|}

Diese Werte sind '''keine Mindestanforderungen'''.

Sie dienen nur als grobe Orientierung. Je nach Quantisierung, Kontextlänge und verwendeter Hardware können die tatsächlichen Anforderungen deutlich abweichen.

Als praktische Orientierung werden beispielsweise für kleine 7B-Modelle häufig mindestens etwa 8 GB verfügbarer Arbeitsspeicher genannt. Für größere Modelle steigt der Speicherbedarf entsprechend. :contentReference[oaicite:3]{index=3}

== CPU, GPU und NPU ==

Eine lokale KI benötigt nicht zwingend eine leistungsfähige Grafikkarte.

Ein Sprachmodell kann auch ausschließlich mit der CPU betrieben werden.

Das ist allerdings häufig deutlich langsamer.

Eine GPU kann viele Berechnungen parallel durchführen und dadurch die Geschwindigkeit erheblich erhöhen.

{| class="wikitable"
! Hardware
! Vorteil
! Nachteil
|-
| CPU
| Fast überall vorhanden; funktioniert ohne spezielle Grafikhardware.
| Bei größeren Modellen häufig langsam.
|-
| GPU
| Sehr hohe parallele Rechenleistung; für lokale KI besonders interessant.
| Zusätzliche Kosten und hoher Energieverbrauch möglich.
|-
| NPU
| Speziell für KI-Berechnungen ausgelegt; interessant bei mobilen Geräten.
| Softwareunterstützung ist nicht bei jedem Modell und jeder Plattform gleich gut.
|}

Für einen privaten Rechner ist deshalb nicht nur die Frage interessant:

'''„Wie viel RAM hat der Rechner?“'''

Sondern auch:

'''„Welche Rechenhardware kann das Modell tatsächlich verwenden?“'''

== Was bedeutet das für ein Tablet? ==

Gerade bei einem Tablet wird die Frage interessant.

Ein modernes Tablet kann über relativ viel Arbeitsspeicher verfügen, besitzt aber normalerweise keine Desktop-GPU.

Dadurch kann ein Modell zwar genügend Speicher haben, aber trotzdem relativ langsam arbeiten.

Ein Tablet mit 12 GB RAM befindet sich jedoch bereits in einem Bereich, in dem kleine und einige mittlere Modelle grundsätzlich interessant werden.

Für mein eigenes Volla Tablet ist deshalb ein kleines Modell besonders interessant.

Nicht mit dem Ziel, die großen Cloud-KIs zu ersetzen.

Sondern um herauszufinden:

* Was kann eine lokale KI tatsächlich?
* Wie schnell arbeitet sie?
* Wie viel Speicher benötigt sie?
* Wie viel Energie verbraucht sie?
* Welche Modelle sind sinnvoll?
* Kann sie auf lokale Dateien zugreifen?
* Kann sie mit meiner eigenen Wissenssammlung arbeiten?
* Was passiert, wenn das Internet vollständig abgeschaltet wird?

Das ist letztlich ein Experiment zur '''digitalen Autarkie'''.

== Eine lokale KI ist noch keine Bibliothek ==

Ein Sprachmodell allein besitzt zwar Wissen, aber es kennt nicht automatisch meine eigenen Dateien.

Wenn ich beispielsweise meine eigenen technischen Unterlagen, Bücher, PDF-Dateien und Wiki-Inhalte auf einem Gerät speichere, könnte eine zusätzliche Suchtechnik diese Dokumente durchsuchen.

Das Sprachmodell kann anschließend die gefundenen Informationen verarbeiten.

Ein mögliches System sieht dann so aus:

<pre>
Eigene Dokumente
      ↓
Dokumentensuche
      ↓
relevante Textstellen
      ↓
lokales KI-Modell
      ↓
Antwort
</pre>

Das wird häufig unter Begriffen wie '''RAG''' (Retrieval-Augmented Generation) zusammengefasst.

Für mich ist genau dieser Punkt besonders interessant.

Denn damit verändert sich die Rolle der KI.

Sie muss nicht mehr alles selbst „wissen“.

Sie kann vielmehr dabei helfen, '''mein vorhandenes Wissen zugänglich zu machen'''.

== Die lokale KI als digitale Bibliothekarin ==

Als Kind stand ich einmal in einer Bibliothek zwischen riesigen Regalen voller Bücher.

Ich wurde gefragt, was mich interessiert.

Meine damalige Antwort war sinngemäß:

<blockquote>
Was gibt es denn überhaupt, was mich interessieren könnte?
</blockquote>

Das eigentliche Problem war nicht, dass es keine Informationen gab.

Das Problem war, dass ich noch nicht wusste, '''wonach ich suchen musste'''.

Eine erfahrene Bibliothekarin kann genau hier helfen.

Sie muss nicht nur wissen, wo ein Buch steht.

Sie muss auch wissen, wie ein Mensch von einer vagen Frage zu einem passenden Buch gelangt.

Genau diese Funktion könnte eine lokale KI in einer eigenen Wissenssammlung übernehmen.

Zum Beispiel:

<pre>
„Ich möchte Lebensmittel ohne Strom lagern.“
</pre>

Die KI könnte daraus verschiedene Wissensbereiche erkennen:

<pre>
Lebensmittelkonservierung
        ↓
historische Lagerung
        ↓
Erdkeller
        ↓
Verdunstungskühlung
        ↓
passive Kühlung
        ↓
moderne Sensorik
</pre>

Das wäre für mich wesentlich interessanter als eine KI, die einfach nur Texte erzeugt.

Sie würde zu einem Werkzeug werden, das dabei hilft, '''Zusammenhänge zwischen vorhandenem Wissen zu finden'''.

== Alte und neue Technologien verbinden ==

Viele technische Probleme sind nicht neu.

Unsere Vorfahren mussten Lebensmittel lagern, Wasser gewinnen, Gebäude kühlen, Wärme speichern, Werkzeuge herstellen und Informationen weitergeben.

Die technischen Randbedingungen waren jedoch andere.

Heute verfügen wir über Elektronik, Sensoren, Computer, moderne Werkstoffe und künstliche Intelligenz.

Wenn sich die Randbedingungen verändern, können alte Lösungen plötzlich wieder interessant werden.

Dabei geht es nicht darum zu behaupten:

'''„Früher war alles besser.“'''

Früher war vieles einfach '''anders'''.

Interessant wird es dort, wo sich alte und neue Technologien miteinander verbinden lassen.

Beispielsweise:

{| class="wikitable"
! Alte Technologie
! Moderne Ergänzung
! Mögliche Anwendung
|-
| Erdkeller
| Temperatur- und Feuchtigkeitssensoren
| Überwachung der Lagerbedingungen
|-
| Verdunstungskühlung
| moderne Sensorik
| automatische Überwachung
|-
| Regenwasserspeicherung
| Füllstandssensor
| Verbrauchs- und Vorratsüberwachung
|-
| Holzofen
| Temperaturmessung
| bessere Kontrolle des Betriebs
|-
| Mechanische Werkzeuge
| digitale Dokumentation
| Reparatur und Nachbau
|-
| Alte technische Bücher
| lokale KI
| Durchsuchung und Verknüpfung des Wissens
|}

Die KI muss diese Technologien nicht erfunden haben.

Die eigentliche Aufgabe kann darin bestehen, vorhandenes Wissen wiederzufinden und miteinander in Beziehung zu setzen.

== Was eine Offline-KI nicht kann ==

Eine lokale KI hat auch klare Grenzen.

{| class="wikitable"
! Problem
! Erklärung
|-
| Aktuelle Informationen
| Ein vollständig offline betriebenes Modell kennt keine Ereignisse, die nach seinem Trainingszeitraum passiert sind.
|-
| Internetrecherche
| Ohne zusätzliche Software kann es keine Webseiten abrufen.
|-
| Garantierte Wahrheit
| Auch lokale Modelle können falsche Informationen erzeugen.
|-
| Fachliche Genauigkeit
| Kleine Modelle können bei komplexen technischen Aufgaben Fehler machen.
|-
| Rechenleistung
| Größere Modelle benötigen entsprechend mehr Speicher und Rechenleistung.
|-
| Aktualisierung
| Ein lokales Modell muss selbst aktualisiert oder ersetzt werden.
|-
| Stromversorgung
| Auch eine lokale KI benötigt Energie.
|}

Damit wird deutlich:

'''Offline bedeutet nicht allwissend.'''

Und:

'''Lokal bedeutet nicht automatisch unabhängig.'''

Es bedeutet vielmehr, dass ein Teil der technischen Abhängigkeiten unter die eigene Kontrolle gebracht wird.

== Geschwindigkeit ist nicht alles ==

Bei einer Cloud-KI ist man häufig an die Geschwindigkeit eines entfernten Dienstes gewöhnt.

Bei einer lokalen KI kann eine Antwort dagegen deutlich länger dauern.

Das muss nicht unbedingt ein Problem sein.

Wenn eine lokale KI beispielsweise einige Sekunden benötigt, um einen kurzen Text zu formulieren, ist das im Alltag möglicherweise völlig ausreichend.

Wenn sie dagegen mehrere Minuten für eine einfache Frage benötigt, wird die Nutzung schnell unpraktisch.

Deshalb sollte man lokale KI nicht nur nach der Frage beurteilen:

'''„Wie intelligent ist das Modell?“'''

Sondern auch nach:

* Wie schnell antwortet es?
* Wie viel Speicher benötigt es?
* Wie viel Strom verbraucht es?
* Wie groß ist das Modell?
* Wie gut versteht es meine Sprache?
* Wie gut arbeitet es mit meinen Dokumenten?
* Wie einfach lässt es sich austauschen?
* Wie lange kann ich die Software voraussichtlich weiterverwenden?

== Software für lokale KI ==

Für lokale Sprachmodelle existieren inzwischen verschiedene Programme.

Ein bekanntes Beispiel ist '''Ollama'''.

Ollama ermöglicht es, verschiedene Sprachmodelle lokal herunterzuladen und auszuführen. Dabei können je nach Hardware CPU und unterstützte GPU-Technologien verwendet werden.

Weitere Werkzeuge existieren beispielsweise für grafische Benutzeroberflächen, Modellverwaltung oder die direkte Verwendung von GGUF-Modellen.

Für ein langfristig dokumentiertes AutarkWiki-System sind dabei besonders wichtig:

{| class="wikitable"
! Eigenschaft
! Warum sie wichtig ist
|-
| Offene Dokumentation
| Das System soll auch später nachvollziehbar bleiben.
|-
| Austauschbare Modelle
| Ein einzelnes Modell sollte nicht zur dauerhaften Abhängigkeit werden.
|-
| Lokale Datenhaltung
| Eigene Dokumente sollen unter eigener Kontrolle bleiben.
|-
| Plattformunterstützung
| Das System sollte auf möglichst vielen Geräten betrieben werden können.
|-
| Einfache Sicherung
| Modelle, Konfigurationen und Wissensdatenbanken sollten gesichert werden können.
|-
| Offline-Fähigkeit
| Grundlegende Funktionen sollten auch ohne Internet funktionieren.
|}

== Ein mögliches persönliches System ==

Für meine eigenen Überlegungen stelle ich mir langfristig ein System ungefähr so vor:

<pre>
                 ┌───────────────────┐
                 │      Mensch       │
                 └─────────┬─────────┘
                           │
                           ▼
                 ┌───────────────────┐
                 │   lokale KI       │
                 └─────────┬─────────┘
                           │
             ┌─────────────┼─────────────┐
             ▼             ▼             ▼
        ┌─────────┐   ┌──────────┐   ┌─────────┐
        │  Wiki   │   │   PDFs   │   │ Notizen │
        └─────────┘   └──────────┘   └─────────┘
             │             │             │
             └─────────────┼─────────────┘
                           ▼
                  eigene Wissensbasis
</pre>

Damit würde aus einer lokalen KI mehr als ein Chatprogramm.

Sie könnte zu einer '''Schnittstelle zum eigenen Wissen''' werden.

== Ein mögliches Szenario ohne Internet ==

Man stelle sich einen Ausfall der Internetverbindung vor.

Die lokale KI funktioniert weiterhin.

Die eigenen Dokumente sind weiterhin vorhanden.

Das eigene Wiki ist weiterhin vorhanden.

Technische Handbücher sind weiterhin vorhanden.

Eine lokale Suchfunktion kann weiterhin Informationen finden.

Die KI kann diese Informationen weiterhin zusammenfassen, erklären und miteinander verbinden.

Das bedeutet nicht, dass plötzlich alle Probleme gelöst sind.

Aber die Fähigkeit, '''auf vorhandenes Wissen zuzugreifen''', bleibt erhalten.

Genau darin liegt für mich der eigentliche Wert.

== Die Zukunft der lokalen KI ==

Noch vor wenigen Jahren waren leistungsfähige Sprachmodelle fast ausschließlich mit großen Rechenzentren verbunden.

Heute gibt es Modelle mit wenigen Milliarden Parametern, die auf normalen PCs und teilweise sogar auf mobilen Geräten ausgeführt werden können.

Die Entwicklung geht dabei in zwei Richtungen:

* größere und leistungsfähigere Modelle für leistungsfähige Hardware
* kleinere und effizientere Modelle für lokale und mobile Geräte

Damit könnte künstliche Intelligenz zunehmend zu einer normalen Funktion von Computern werden.

Nicht unbedingt als ständig mit dem Internet verbundener Dienst.

Sondern als '''Werkzeug auf dem eigenen Gerät'''.

== Vorläufiges Fazit ==

Ich weiß noch nicht, welches Modell am Ende auf meinem Volla Tablet laufen wird.

Vielleicht ist die Hardware zu langsam.

Vielleicht funktioniert es überraschend gut.

Vielleicht stellt sich heraus, dass ein kleines Modell für meine Zwecke völlig ausreicht.

Genau deshalb möchte ich es ausprobieren.

Für mich ist dabei nicht die Frage:

'''„Kann eine kleine lokale KI mit den größten Cloud-Modellen mithalten?“'''

Die interessantere Frage lautet:

'''„Was kann eine kleine KI auf meinem eigenen Gerät für mich tun, wenn das Internet nicht verfügbar ist?“'''

Und noch interessanter:

'''„Was kann daraus entstehen, wenn diese KI Zugriff auf mein eigenes gesammeltes Wissen bekommt?“'''

Denn dann könnte aus einem kleinen Sprachmodell etwas entstehen, das mich an eine alte Erfahrung erinnert:

Eine Bibliothek ist nicht nur ein Raum voller Bücher.

Sie wird erst dann wirklich wertvoll, wenn man einen Weg findet, das darin enthaltene Wissen zu erreichen.

Vielleicht kann eine lokale KI dabei eines Tages eine ähnliche Rolle übernehmen.

Nicht als Orakel.

Nicht als Ersatz für den Menschen.

Sondern als '''digitale Bibliothekarin für das eigene Wissen'''.

== Siehe auch ==

* [[Digitale Autarkie]]
* [[Technische Souveränität]]
* Wissensbewahrung]]
* [[Content Archäologie]]
* Volla Tablet]]
* [[Linux]]
* [[Künstliche Intelligenz]]

== Quellen und weiterführende Informationen ==

* [https://ollama.com/library Ollama Model Library] – Übersicht aktuell verfügbarer lokaler Modelle
* [https://ollama.com/ Ollama] – Software zum lokalen Ausführen von Sprachmodellen

'''Hinweis:'''

Die Angaben zu Modellgrößen und Hardwareanforderungen sind Richtwerte und keine garantierten Mindestanforderungen. Neue Modelle, Quantisierungen und optimierte Software können die tatsächlichen Anforderungen verändern. Für eine konkrete Installation sollten deshalb immer die Angaben des jeweiligen Modells und der verwendeten Software geprüft werden.