Eigene Dokumente befragen — vollständig offline.
LokLM speichert Arbeitsbereichsdaten lokal und beantwortet Fragen mit klickbaren Quellenverweisen. Vault und Arbeitsbereichs-Datenbanken sind verschlüsselt; mitgelieferte Modelle benötigen keine externen KI-APIs.
![github-actions[bot]](https://avatars.githubusercontent.com/in/15368?v=4){kind=small}
Auf den Schultern der Open-Source-Community gebaut
Lokale KI ist mühsam. Wir machen sie zugänglich.
Modelle vergleichen, RAG-Pipelines bauen, Inference lokal aufsetzen, Daten verschlüsseln — das ist eine Menge Arbeit, bevor du die erste Frage stellst. LokLM nimmt dir diesen Teil ab.
Der harte Weg
- Modelle finden, evaluieren und quantisieren
- RAG-Pipeline bauen — Chunking, Embeddings, Retrieval, Reranking
- Inference-Stack lokal aufsetzen (llama.cpp, GPU/CPU, Quant-Level)
- Vault verschlüsseln, Schlüssel verwalten, Backups planen
- Aktuelle RAG-Forschung verfolgen und nachziehen
Mit LokLM
Installieren. Dokumente ablegen. Fragen stellen.
Modellauswahl, Pipeline-Tuning und Verschlüsselung haben wir im Hintergrund erledigt. Du brauchst kein ML-Engineer zu sein, um deine eigenen Dokumente mit einer lokalen KI zu befragen.
In drei Schritten.
Installieren, Dokumente importieren, Fragen stellen — mit Quellen, die du anklicken kannst.
- Schritt 1
Dokumente in den Vault ziehen
PDF, Markdown, Text oder Code per Drag & Drop. Das mitgelieferte Embedding-Modell indexiert lokal. Der Vektorindex ist standardmäßig verschlüsselt gespeichert; Originaldateien bleiben unverändert.
- Schritt 2
In natürlicher Sprache fragen
Stell eine Frage zu deinen Dokumenten. Mit dem mitgelieferten Sprachmodell bleiben Frage und Dokumentkontext auf deiner Maschine.
- Schritt 3
Quelle prüfen — direkt anklicken
Klicke auf einen Quellenverweis, um die Originalstelle zu öffnen und zu prüfen, ob sie die Aussage stützt.
Antworten, die ihre Quelle nennen.
Klickbare Verweise helfen dir, Aussagen mit den Originalstellen zu vergleichen. Sie garantieren nicht, dass eine Antwort korrekt belegt ist: Das Modell kann Fehler machen oder Widersprüche übersehen.
Zur Architektur
Verschlüsselt auf deinem Gerät.
Argon2id-Schlüsselableitung, AES-256-GCM und ein eigener Schlüssel pro Arbeitsbereich. Der lokale Vault wird über Passwort oder die 18-Wort-Wiederherstellungsphrase entsperrt.
Architektur ansehen
Kein Netz, kein Problem.
Mit den mitgelieferten Modellen bleiben Inferenz, Index und Verschlüsselung lokal. Nach dem Modell-Download kannst du diese Funktionen ohne Netzwerkzugriff nutzen.
Diagramm ansehen
Aus deinen Unterlagen lernen.
Generiere Quizze aus deinen Dokumenten, fasse lange Texte zusammen und lass dir beim Schreiben helfen — mit den mitgelieferten Modellen auf deinem Gerät.
Funktionen ansehen
Übersetzen, ohne Cloud.
Übersetze markierten Text oder ganze Dokumente mit dem ausgewählten Sprachmodell. Mit dem mitgelieferten Modell bleibt der Text lokal; bei freigegebenem externem Ollama wird er an diesen Server gesendet.
Funktionen ansehen
-
Vollständig offline
Mit den mitgelieferten Modellen läuft die Verarbeitung lokal. Kein Cloud-Account, keine Telemetrie; ein externer Ollama-Server ist nur nach deiner Freigabe nutzbar.
-
Klickbare Quellenverweise
Klickbare Quellenverweise öffnen die Originalstelle in deinen Dokumenten und helfen dir, Antworten selbst zu prüfen.
-
PDF, Word, Code & mehr
Importiere PDF (auch gescannt, per OCR), Word (DOCX), Markdown, Text, HTML und Quellcode — organisiert in Arbeitsbereichen.
-
Verschlüsselter Vault
Argon2id-Schlüsselableitung und AES-256-GCM für den Vault. Dein Passwort oder die 18-Wort-Wiederherstellungsphrase entsperrt den Hauptschlüssel; jede Arbeitsbereichs-Datenbank hat einen eigenen Schlüssel.
-
Daten bleiben bei dir
Vault und Arbeitsbereichs-Datenbanken liegen verschlüsselt auf deinem Gerät. Originaldateien bleiben unverändert. Mit den mitgelieferten Modellen werden ihre Inhalte nicht an einen KI-Server übertragen.
-
Quelltext einsehbar
MIT-Lizenz. Audit, fork, beitragen — der gesamte Code ist auf GitHub einsehbar.
-
Lokale Übersetzung
Übersetze Dokumente und Textstellen mit dem ausgewählten Sprachmodell. Mit dem mitgelieferten Modell bleibt der Text lokal.
-
Audio-Transkription
Transkribiere Audio lokal mit Whisper, inklusive Sprechertrennung — speichere das Transkript in einen Arbeitsbereich und befrage es wie jedes Dokument.
-
Codebasen durchsuchen
Indiziere ganze Repositories mit code-spezifischen Embeddings; Antworten verweisen auf Datei und Zeile (z. B. auth.ts:88), inklusive Ordner-Sync.
-
Lernen, zusammenfassen, schreiben
Erzeuge Quizze und Zusammenfassungen aus deinen Dokumenten und nutze den Schreibassistenten — mit den mitgelieferten Modellen lokal.
Wo deine Daten leben — und wo nicht.
Der Datenfluss mit den mitgelieferten Modellen: Dokumentinhalte bleiben auf dem Gerät. Optional freigegebene externe Ollama-Server sind in diesem lokalen Ablauf nicht dargestellt.
- Argon2id Passwort-Hashing
- AES-256-GCM-Verschlüsselung
- 18-Wort-Wiederherstellungsphrase
- Keine Telemetrie, kein Account
Deine Unterlagen. Dein Arbeitsalltag.
Arbeite mit den Unterlagen, die du bereits hast. Diese Beispielfragen zeigen einen möglichen Einstieg; prüfe Antworten immer an den Originalstellen.
- Anwalt
“Wo steht die Cap-Rate-Klausel im Mietvertrag?”
→ Die Klausel im Originalvertrag prüfen
- Forschung & Studium
“Fasse die Methodik dieser drei Paper zusammen.”
→ Die Methodik in jedem Paper nachlesen
- Beratung & Selbstständige
“Was hat der Kunde im Q3-Review zugesagt?”
→ Zusagen mit dem freigegebenen Protokoll abgleichen
- Kleine Unternehmen
“Welche Schritte nennt unser Handbuch für eine Rücksendung?”
→ Den Ablauf im aktuellen Handbuch nachlesen
- Entwickler
“Wie ist die Auth-Middleware in diesem Repo konfiguriert?”
→ Die Erklärung an Datei und Aufrufern prüfen
Ein guter Start mit deinen eigenen Unterlagen.
Nimm zuerst ein überschaubares Dokument, dessen Inhalt du kennst. So lernst du den Ablauf kennen und kannst die Antworten selbst beurteilen.
Alle Anleitungen und Hintergründe-
Ein PDF befragen und die Quellen prüfen
Vom Import bis zur Originalstelle: eine Anleitung mit Beispielfragen und einer Vorlage für deine Quellenprüfung.
PDF-Anleitung lesen -
Passt lokale KI auf deinen Rechner?
Was RAM, Grafikspeicher und Kontextlänge bedeuten – und was du bei einer GPU mit 4 GB erwarten solltest.
Hardware-Leitfaden lesen
Download
Aktuelle Version. Verifiziere die SHA-256-Prüfsumme vor der Installation.
Version
v0.7.4
Veröffentlicht
2026-10-09
windows
401 MB
Prüfsumme anzeigen
LokLM-x64.exe (401 MB)
cdc416d82b7d2425531fb63593c82ee5e623b59b7fba69ddab297ad08744c527 macos
5.7 MB
Prüfsumme anzeigen
LokLM-mac.dmg (5.7 MB)
9f58662afcef1c8828a0fd755085204706aba1c29fe933cd319bde7f9c0440c1 linux
365 MB
Prüfsumme anzeigen
LokLM-Setup-linux-x64.run (365 MB)
7606a6c6f56e19ed5f1a64c53922a77556de8c71f4b3136379f4997a47e97f31 Prüfsumme anzeigen
LokLM-Setup-linux-x64.deb (3.3 MB)
3fff3192dd9bdc3eb3cf55dc160a1916237bdd1d2d2b95440dc70e72aba8e2da info Bei der Installation lädst du eine Modell-Edition — je nach Wahl ca. 4–8 GB (Lite / Standard / Pro). Stabile Verbindung empfohlen.
Systemanforderungen
Windows 10/11, macOS oder Linux (64-bit)
RAM
12 GB RAM (16 GB für Pro), unterstützte GPU
Disk
~10 GB freier Speicher
Häufige Fragen.
Ist LokLM wirklich offline?
Ja, mit den mitgelieferten Modellen funktioniert LokLM nach dem Modell-Download offline. Downloads und Updates benötigen eine Verbindung. Optional kannst du Ollama nutzen: Für einen externen Server musst du die Zieladresse ausdrücklich freigeben. Je nach gewähltem Anbieter werden Fragen, Dokumentpassagen für Chat oder Embeddings sowie Übersetzungstexte dorthin gesendet.
Wie groß sind die Modelle und woher kommen sie?
Bei der Installation wählst du eine Edition: Lite (Qwen3.5-4B, ~3,6 GB, für integrierte Grafik / 12 GB RAM), Standard (Qwen3.5-4B, ~4 GB, empfohlen) oder Pro (Qwen3.5-9B, ~7 GB). Diese Angaben sind Downloadgrößen, keine VRAM-Anforderungen. Die Edition enthält auch ein Embedding-Modell (BGE-M3 bei Lite, Qwen3-Embedding bei Standard und Pro) und den BGE Reranker v2-M3. Auf kleinen GPUs bleibt der Reranker im Automatikmodus deaktiviert.
Kann ich ein eigenes Modell mitbringen (GGUF)?
Ja. LokLM führt GGUF-Modelle lokal über llama.cpp aus — eigene GGUF-Dateien lassen sich in den Modellordner legen und in den Einstellungen auswählen. Alternativ kannst du Ollama für Chat, Embeddings und optionales Reranking auswählen. Ein Server auf einem anderen Rechner benötigt deine ausdrückliche Freigabe.
Braucht es eine GPU?
Für die mitgelieferten KI-Modelle ist eine unterstützte integrierte oder dedizierte GPU mit passendem Treiber erforderlich; reine CPU-Inferenz ist deaktiviert. Das Sprachmodell kann teilweise auf der GPU und teilweise auf der CPU laufen. Auf 4-GB-GPUs werden Chat- und Embedding-Modelle bei Bedarf gewechselt. Ob ein Modell passt und wie schnell es läuft, hängt von Modell, Kontextlänge und freiem Speicher ab. CUDA ist für unterstützte NVIDIA-GPUs optional.
Wo werden meine Dokumente gespeichert?
Vault, Arbeitsbereichs-Datenbanken und erzeugte Texte liegen verschlüsselt im LokLM-Datenordner. Der Vektorindex ist standardmäßig verschlüsselt gespeichert; während der Nutzung gibt es ein lokales Klartext-Arbeitsverzeichnis, das beim Sperren wieder verschlüsselt wird. Für nicht vertrauliche Bestände kannst du einen dauerhaft unverschlüsselten Vektorindex wählen. Importierte Originaldateien bleiben an ihrem bisherigen Ort und werden nicht verändert oder nachträglich verschlüsselt.
Ist LokLM so klug wie ChatGPT oder Claude?
Nein. Cloud-Modelle laufen auf um Größenordnungen mehr Hardware. LokLM ist für etwas anderes optimiert: Privatsphäre, Quellenverweise auf deine eigenen Dokumente, und vollständig offline. Für offene Wissensfragen ohne Kontext sind Cloud-Modelle weiter besser — LokLM ist stark, wenn die Antwort in deinen eigenen Unterlagen steht.
Wie sichere ich meine Daten?
Sperre den Vault oder beende LokLM vor dem Kopieren des Datenordners. Sichere importierte Originaldateien separat. Falls du unverschlüsselte Vektorindizes gewählt hast, enthält auch das Backup diese unverschlüsselten Daten.
Was passiert, wenn ich das Passwort verliere?
Du kannst den Vault mit deiner 18-Wort-Wiederherstellungsphrase wiederherstellen. Ohne beides ist der Vault nicht zu öffnen — das ist Absicht.