AnythingLLM lokal installieren – Schritt-für-Schritt mit Desktop oder Docker

Die eigene KI lokal betreiben – sicher, flexibel und ganz ohne Cloud-Zwang? Genau das ermöglicht AnythingLLM, die All-in-One-Plattform für lokale Large Language Models mit RAG, Agenten und No-Code-Oberfläche. Ob du deine Dokumente mit künstlicher Intelligenz durchsuchen oder eigene Chatbots aufbauen willst – AnythingLLM läuft sowohl als Desktop-App als auch im Docker-Container. In diesem Artikel zeigen wir dir, wie du beides Schritt für Schritt installierst, einrichtest und testest.

Warum AnythingLLM lokal betreiben?

Viele Cloud-KI-Lösungen sind praktisch, aber datenschutzrechtlich heikel. Mit AnythingLLM hast du volle Kontrolle über:

• Datensicherheit: Alle Daten bleiben auf deinem Rechner oder Server.
• Flexibilität: Verbindung mit beliebigen Modellen – OpenAI, Anthropic oder lokal via Ollama.
• Modularität: RAG, Agenten und Speicherverwaltung in einem Tool.

Perfekt für Entwickler, Unternehmen und Datenschutzfans, die eine eigene, DSGVO-konforme KI-Umgebung aufbauen wollen.

Variante 1: AnythingLLM als Desktop-App

1. Download

Die einfachste Variante für den Einstieg: 👉 Lade die aktuelle Version von anythingllm.com oder direkt von GitHub herunter.

2. Installation

• Windows: Starte die .exe-Datei und folge dem Installationsassistenten.
• macOS: Öffne das .dmg-Image und verschiebe die App in den Programme-Ordner.
• Linux: Entpacke das .AppImage, gib es mit chmod +x AnythingLLM.AppImage ausführbar und starte es.

3. Erster Start

Beim ersten Öffnen wird ein lokaler Server gestartet – meist unter http://localhost:3001.

Du siehst nun das Dashboard, in dem du:

• Dokumente hochladen
• LLMs konfigurieren
• Chats starten kannst.

Variante 2: AnythingLLM mit Docker

Ideal für Admins, Server und Teams, die AnythingLLM gemeinsam nutzen wollen.

1. Docker installieren

Falls noch nicht vorhanden:

sudo apt install docker docker-compose -y

2. Container starten

Erstelle ein Verzeichnis, z. B. /opt/anythingllm, und führe aus:

docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v anythingllm_data:/app/data \
  mintplexlabs/anythingllm:latest

3. Zugriff

Öffne anschließend im Browser: http://localhost:3001 oder – wenn du auf einem Server arbeitest – http://<deine-server-ip>:3001

Erste Schritte & Konfiguration

1. LLM-Anbieter auswählen

Unter Settings → Model Settings kannst du entscheiden, ob du:

• OpenAI (API-Key erforderlich)
• Anthropic (Claude)
• oder lokale Modelle über Ollama nutzen möchtest.

2. Dokumente hochladen

Unter Knowledge Bases → Upload Documents kannst du PDFs, TXT, DOCX etc. hochladen. AnythingLLM erstellt automatisch Embeddings und speichert sie in einem Vektorspeicher – so kann die KI dein Wissen später gezielt abrufen.

3. Erste Chat-Abfrage

Starte im Menü Chat eine Unterhaltung, z. B. mit der Frage:

„Fasse den Inhalt der Datei Projektplanung.pdf zusammen.“

Die KI nutzt jetzt RAG (Retrieval-Augmented Generation), um aus deinen Dokumenten zu antworten – lokal, ohne Cloud.

Tipp: Integration mit Ollama

Wenn du komplett offline arbeiten möchtest, installiere Ollama und starte ein Modell:

ollama run llama3

Dann kannst du in AnythingLLM einfach „Ollama“ als Backend auswählen. Damit läuft deine gesamte KI-Infrastruktur lokal – perfekt für Datenschutz, sensible Daten oder interne Nutzung.

Fehlerbehebung & Tipps

• Falls der Port 3001 belegt ist, kannst du ihn im Docker-Befehl oder in der Desktop-App ändern.
• Backups werden im Ordner anythingllm_data gespeichert – sichere diesen regelmäßig.
• Für Teams: Hinterlege ein Reverse-Proxy-Setup (z. B. mit Nginx oder Traefik) und TLS-Zertifikate.

AnythingLLM ist eine der benutzerfreundlichsten Möglichkeiten, eine eigene KI-Plattform lokal oder im Netzwerk aufzubauen – mit eingebautem Datenschutz, RAG, Agenten und intuitiver Oberfläche. Ob du ein internes Wissenssystem oder eine smarte Chatlösung planst – AnythingLLM liefert die perfekte Basis dafür.