Ollama installieren & starten – Lokale KI in 10 Minuten einsatzbereit

Installation & erster Start (ohne Bullshit)

In 10 Minuten produktiv mit Ollama

Wenn Teil 1 die Frage geklärt hat, ob du Ollama brauchst, geht es jetzt ums Machen. Keine Ausschweifungen, kein „kommt drauf an“ – sondern ein klarer Weg zu einem laufenden lokalen LLM.

Installation auf Linux

Auf Linux ist Ollama am schnellsten einsatzbereit.

curl -fsSL https://ollama.com/install.sh | sh

Das war’s.

Danach prüfen:

ollama --version

Wenn eine Versionsnummer erscheint: ✅ fertig.

Unterstützt werden u. a.:

• Debian / Ubuntu
• Fedora
• Arch
• viele Server-Distributionen

👉 Hinweis: Root-Rechte sind nötig, weil Ollama als Systemdienst installiert wird.

Installation auf macOS

Auf macOS gibt es zwei Varianten.

Variante 1: Offizieller Installer (empfohlen)

• DMG von ollama.com laden
• App starten
• Ollama läuft im Hintergrund

Danach im Terminal:

ollama --version

Variante 2: Homebrew

brew install ollama

👉 Auf Apple Silicon (M1–M3) läuft Ollama besonders effizient – auch ohne GPU-Konfiguration.

Installation auf Windows

Auch Windows ist kein Sonderfall mehr.

• Installer von ollama.com herunterladen
• Setup ausführen
• Neustart (meist sinnvoll)

Danach in PowerShell:

ollama --version

👉 Ollama nutzt unter Windows automatisch WSL2 im Hintergrund – ohne, dass du dich darum kümmern musst.

Der erste Start: ollama run

Jetzt kommt der wichtigste Befehl.

ollama run llama3

Was passiert dabei?

1. Ollama lädt das Modell (einmalig)
2. startet es lokal
3. öffnet direkt eine Chat-Sitzung im Terminal

Du kannst sofort losschreiben.

Beenden:

/bye

👉 Merke: ollama run ist interaktiv – perfekt zum Testen und Lernen.

ollama run vs. ollama serve

Das ist ein zentraler Punkt – und eine häufige Fehlerquelle.

ollama run

• startet ein Modell
• öffnet eine direkte Sitzung
• blockiert das Terminal

• ideal für:

  • Tests
  • Prompting
  • Experimente

ollama serve

ollama serve

• startet einen lokalen Server
• stellt eine REST-API bereit (localhost:11434)
• läuft dauerhaft im Hintergrund

• ideal für:

  • Tools
  • Webinterfaces
  • Automatisierung
  • RAG-Systeme

👉 Faustregel:

• Mensch tippt → ollama run
• Software spricht → ollama serve

Wo Modelle liegen

Ollama lädt Modelle automatisch und speichert sie lokal.

Standardpfade:

• Linux: /usr/share/ollama/.ollama/models

• macOS: ~/.ollama/models

• Windows: %USERPROFILE%\.ollama\models

Wichtig zu wissen:

• Modelle können mehrere GB groß sein
• sie bleiben gespeichert
• beim nächsten Start werden sie nicht neu geladen

👉 Löschen = Speicherplatz zurückholen:

ollama rm llama3

Typische Anfängerfehler (und wie du sie vermeidest)

❌ „Ollama ist langsam“

→ Meist:

• zu großes Modell
• zu wenig RAM
• falsche Erwartung (lokal ≠ Cloud-GPU)

✅ Lösung:

• kleinere Modelle testen
• realistische Latenzen akzeptieren

❌ „Warum merkt sich das Modell nichts?“

→ Ollama speichert keinen Kontext automatisch.

✅ Lösung:

• Kontext selbst übergeben
• später: RAG einsetzen

❌ „Ich habe Ollama installiert, aber keine KI“

→ Ollama ist leer, bis du ein Modell startest.

✅ Lösung:

ollama run mistral

❌ „Warum antwortet die KI komisch?“

→ Lokale Modelle sind weniger verzeihend.

✅ Lösung:

• klarere Prompts
• Struktur
• explizite Anweisungen

Fazit: Stabil lokal in unter 10 Minuten

Wenn du bis hierher gekommen bist, dann gilt:

• Ollama läuft
• ein Modell ist geladen
• du kannst sofort arbeiten
• lokal, offline, kontrolliert

👉 Mission erfüllt.

Ab jetzt geht es nicht mehr um Installation – sondern um Qualität, Modelle und Einsatzszenarien.