open-how2 – Entdecke. Verstehe. Nutze.
Veröffentlicht am
Open Source Projekte

Was ist Anubis? – Die KI-Firewall gegen Scraper-Bots und automatisierte Angriffe

Autor
Was ist Anubis? – Die KI-Firewall gegen Scraper-Bots und automatisierte Angriffe

In einer Zeit, in der Daten das neue Öl sind, lauern überall digitale Diebe: Bots, Crawler, Spammer und Scraper. Sie scannen Websites, laden ganze Inhalte herunter, kopieren Datenbanken oder simulieren menschliches Verhalten, um sich unerlaubten Zugriff auf wertvolle Informationen zu verschaffen.

Hier kommt Anubis ins Spiel – eine moderne, KI-gestützte Web-Firewall-Utility, die Websites, APIs und Upstream-Ressourcen intelligent vor automatisierten Angriffen und Datenabgriff schützt.

Was ist Anubis?

Anubis ist eine Web AI Firewall Utility, die speziell dafür entwickelt wurde, Upstream-Ressourcen vor bösartigem Traffic, Crawlern und Scraper-Bots zu schützen. Im Gegensatz zu klassischen Firewalls arbeitet Anubis verhaltensbasiert und lernfähig – sie nutzt Machine Learning, um Unterschiede zwischen legitimen Nutzern und verdächtigen Requests in Echtzeit zu erkennen.

Der Name ist Programm: Anubis – der ägyptische Wächter über die Schwelle – fungiert hier als digitaler Türsteher, der entscheidet, wer passieren darf und wer draußen bleibt.

Wie funktioniert Anubis?

Anubis sitzt als Reverse Proxy oder Upstream-Filter zwischen Webserver (oder API-Gateway) und dem offenen Internet. Alle eingehenden Requests werden durch ein mehrstufiges Analyse-System geprüft:

  1. Signaturprüfung: Bekannte Bot-Fingerprints, User-Agents und Header-Manipulationen werden erkannt und sofort geblockt.

  2. Verhaltensanalyse (Behavioral AI): Die KI wertet Request-Muster aus – etwa Klickfrequenz, Mausbewegung, Intervallzeiten oder API-Aufrufraten – und erkennt automatisch Anomalien.

  3. Device-Fingerprinting & Entropie-Analyse: Anubis erstellt Geräteprofile, um ungewöhnliche Kombinationen aus IP-Adressen, Browsern, Betriebssystemen und Zeitzonen zu erkennen.

  4. Adaptive Threat Intelligence: Die Firewall „lernt“ aus Angriffen. Neue Scraper- oder Angriffsmuster werden automatisch klassifiziert und bei zukünftigen Requests sofort erkannt.

  5. Rate Limiting & Geo-Fencing: Optional können geografische Regionen, IP-Ranges oder zu häufige API-Zugriffe automatisch geblockt oder verzögert werden.

Wichtige Features im Überblick

Funktion Beschreibung
AI-gestützte Bot-Erkennung Nutzt neuronale Modelle zur Musteranalyse in HTTP-Traffic
Real-Time Scoring Engine Bewertet jede Anfrage nach Vertrauensscore
Scraper- und API-Schutz Blockiert automatisiertes Crawling und Datenextraktion
Reverse Proxy Modus Kann direkt vor bestehende Systeme (z. B. Nginx, Apache, Node.js) geschaltet werden
Custom Policy Engine Eigene Regeln (z. B. IP-Range, Rate-Limit, Header-Validierung) konfigurierbar
Integrationen Unterstützt REST, GraphQL, JSON-APIs und Cloud-Deployments
Anomalie-Dashboard Visualisiert Bedrohungen, Angriffsquellen und Response-Entscheidungen
Adaptive Learning Passt sich neuen Angriffsmustern automatisch an
Webhook & Syslog Meldet sicherheitsrelevante Events an SIEM-Systeme oder Slack/Teams

Einsatzszenarien

Anubis kann in verschiedensten Szenarien eingesetzt werden:

  • API-Gateways: Schutz sensibler Backend-Daten gegen Massen-Scraping
  • E-Commerce-Shops: Verhindert Preis-Scraping und automatisierte Kauf-Bots
  • Content-Plattformen: Stoppt automatisches Kopieren von Texten, Bildern und Produktdaten
  • Admin-Portale: Schützt Login-Bereiche vor Credential-Stuffing und Brute-Force-Angriffen
  • SaaS-Anwendungen: Überwacht API-Traffic auf Missbrauch oder illegitime Integrationen

Technischer Aufbau

Anubis ist modular aufgebaut und lässt sich flexibel in bestehende Infrastrukturen integrieren.

Komponenten:

  • Core Engine: Go-basiert, hochperformant, REST-kompatibel
  • Analyzer Module: Python-basierte KI-Modelle für Traffic-Bewertung
  • Storage: Redis oder PostgreSQL für Caching und Session-Tracking
  • Interface: Web-Dashboard (React) für Policy-Management und Echtzeit-Monitoring
  • CLI & API: Verwaltung über Terminal oder REST-API

Beispielhafte Architektur:

[Client]
   ↓
[Anubis Firewall] → [Behavior AI Engine] → [Upstream API / Webserver]
   ↓
[Logging & Dashboard]

Installation & Setup (Kurzüberblick)

Variante A – Docker (empfohlen)

docker run -d \
  -p 8080:8080 \
  -v /opt/anubis/config.yaml:/app/config.yaml \
  ghcr.io/anubis-ai/anubis:latest

Variante B – Manuell

git clone https://github.com/anubis-ai/anubis.git
cd anubis
go build -o anubis main.go
./anubis serve --config config.yaml

Beispielhafte config.yaml:

server:
  listen: ":8080"
  mode: reverse-proxy

security:
  ai_mode: "adaptive"
  rate_limit: 100/minute
  allow_regions: ["EU", "US"]

logging:
  level: info

KI im Dienste der Sicherheit

Was Anubis besonders macht, ist seine Lernfähigkeit. Während herkömmliche Firewalls statisch auf Regeln basieren, erkennt Anubis dynamisch neue Muster – zum Beispiel:

  • Scraper, die JavaScript interpretieren,
  • Bots, die menschliche Mausbewegungen simulieren,
  • ungewöhnliche API-Request-Frequenzen.

Dadurch kann die Firewall selbständig auf sich ändernde Bedrohungslagen reagieren.

Praxis-Tipps für den Einsatz

  • Kombination mit Cloudflare oder Nginx: Anubis kann hinter existierenden Layer-7-Proxys laufen und deren Daten für KI-Training nutzen.

  • Nutzung im Lernmodus: Starte Anubis zunächst im Monitor Mode, um legitimen Traffic zu analysieren, bevor du Blockierungen aktivierst.

  • Logging aktivieren: Verwende ELK (Elasticsearch, Logstash, Kibana) oder Grafana-Loki, um Angriffe langfristig zu visualisieren.

  • Whitelists & API Keys: Hinterlege vertrauenswürdige IP-Ranges oder API-Clients, um Fehlalarme zu vermeiden.

  • Automatisches Retraining: Führe regelmäßige KI-Model-Updates durch – besonders bei sich ändernden Trafficmustern (z. B. neue App-Versionen).

Anubis ist weit mehr als eine klassische Firewall – es ist ein intelligenter KI-Wächter, der in Echtzeit entscheidet, welcher Traffic erlaubt, gebremst oder geblockt wird. Für Betreiber von APIs, SaaS-Plattformen oder datengetriebenen Websites bietet Anubis einen modernen Ansatz, um Scraper, Crawler und Angriffe auf Basis von Machine Learning effektiv abzuwehren.

Kurz gesagt: Anubis schützt nicht nur deinen Server – sondern dein digitales Wissen.