- Veröffentlicht am
- • Open Source Projekte
Was ist Anubis? – Die KI-Firewall gegen Scraper-Bots und automatisierte Angriffe
- Autor
-
-
- Benutzer
- tmueller
- Beiträge dieses Autors
- Beiträge dieses Autors
-
In einer Zeit, in der Daten das neue Öl sind, lauern überall digitale Diebe: Bots, Crawler, Spammer und Scraper. Sie scannen Websites, laden ganze Inhalte herunter, kopieren Datenbanken oder simulieren menschliches Verhalten, um sich unerlaubten Zugriff auf wertvolle Informationen zu verschaffen.
Hier kommt Anubis ins Spiel – eine moderne, KI-gestützte Web-Firewall-Utility, die Websites, APIs und Upstream-Ressourcen intelligent vor automatisierten Angriffen und Datenabgriff schützt.
Was ist Anubis?
Anubis ist eine Web AI Firewall Utility, die speziell dafür entwickelt wurde, Upstream-Ressourcen vor bösartigem Traffic, Crawlern und Scraper-Bots zu schützen. Im Gegensatz zu klassischen Firewalls arbeitet Anubis verhaltensbasiert und lernfähig – sie nutzt Machine Learning, um Unterschiede zwischen legitimen Nutzern und verdächtigen Requests in Echtzeit zu erkennen.
Der Name ist Programm: Anubis – der ägyptische Wächter über die Schwelle – fungiert hier als digitaler Türsteher, der entscheidet, wer passieren darf und wer draußen bleibt.
Wie funktioniert Anubis?
Anubis sitzt als Reverse Proxy oder Upstream-Filter zwischen Webserver (oder API-Gateway) und dem offenen Internet. Alle eingehenden Requests werden durch ein mehrstufiges Analyse-System geprüft:
Signaturprüfung: Bekannte Bot-Fingerprints, User-Agents und Header-Manipulationen werden erkannt und sofort geblockt.
Verhaltensanalyse (Behavioral AI): Die KI wertet Request-Muster aus – etwa Klickfrequenz, Mausbewegung, Intervallzeiten oder API-Aufrufraten – und erkennt automatisch Anomalien.
Device-Fingerprinting & Entropie-Analyse: Anubis erstellt Geräteprofile, um ungewöhnliche Kombinationen aus IP-Adressen, Browsern, Betriebssystemen und Zeitzonen zu erkennen.
Adaptive Threat Intelligence: Die Firewall „lernt“ aus Angriffen. Neue Scraper- oder Angriffsmuster werden automatisch klassifiziert und bei zukünftigen Requests sofort erkannt.
Rate Limiting & Geo-Fencing: Optional können geografische Regionen, IP-Ranges oder zu häufige API-Zugriffe automatisch geblockt oder verzögert werden.
Wichtige Features im Überblick
| Funktion | Beschreibung |
|---|---|
| AI-gestützte Bot-Erkennung | Nutzt neuronale Modelle zur Musteranalyse in HTTP-Traffic |
| Real-Time Scoring Engine | Bewertet jede Anfrage nach Vertrauensscore |
| Scraper- und API-Schutz | Blockiert automatisiertes Crawling und Datenextraktion |
| Reverse Proxy Modus | Kann direkt vor bestehende Systeme (z. B. Nginx, Apache, Node.js) geschaltet werden |
| Custom Policy Engine | Eigene Regeln (z. B. IP-Range, Rate-Limit, Header-Validierung) konfigurierbar |
| Integrationen | Unterstützt REST, GraphQL, JSON-APIs und Cloud-Deployments |
| Anomalie-Dashboard | Visualisiert Bedrohungen, Angriffsquellen und Response-Entscheidungen |
| Adaptive Learning | Passt sich neuen Angriffsmustern automatisch an |
| Webhook & Syslog | Meldet sicherheitsrelevante Events an SIEM-Systeme oder Slack/Teams |
Einsatzszenarien
Anubis kann in verschiedensten Szenarien eingesetzt werden:
- API-Gateways: Schutz sensibler Backend-Daten gegen Massen-Scraping
- E-Commerce-Shops: Verhindert Preis-Scraping und automatisierte Kauf-Bots
- Content-Plattformen: Stoppt automatisches Kopieren von Texten, Bildern und Produktdaten
- Admin-Portale: Schützt Login-Bereiche vor Credential-Stuffing und Brute-Force-Angriffen
- SaaS-Anwendungen: Überwacht API-Traffic auf Missbrauch oder illegitime Integrationen
Technischer Aufbau
Anubis ist modular aufgebaut und lässt sich flexibel in bestehende Infrastrukturen integrieren.
Komponenten:
- Core Engine: Go-basiert, hochperformant, REST-kompatibel
- Analyzer Module: Python-basierte KI-Modelle für Traffic-Bewertung
- Storage: Redis oder PostgreSQL für Caching und Session-Tracking
- Interface: Web-Dashboard (React) für Policy-Management und Echtzeit-Monitoring
- CLI & API: Verwaltung über Terminal oder REST-API
Beispielhafte Architektur:
[Client]
↓
[Anubis Firewall] → [Behavior AI Engine] → [Upstream API / Webserver]
↓
[Logging & Dashboard]
Installation & Setup (Kurzüberblick)
Variante A – Docker (empfohlen)
docker run -d \
-p 8080:8080 \
-v /opt/anubis/config.yaml:/app/config.yaml \
ghcr.io/anubis-ai/anubis:latest
Variante B – Manuell
git clone https://github.com/anubis-ai/anubis.git
cd anubis
go build -o anubis main.go
./anubis serve --config config.yaml
Beispielhafte config.yaml:
server:
listen: ":8080"
mode: reverse-proxy
security:
ai_mode: "adaptive"
rate_limit: 100/minute
allow_regions: ["EU", "US"]
logging:
level: info
KI im Dienste der Sicherheit
Was Anubis besonders macht, ist seine Lernfähigkeit. Während herkömmliche Firewalls statisch auf Regeln basieren, erkennt Anubis dynamisch neue Muster – zum Beispiel:
- Scraper, die JavaScript interpretieren,
- Bots, die menschliche Mausbewegungen simulieren,
- ungewöhnliche API-Request-Frequenzen.
Dadurch kann die Firewall selbständig auf sich ändernde Bedrohungslagen reagieren.
Praxis-Tipps für den Einsatz
Kombination mit Cloudflare oder Nginx: Anubis kann hinter existierenden Layer-7-Proxys laufen und deren Daten für KI-Training nutzen.
Nutzung im Lernmodus: Starte Anubis zunächst im Monitor Mode, um legitimen Traffic zu analysieren, bevor du Blockierungen aktivierst.
Logging aktivieren: Verwende ELK (Elasticsearch, Logstash, Kibana) oder Grafana-Loki, um Angriffe langfristig zu visualisieren.
Whitelists & API Keys: Hinterlege vertrauenswürdige IP-Ranges oder API-Clients, um Fehlalarme zu vermeiden.
Automatisches Retraining: Führe regelmäßige KI-Model-Updates durch – besonders bei sich ändernden Trafficmustern (z. B. neue App-Versionen).
Anubis ist weit mehr als eine klassische Firewall – es ist ein intelligenter KI-Wächter, der in Echtzeit entscheidet, welcher Traffic erlaubt, gebremst oder geblockt wird. Für Betreiber von APIs, SaaS-Plattformen oder datengetriebenen Websites bietet Anubis einen modernen Ansatz, um Scraper, Crawler und Angriffe auf Basis von Machine Learning effektiv abzuwehren.
Kurz gesagt: Anubis schützt nicht nur deinen Server – sondern dein digitales Wissen.