KI in der Praxis

Jeder Klick automatisiert: Desktop-Programme per Smartphone steuern mit KI

Desktop-Programme galten lange als schwer automatisierbar. Mit KI-gestütztem Computer Use und Dispatch lassen sich nun selbst lokale Anwendungen per Smartphone bedienen. Erfahren Sie, wie moderne KI Maus und Tastatur übernimmt, Daten ausliest und komplexe Aufgaben automatisch erledigt.

5 min Lesezeit
Grafik: Jeder Klick automatisiert: Desktop-Programme mit KI steuern

Die Digitalisierung hat in den vergangenen Jahren enorme Fortschritte gemacht. APIs, Cloud-Dienste und Automatisierungsplattformen ermöglichen heute die Verknüpfung unterschiedlichster Systeme. Doch in vielen Unternehmen existiert noch immer eine große Hürde: klassische Desktop-Anwendungen.

Buchhaltungsprogramme, Warenwirtschaftssysteme, Spezialsoftware für Produktion, Logistik oder Verwaltung sowie zahlreiche ältere Branchenlösungen verfügen häufig weder über moderne Schnittstellen noch über eine Weboberfläche. Viele dieser Anwendungen wurden ursprünglich für die lokale Nutzung entwickelt und sind bis heute nur direkt am Arbeitsplatzrechner bedienbar.

Genau hier setzt eine neue Generation von KI-gestützter Automatisierung an. Mit Funktionen wie „Computer Use“ innerhalb von Dispatch kann eine KI Anwendungen direkt über Maus und Tastatur bedienen – und das sogar dann, wenn sich der Nutzer nicht am Rechner befindet. Der Computer wird dabei aus der Ferne über das Smartphone gesteuert, während die KI die eigentliche Arbeit übernimmt.

Die Grenzen klassischer Automatisierung

Moderne Automatisierungslösungen funktionieren in der Regel über Schnittstellen. Eine Software stellt Daten über eine API bereit, die von anderen Programmen gelesen oder verändert werden können.

In der Praxis gibt es jedoch zahlreiche Anwendungen, die:

  • keine API besitzen,
  • keine Cloud-Anbindung haben,
  • keine Integrationen unterstützen,
  • ausschließlich lokal installiert sind,
  • oder nur über eine grafische Benutzeroberfläche bedient werden können.

Solche Anwendungen gelten oft als Automatisierungsblocker. Prozesse müssen manuell durchgeführt werden, Daten werden von Mitarbeitern abgelesen und in andere Systeme übertragen, Berichte werden händisch erzeugt und Auswertungen benötigen viel Zeit.

Gerade in kleinen und mittelständischen Unternehmen finden sich solche Systeme noch häufig im täglichen Einsatz.

Was ist Computer Use?

Computer Use ist eine Technologie, die einer KI erlaubt, einen Computer ähnlich zu bedienen wie ein Mensch.

Anstatt direkt auf Datenbanken oder APIs zuzugreifen, sieht die KI den Bildschirminhalt, erkennt Menüs, Buttons, Eingabefelder und Tabellen und interagiert mit ihnen.

Dabei kann die KI:

  • den Mauszeiger bewegen,
  • auf Schaltflächen klicken,
  • Texte eingeben,
  • Menüs öffnen,
  • Fenster wechseln,
  • Daten auslesen,
  • Berichte erstellen,
  • Informationen zusammenfassen.

Aus Sicht der Anwendung gibt es keinen Unterschied zwischen einem menschlichen Benutzer und der KI.

Die Software wird ganz normal bedient – nur eben automatisiert.

Dispatch als Fernbedienung für den Arbeitsplatz

Dispatch erweitert dieses Konzept um eine weitere Ebene.

Der Nutzer muss nicht mehr direkt vor dem Computer sitzen. Stattdessen sendet er eine Anweisung über sein Smartphone.

Beispielsweise:

„Öffne die Buchhaltungssoftware und zeige mir alle Rechnungen, die länger als 60 Tage überfällig sind.“

Die KI empfängt die Anweisung, verbindet sich mit dem Arbeitsplatzrechner und führt die notwendigen Schritte selbstständig aus.

Während der Nutzer unterwegs ist, arbeitet die KI bereits:

  • Anwendungen öffnen
  • Menüs durchsuchen
  • Berichte erzeugen
  • Daten auswerten
  • Ergebnisse zusammenfassen

Sobald die Aufgabe abgeschlossen ist, erhält der Nutzer die Ergebnisse direkt auf sein Smartphone.

Ein Praxisbeispiel aus der Buchhaltung

Nehmen wir an, ein Unternehmen nutzt eine ältere Buchhaltungssoftware ohne moderne Schnittstellen.

Der Finanzleiter befindet sich auf einer Dienstreise und benötigt kurzfristig eine Übersicht aller offenen Forderungen.

Früher hätte dies bedeutet:

  • VPN-Verbindung aufbauen
  • Remote-Desktop starten
  • Programm öffnen
  • Bericht suchen
  • Daten exportieren
  • Ergebnisse analysieren

Mit Computer Use genügt eine einzelne Anweisung:

„Öffne die Buchhaltung und liste alle Rechnungen auf, die mehr als 60 Tage überfällig sind. Gruppiere sie nach Kunde und berechne die Gesamtsummen.“

Die KI übernimmt anschließend die komplette Durchführung.

Sie navigiert durch die Software, öffnet den entsprechenden Bericht, liest die angezeigten Daten aus und erstellt eine strukturierte Übersicht.

Das Ergebnis könnte beispielsweise enthalten:

  • Kundenname
  • Rechnungsnummer
  • Rechnungsbetrag
  • Überfälligkeit in Tagen
  • Gesamtsumme je Kunde
  • Gesamtsumme aller offenen Forderungen

Zusätzlich kann die KI wichtige Auffälligkeiten hervorheben, etwa Kunden mit besonders hohen Rückständen oder ungewöhnlich vielen offenen Rechnungen.

Einsatzmöglichkeiten weit über die Buchhaltung hinaus

Das Potenzial beschränkt sich keineswegs auf Finanzsoftware.

Computer Use eignet sich überall dort, wo Anwendungen bislang nicht automatisierbar waren.

Beispiele sind:

Warenwirtschaftssysteme

  • Lagerbestände prüfen
  • Bestelllisten erzeugen
  • Lieferengpässe identifizieren

CRM-Systeme

  • Kundendaten auswerten
  • Berichte erstellen
  • Vertriebskennzahlen zusammenfassen

Produktionssoftware

  • Maschinenprotokolle auslesen
  • Fehlerberichte analysieren
  • Statusübersichten generieren

Verwaltung und Behörden

  • Fachverfahren bedienen
  • Statistiken erstellen
  • Daten für Berichte zusammenführen

Lokale Reporting-Tools

  • Auswertungen starten
  • Diagramme erzeugen
  • Kennzahlen exportieren

Sicherheit und Kontrolle

Da Computer Use direkten Zugriff auf Anwendungen erhält, spielt Sicherheit eine zentrale Rolle.

Moderne Systeme setzen deshalb auf mehrere Schutzmechanismen:

  • Computer Use ist standardmäßig deaktiviert.
  • Der Nutzer muss die Funktion explizit aktivieren.
  • Für jede Anwendung wird eine Freigabe benötigt.
  • Aktionen können protokolliert werden.
  • Zugriffe lassen sich jederzeit unterbrechen.

Dadurch bleibt die Kontrolle stets beim Anwender.

Die KI handelt nicht eigenmächtig, sondern innerhalb klar definierter Grenzen.

Voraussetzungen für den Einsatz

Damit Computer Use zuverlässig funktioniert, sollten einige technische Voraussetzungen erfüllt sein.

Der Rechner muss:

  • eingeschaltet sein,
  • mit dem Internet verbunden sein,
  • die Desktop-Anwendung installiert haben,
  • für die Dauer der Aufgabe aktiv bleiben.

Viele Lösungen bieten deshalb eine „Keep-Awake“-Funktion an. Diese verhindert, dass der Computer während der Bearbeitung in den Ruhezustand wechselt.

Wann sollte man Computer Use einsetzen?

Computer Use ist beeindruckend leistungsfähig, sollte aber gezielt eingesetzt werden.

Für Systeme mit vorhandenen APIs oder direkten Integrationen sind klassische Schnittstellen meist schneller und effizienter.

Computer Use spielt seine Stärken aus, wenn:

  • keine API verfügbar ist,
  • keine Weboberfläche existiert,
  • Daten nur lokal vorliegen,
  • Legacy-Anwendungen genutzt werden,
  • menschliche Bedienung simuliert werden muss.

In solchen Szenarien wird eine bisher unüberwindbare Automatisierungsgrenze überwunden.

Die Zukunft der Desktop-Automatisierung

Lange Zeit galt Software ohne Schnittstellen als Sackgasse für Automatisierungsprojekte. Unternehmen mussten sich mit manuellen Prozessen arrangieren oder kostspielige Individualentwicklungen finanzieren.

Mit KI-gestütztem Computer Use verändert sich diese Situation grundlegend.

Erstmals können Anwendungen automatisiert werden, die ursprünglich nie für Automatisierung vorgesehen waren. Die KI bedient Programme so wie ein Mensch, analysiert die Ergebnisse und liefert direkt verwertbare Informationen.

Damit entsteht eine neue Form der digitalen Assistenz: Nicht mehr der Mensch arbeitet die Software ab – sondern die Software arbeitet für den Menschen.


Computer Use und Dispatch eröffnen völlig neue Möglichkeiten für Unternehmen, Selbstständige und Organisationen.

Statt ausschließlich moderne Cloud-Dienste zu automatisieren, können nun auch klassische Desktop-Anwendungen in digitale Workflows eingebunden werden.

Ob Buchhaltung, Warenwirtschaft, CRM oder Spezialsoftware – überall dort, wo bisher manuelle Arbeit notwendig war, kann KI künftig Aufgaben übernehmen.

Der eigentliche Durchbruch besteht nicht darin, einen Computer aus der Ferne zu steuern. Der wahre Mehrwert liegt darin, Arbeit zu delegieren.

Eine kurze Nachricht vom Smartphone genügt, und die KI erledigt den Rest.