Können ChatGPT und Claude klassische Audit-Analytics-Tools ersetzen?

Künstliche Intelligenz verändert derzeit grundlegend die Arbeitsweise der Internen Revision, der Wirtschaftsprüfung und des IT-Audits. Moderne KI-Systeme wie ChatGPT oder Claude ermöglichen heute Datenanalysen, SQL-Abfragen, Python-Skripte sowie komplexe Auswertungen in natürlicher Sprache.

Dies wirft die Frage auf, welche Rolle klassische Audit-Analytics-Tools wie ACL Analytics oder IDEA künftig in der Internen Revision noch spielen werden und ob moderne KI-Werkzeuge diese langfristig ersetzen können. Inzwischen ist die KI in der Internen Revision angekommen und wirft Fragen hinsichtlich ihres Einsatzes bei der KI-gestützten Datenanalyse auf.

Historische Entwicklung von ACL und IDEA als klassische Audit-Analytics-Tools

Über viele Jahre gehörten ACL Analytics und IDEA zu den Standardwerkzeugen der Internen Revision und von IT-Auditoren. Insbesondere bei Massendatenanalysen, Journal-Entry-Tests, Compliance-Prüfungen oder Fraud-Analysen galten diese Werkzeuge als unverzichtbar.

Der Fokus von ACL und IDEA lagen hierbei auf

  • Revisionsanalysen
  • Fraud Detection
  • Compliance-Überwachung
  • Continuous Auditing.

Die Entwicklung von ACL vollzog sich von ACL über Galvanize hin zu Diligent und endete in einer GRC-Plattform. Als Auditor und Revisor setzten wir zuletzt die ACL Versionen 12 und 13 ein. Aufgrund einer erheblichen Preiserhöhung nahmen wir später keine Updates mehr wahr und setzte die damalige Dongle-basierte ACL-Version noch über mehrere Jahre ein, welche uns stets gute Dienste leistete. Die genannten ACL-Versionen hatten seinerzeit schon die folgenden auditorischen Vorteile:

  1. Revisionssicherheit: Die Ergebnisse waren stets nachvollziehbar.
  2. Audit-Trail: Die durchgeführten Abfragen und Analysen wurden in einem Audittrail für Dokumentationszwecke stets protokolliert.
  3. Wiederholbarkeit: Die Analysen waren somit reproduzierbar und konnten bei vergleichbaren Prüfungen leicht eingesetzt werden.
  4. Kontrollautomatisierung: Durch die integrierte Programmiersprache von ACL konnten die Analysen für ein Continuous Auditing eingesetzt werden.

Zudem wurde Python als Audit Analytics Werkszeug in die ACL-Software integriert.

IDEA von Caseware erhielt seinerzeit eine weite Verbreitung durch die Entscheidung der Finanzverwaltung, dieses Produkt ihren Steuerprüfern zur Verfügung zu stellen.

Entwicklung moderner Audit Analytics am Beispiel von ACL

ACL war seinerzeit der Pionier in der Analyse von Massendaten. Begonnen hat ACS noch unter einer Microsoft DOS Umgebung. I.d.R. wurde jede ACL Software mit Hilfe eines USB-Dongles vor Raubkopieen geschützt. Später wurden die DOS-Version von Windows Versionen abgelöst, jedoch können über ein Fenster auch noch die klassische Shell-Umgebung bis heute eingebunden werden. 

Insgesamt stellt ACL Funktionen zum Datenzugriff, Datenanalyse, Berichterstellung und Exportfunktionen zur Verfügung.

Die Windows-Versionen boten sich in erster Linie für nicht Technik affine Auditoren bzw. Revisoren an, da ACL unter Windows nicht zu technisch wirkte und mehr strategisch und business orientiert war. Nach und nach kamen in ACL immer mehr Funktionen hinzu, wie beispielsweise die Python-Integration, so dass ACL in der heutigen Version von die folgenden Funktionen im Wesentlichen abdecke:

  • Unterstützung von zusätzlichen externen Programmiersprachen, wie beispielsweise Python
  • Automatisierung von Workflows
  • Continuous Monitoring bzw. permanentes Auditing
  • Dashboard
  • GRC-Integration 
  • Cloud-Ansätze 
  • KI-Unterstützung

Aufgrund der Vielzahl der inzwischen integrierten Funktionen in ACL Analytics sowie des umfangreichen Produktangebots von Diligent ist es heutzutage jedoch mühsam, ein geeignetes Produkt für die interne Revision bzw. eine Wirtschaftsprüfung bzw. Data-Analysten zu finden. Es stellt sich daher die Frage, ob mit Hilfe von KI-Werkzeugen, wie beispielsweise ChatGPT von OpenAI oder Claude von Anthropic, nicht auch die gleichen Ergebnisse erzielt werden können.

Wie ChatGPT und Claude die Audit Analytics verändert

Mit Hilfe von KI-Werkzeugen können heutzutage diverse Daten in unterschiedlichen Strukturen analysiert werden. Die KI kann auch von weniger Technik affinen Revisoren oder Auditoren eingesetzt werden. Die KI ist heute in der Lage

  • die unterschiedlichsten Daten zu interpretieren, ohne deren Satzaufbau zuvor beschrieben zu haben
  • selbständig Python Code erzeugen, um spezifische Analysen durchzuführen
  • selbständig SQL-Abfragen erstellen, um beispielsweise auf SQL-Datenbanken zuzugreifen
  • selbständig Anomalien zu erkennen, ohne hierbei spezielle Algorithmen zu definieren
  • Berichte in verschiedenen Formaten (PDF, Word, Excel, PowerPoint, CSV, LaTeX, Html, …) zu erzeugen
  • komplexe Prüfungsfragen entwickeln
  • Daten zu visualisieren
  • Auffälligkeiten erklären und 
  • Zusammenfassungen erzeugen.

Während füher in ACL oder IDEA komplexe Skripte erstellt werden mussten, um die o.g. Aufgaben zu erfüllten, genügen heutzutage bereits ein paar Zeilen Prompt in den einzelnen KI-Tools, wie beispielsweise „Analysiere die CSV-Datei mit Buchungen auf doppelte Zahlungen, ungewöhnliche Buchungen und sonstige Auffälligkeiten.“

In Zeiten von KI stellt sich somit die Frage, ob überhaupt noch klassische Audit-Analytics-Tools benötigt werden?

Vergleich klassischer Audit-Tools ACL / IDEA vs. KI

Stellte man die Funktionen dieser einzelnen Tools gegenüber, so erhält man folgendes Bild:

Kriterium ACL IDEA ChatGPT / Claude
Revisionssicherheit sehr hoch sehr hoch eingeschränkt
Flexibilität mittel mittel extrem hoch
Natürlichsprachliche Bedienung begrenzt begrenzt sehr hoch
Python/SQL eingeschränkt eingeschränkt sehr stark
Dateninterpretation begrenzt begrenzt sehr stark
Halluzinationsrisiko gering gering vorhanden
Nachvollziehbarkeit stark stark organisatorisch notwendig
Continuous Auditing stark mittel abhängig vom Setup

In dieser Übersicht fällt beispielsweise das Halluzinationsrisiko auf, welche die einer oder andere KI durchaus gelegentlich zeigt. Hier kommt es darauf an, dass man sich mit der jeweiligen KI intensiv auseinandersetzen muss, um solche Halluzinationen zu erkennen bzw. zu vermeiden. Auf jeden Fall bedürfen die mittels KI durchgeführten Analysen einer kritischen Betrachtung. Bei den herkömmlichen Analytics Tools (ACL, IDEA) ist dieses Risiko gering und falls doch in den Ergebnissen falsche Analysen auftauchen sollten, dann ist dies häufig auf Fehlern in den eingesetzten Scripten zurückzuführen.

Bewertung des KI-Einsatzes gegenüber klassischen Analytics Tools (ACL, IDEA)

Es ist unbestritten, dass moderne KI-Systeme wie ChatGPT oder Claude die klassische Datenanalyse in der Internen Revision oder der Wirtschaftsprüfung erheblich verändern, da die KI viele traditionelle Analyseaufgaben vereinfachen oder beschleunigen kann und zudem einfach und mit natürlicher Sprache durchgeführt werden kann.

Für revisionssichere, reproduzierbare und regulatorisch belastbare Prüfungsprozesse besitzen spezialisierte Audit-Analytics-Werkzeuge wie Diligent ACL Analytics oder Caseware IDEA jedoch weiterhin relevante Vorteile. Beispielsweise bei rechtssicheren Analysen, bei denen mögliche Halluzinationen der KI-Tools ausgeschlossen werden müssen.

Als weiterer Aspekt gegen reine KI-Tools sprechen sowohl Datenschutz als auch interne Compliance Regelungen. Es versteht sich von selbst, dass sensiblen Daten oder vertrauliche interne Unternehmensdaten nicht einfach so in eine KI ins Internet geladen werden sollten. Hierbei sind die Anforderungen der DSGVO unbedingt zu beachten und der Datenschutz- und Informationssicherheitsbeauftragte muss bei der Integration solcher Tools involviert werden. Darüber hinaus sind alle Mitarbeiter eines Unternehmens hinsichtlich der unkontrollierten Nutzung von KI in den Unternehmen und Behörden zu sensibilisieren.

Die Ergebnisse der KI-Analysen können sehr sensible Informationen eines Unternehmens offenlegen. Daher sollten diese Informationen ebenfalls nicht mit einer öffentlichen KI geteilt werden. 

Auf der anderer Seite bietet die KI, beispielsweise von ChatGPT oder Claude, die Möglichkeit, mit Hilfe der Erstellung von Python-Skripten sowie weiteren Werkzeugen (Pandas, SQL, Jupyter, KI-Agenten) die klassischen Analytics-Prozesse zu ersetzen oder zu ergänzen.

KI-Veränderung der klassischen Analyse Tools

Auch die klassischen Analyse Tools, wie ACL und IDEA, haben sich in den letzten Jahren in Richtung KI-Einbindung verändert. Beispielsweise bietet Diligent mit ACL AI Studio ein Analyse Tools an, in welches bereit mit KI die Datenanalyse mit Hilfe

  • natürlicher Sprache unterstützt
  • die KI Vorschläge für die Prüfung von Daten vorschlägt
  • mögliche KI-Halluzinationen durch eine transparete Dokumentation der Prüfschritte begegnet und
  • von Echtzeitanalysen großen Datenmengen in Realtime analysiert werden.

Mit Hilfe der KI werden also klassische Audit Analytics Tools nicht ersetzt sondern KI verändert grundlegend das Audit Analytics Vorgehen. 

Für den Einsatz von Audit-Analytics-Tools müssen Auditoren bzw. Revisoren nicht mehr mühsam die Syntax der jeweiligen Tools erlernen, sondern können sich in natürlicher Sprache der KI bedienen.

Beispielsweise lassen sich Informationen zu doppelten Zahlungen in ACL mittels

SUMMARIZE ON Vendor SUBTOTAL Amount

ganz einfach mit Hilfe einer KI durch die Eingabe des Satzes

„Analysiere die Kreditorendatei auf doppelte Zahlungen.“

analysieren.

Während früher beispielsweise mittels Journal Entry Analyse (auch Journal Entry Testing oder JET genannt) untersucht wurde, um mögliche Unregelmäßigkeiten, Betrugsindikatoren oder Fehler im Rechnungswesen zu erkennen besteht heutzutage die Möglichkeit, mit Hilfe der natürlichen Sprache die KI zu bitten, ein entsprechendes Skript in Python mit SQL-Abfragen zu generieren.

Unsere Erfahrung

Als langjährige Berater im Bereich IT-Compliance, IT-Revision sowie Data-Analytics ist ein klarer Trend hin zum Einsatz von KI zu erkennen. Um Datenschutz- und Compliance-Risiken zu begegnet, setzen wir hier jedoch auf lokal laufende KI-Tools, welche die Daten nicht ins Internet senden. Die hierfür notwendige Hardware ist inzwischen verfügbar und es ist damit zu rechnen, dass die Leistungsfähigkeit lokal betriebener KI in Zukunfts immer mehr zunehmend wird.

Die Datenanalyse mittels KI wird die Vorgehensweise im Bereich Revision und Wirtschaftsprüfung stark revolutionieren. Hierbei müssen jedoch die derzeitigen Schwachstellen der KI, wie beispielsweise

  • Halluzinationen
  • fehlende Rechtssicherheit sowie 
  • mögliche Haftungsfragen und
  • DSGVO- und Compliance-Risiken

berücksichtigt werden.

Die KI-gestützte Revision macht also nur dort Sinn, wo die Ergebnisse vollständig verifiziert und rechtlichen Risiken ausgeschlossen werden können.