6. Lösung der drei Probleme mit Grok

6.1. Einleitung

• In [1] die URL der KI Grok, die dem Unternehmen xAI gehört [https://x.ai/company];
• Unter [2] finden Sie den Verlauf Ihrer Unterhaltungen. Um darauf zuzugreifen, müssen Sie ein Konto erstellen;
• Unter [3] stellen Sie Ihre Frage;
• Unter [4] können Sie Dateien anhängen;
• Unter [5] starten Sie die Ausführung der KI;

Im Gegensatz zu Gemini und ChatGPT sind mir keine Beschränkungen hinsichtlich der Anzahl der Fragen, der Zeit oder der Anzahl der angehängten Dateien aufgefallen. Das bedeutet jedoch nicht, dass es diese Beschränkungen nicht gibt.

6.2. Problem 1

Grok beantwortet diese Frage korrekt.

6.3. Problem 2

Wir bitten Grok, die Steuerberechnung anhand des von ChatGPT generierten PDFs durchzuführen, und geben ihm unsere Anweisungen in einer Textdatei.

Die Textdatei ist dieselbe, die bereits bei den beiden getesteten KI-Systemen verwendet wurde, aber wir haben die 25 von ChatGPT und Gemini validierten Tests darin eingefügt. Das verwendete PDF ist das von ChatGPT generierte:

Grok liefert daraufhin ein sehr sauberes Skript, das jedoch in PyCharm portiert wurde; praktisch kein Test wird bestanden. Ich stelle ihm daraufhin die Fehlerprotokolle zur Verfügung:

Diesmal besteht Grok alle 25 Tests. In [1-3] zeigen wir das generierte Skript [grok1] sowie die beiden der Frage beigefügten Dateien.

6.4. Aufgabe 3

Diesmal wird kein PDF mit den Berechnungsregeln bereitgestellt. Grok muss diese im Internet finden. Die Textanweisungen [instructionsSansPDF5.txt] geben ihm dieselben 25 Tests wie zuvor zur Überprüfung.

Grok schafft es fast auf Anhieb. Es generiert ein Skript, das 24 von 25 Tests besteht. Wir geben ihm seine Logs.

Beim zweiten Versuch klappt es. In [1] das von Grok generierte Skript, in [2] die zu befolgenden Anweisungen.

Nun wird er gebeten, ein PDF zu erstellen, das die Berechnungsregeln erklärt, die er verwendet hat, um die 25 Tests zu bestehen:

Grok generiert jedoch kein PDF, sondern eine [Markdown]-Datei. Ich habe ein kostenloses Tool verwendet, um diese in ein PDF umzuwandeln. Übrigens kann PyCharm [Markdown]-Dateien lesen:

6.5. Problem 4

Um das zuvor generierte PDF zu validieren, geben wir es an Grok weiter.

Die erste Version ist korrekt. Das Skript besteht alle 25 Tests. Tatsächlich scheinen KI-Systeme nicht deterministisch zu sein. Man kann ihnen zweimal dieselbe Frage stellen und feststellen, dass ihre Antworten voneinander abweichen. Das war hier bei Grok der Fall. Beim ersten Mal hatte ich übersehen, dass es nicht ins Internet gehen und ausschließlich sein PDF verwenden sollte. Daraufhin erzeugte es ein fehlerhaftes Skript. Ich habe ihm seine Logs gegeben und dabei gesehen, dass es ins Internet ging, um Dinge zu überprüfen. In der obigen Frage habe ich darum gebeten, dies nicht zu tun. Insgesamt hat Grok also gute Leistung gezeigt.