2. De drie bestudeerde problemen en de resultaten

We gaan de IA vragen om drie problemen te bestuderen, van het eenvoudigste tot het meest ingewikkelde. Laten we eens kijken naar een screenshot van Google Gemini:

• In [1], de URL van Gemini;
• In [2], de gebruikte versie van Gemini;
• In [3-5], de drie vragen die aan Gemini zijn gesteld;

2.1. Vraag 1

Probleem 1 is een eenvoudige vraag:

Alle IA zullen deze vraag correct beantwoorden.

2.2. Opgave 2

Opgave 2 luidt als volgt (screenshot van Gemini):

• In [1] wordt het principe van de berekening van de belasting over 2019 op de inkomsten van 2018 uitgelegd in een PDF. We komen hier later op terug;
• In [2] geven we Gemini precieze instructies over wat we willen: een schoon Python-script dat het gestelde probleem oplost en de voorgestelde oplossing valideert met 11 unit-tests;
• In [3] moet je iets schrijven om Gemini te starten;

Dit is precies hetzelfde geval als bij een TD dat aan de universiteit wordt gegeven.

De geteste IA-opdrachten zullen het probleem oplossen, met uitzondering van MistralAI en Perplexity.

2.3. Probleem 3

Nog steeds aan de hand van een schermafbeelding van Google Gemini is probleem 3 het volgende:

• In [1] geven we onze instructies, dezelfde als eerder. Maar omdat we PDF niet opgeven, dat de exacte berekeningsregels gaf, zal IA deze regels op internet moeten opzoeken;
• In [3] starten we de uitvoering van IA;

Slechts drie IA-programma’s zijn geslaagd voor deze test, in volgorde van uitmuntendheid (dit is uiteraard een strikt persoonlijke mening):

1. ChatGPT van OpenAI;

2. Grok van xAI;
3. Goggle Gemini;

De IA ClaudeAI is gezakt voor vraag 3. De IA MistralAI is gestrand bij de problemen 2 en 3, net als de IA Perplexity. De IA en DeepSeek zijn gestrand bij probleem 3.