2. İncelenen üç problem ve sonuçları

IA'ten en basitinden en karmaşığına doğru üç problemi incelemesini isteyeceğiz. Google Gemini'nin bir ekran görüntüsüne bakalım:

• [1]'te, Gemini'nin URL'i;
• [2]'te, kullanılan Gemini sürümü;
• [3-5]'te, Gemini'ye sorulan üç soru;

2.1. Sorun 1

1. problem basit bir sorudur:

Tüm IA'ler bu soruya doğru cevap verecektir.

2.2. Sorun 2

Sorun 2 şöyledir (Gemini ekran görüntüsü):

• [1]'te, 2018 gelirleri üzerinden 2019 vergisinin hesaplanma prensibi bir PDF'te açıklanmaktadır. Buna daha sonra tekrar döneceğiz;
• [2]'te, Gemini'ye ne istediğimize dair kesin talimatlar veriyoruz: ortaya konan sorunu çözen ve önerilen çözümü 11 birim testiyle doğrulayan temiz bir Python betiği;
• [3]'te, Gemini'yi çalıştırmak için bir şeyler yazmamız gerekiyor;

Bu durum, üniversitede verilen bir TD ile tamamen aynıdır.

Test edilen IA'ler, MistralAI ve Perplexity hariç, sorunu çözecektir.

2.3. Sorun 3

Yine Google Gemini'nin ekran görüntüsüne göre, sorun 3 şöyledir:

• [1]'te, daha öncekiyle aynı talimatları veriyoruz. Ancak, hesaplamanın kesin kurallarını veren PDF'i vermediğimiz için, IA bu kuralları internetten aramak zorunda kalacak;
• [3]'te, IA'in çalıştırılmasına başlıyoruz;

Bu testi sadece üç IA geçti; mükemmellik sırasına göre (tabii ki bu tamamen kişisel bir görüş):

1. OpenAI'in ChatGPT'i;

2. xAI'ten Grok;
3. Goggle Gemini;

IA ClaudeAI, 3. soruda başarısız oldu. IA ve MistralAI, 2. ve 3. problemlerde başarısız oldu; aynı şekilde IA Perplexity de başarısız oldu. IA ve DeepSeek, 3. soruda başarısız oldu.