7. Rozwiązanie trzech problemów z ClaudeAI

7.1. Wprowadzenie

W [1], URL, IA, ClaudeAI, [https://claude.ai/chat] – produkt firmy Anthropic – oraz [https://www.anthropic.com/];
W [2] – historia Twoich czatów. Bezpłatne sesje w ClaudeAI są bardzo ograniczone. Wykupiłem miesięczną subskrypcję płatną, aby przeprowadzić poniższe testy;
W [3] – Twoje pytanie;
W [4] – aby dołączyć pliki do swojego pytania;
W [5], aby złożyć zapytanie;

7.2. Problem 1

Zadanie:

ClaudeAI udziela prawidłowej odpowiedzi.

7.3. Problem 2

Pytanie:

Do mojego pytania załączyłem dwa pliki:

Plik PDF wygenerowany przez ChatGPT [Le problème selon ChatGPT.pdf];
Moje instrukcje w pliku tekstowym [InstructionsAvecPDF4.txt]. To właśnie ten plik narzuca 25 testów jednostkowych zaproponowanych przez ChatGPT;

Pierwsza odpowiedź jest nieprawidłowa. Podajemy logi z wykonania:

Odpowiedź nadal zawiera błąd, ale jest on minimalny. ClaudeAI nie przeszedł testu z dokładnością do 2 euro, podczas gdy wymagana dokładność testów wynosi 1 euro. W rzeczywistości zarówno Gemini, jak i ChatGPT nie przeszły tego testu z tego samego powodu. Prawdopodobnie ograniczenie do 1 euro jest zbyt rygorystyczne ze względu na problemy z zaokrąglaniem, których oficjalnych zasad nie znamy.

W każdym razie po dwóch dodatkowych próbach ClaudeAI podaje prawidłowe rozwiązanie.

7.4. Zadanie 3

Pytanie:

W [2] dołączono plik tekstowy, który był już używany w poprzednich IA. Zmusza to IA do wyszukiwania informacji w Internecie i ponownie narzuca 25 testów jednostkowych.

Pierwsza odpowiedź zawiera wiele błędów. Przesyłamy logi do pliku IA:

Znowu błędy:

Wciąż nie. Zachęcamy go:

Wciąż nie:

Nic z tego:

Wciąż wiele niepowodzeń. Uznamy, że ClaudeAI nie zdołał rozwiązać zadania 3 w rozsądnym terminie.