2. Os três problemas estudados e os resultados

Vamos pedir ao IA que analise três problemas, do mais simples ao mais complexo. Vejamos uma captura de tela do Google Gemini:

• Em [1], o URL do Gemini;
• Em [2], a versão do Gemini utilizada;
• Em [3-5], as três questões apresentadas ao Gemini;

2.1. Problema 1

O problema 1 é uma pergunta simples:

Todos os IA responderão corretamente a essa pergunta.

2.2. Problema 2

O problema 2 é o seguinte (captura de tela do Gemini):

• No [1], o princípio do cálculo do imposto de 2019 sobre os rendimentos de 2018 é explicado em um PDF. Voltaremos a esse assunto;
• No [2], fornecemos instruções precisas ao Gemini sobre o que queremos: um script Python limpo que resolva o problema apresentado e que valide a solução proposta com 11 testes unitários;
• No [3], para executar o Gemini, é preciso escrever algo;

Estamos exatamente na mesma situação que a de um TD apresentado na universidade.

Os IA testados resolverão o problema, com exceção do MistralAI e do Perplexity.

2.3. Problema 3

Ainda com uma captura de tela do Google Gemini, o problema 3 é o seguinte:

• No [1], fornecemos nossas instruções, as mesmas de antes. Mas, como não fornecemos o PDF, que apresentava as regras exatas de cálculo, o IA terá que buscar essas regras na internet;
• No [3], iniciamos a execução do IA;

Apenas três IA foram aprovados neste teste, em ordem de excelência (opinião estritamente pessoal, é claro):

1. ChatGPT de OpenAI;

2. Grok de xAI;
3. Goggle Gemini;

O IA ClaudeAI foi reprovado na questão 3. O IA e o MistralAI falharam nos problemas 2 e 3, assim como o IA Perplexity. O IA e o DeepSeek falharam no problema 3.