2. Os três problemas estudados e os resultados
Vamos pedir ao IA que analise três problemas, do mais simples ao mais complexo. Vejamos uma captura de ecrã do Google Gemini:
 |
- Em [1], o URL do Gemini;
- Em [2], a versão do Gemini utilizada;
- Em [3-5], os três problemas colocados ao Gemini;
2.1. Problema 1
O problema 1 é uma pergunta simples:
 |
Todos os IA responderão corretamente a esta pergunta.
2.2. Problema 2
O problema 2 é o seguinte (captura de ecrã do Gemini):
 |
- No [1], o princípio do cálculo do imposto de 2019 sobre os rendimentos de 2018 é explicado num PDF. Voltaremos a este assunto;
- No [2], dão-se instruções precisas ao Gemini sobre o que se pretende: um script Python limpo que resolva o problema colocado e que valide a solução proposta com 11 testes unitários;
- No [3], para iniciar o Gemini, é necessário escrever algo;
Estamos exatamente na mesma situação que a de um TD apresentado na universidade.
Os IA testados irão resolver o problema, com exceção do MistralAI e do Perplexity.
2.3. Problema 3
Ainda com uma captura de ecrã do Google Gemini, o problema 3 é o seguinte:
 |
- No [1], damos as nossas instruções, as mesmas que anteriormente. Mas, como não fornecemos o PDF, que apresentava as regras exatas de cálculo, o IA terá de procurar essas regras na Internet;
- No [3], iniciamos a execução do IA;
Apenas três IA passaram neste teste, por ordem de excelência (opinião estritamente pessoal, como é óbvio):
- ChatGPT de OpenAI;
- Grok de xAI;
- Goggle Gemini;
O IA ClaudeAI falhou no problema 3. O IA MistralAI falhou nos problemas 2 e 3, tal como o IA Perplexity. O IA e o DeepSeek falharam no problema 3.