6. Resolução dos três problemas com o Grok

6.1. Introdução

• Em [1], o URL do IA Grok, propriedade da empresa xAI [https://x.ai/company];
• No [2], o histórico das suas conversas. Para o obter, tem de criar uma conta;
• No [3], faça a sua pergunta;
• Em [4], pode anexar ficheiros;
• No [5], inicie a execução do IA;

Ao contrário do Gemini e do ChatGPT, não encontrei limites quanto ao número de perguntas, ao tempo de execução ou ao número de ficheiros anexados. Isso não significa que esses limites não existam.

6.2. O problema 1

O Grok responde corretamente a esta pergunta.

6.3. Problema 2

Pede-se ao Grok para resolver o cálculo do imposto utilizando o PDF gerado pelo ChatGPT e fornecem-se as instruções num ficheiro de texto.

O ficheiro de texto é o mesmo já utilizado com os dois IA testados, mas incluímos nele os 25 testes validados pelo ChatGPT e pelo Gemini. O PDF utilizado é aquele gerado pelo ChatGPT:

O Grok fornece então um script muito limpo, mas, quando executado no PyCharm, praticamente nenhum teste é aprovado. Forneço-lhe então os registos dos seus erros:

Desta vez, o Grok passou nos 25 testes. No [1-3], é apresentado o script [grok1] gerado, bem como os dois ficheiros anexados à questão.

6.4. Problema 3

Desta vez, não é fornecido o PDF com as regras de cálculo. O Grok terá de as encontrar na Internet. As instruções de texto [instructionsSansPDF5.txt] indicam-lhe os mesmos 25 testes que anteriormente, para verificação.

O Grok consegue quase à primeira tentativa. Gera um script que passa 24 dos 25 testes. São-lhe fornecidos os seus registos.

À segunda tentativa, funciona. Em [1], o script gerado pelo Grok; em [2], as instruções a seguir.

Pedimos-lhe agora que gere um PDF que explique as regras de cálculo que utilizou para passar nos 25 testes:

O Grok não gera, então, um PDF, mas sim um ficheiro [MarkDown]. Utilizei uma ferramenta gratuita para o converter em PDF. Além disso, o PyCharm consegue ler os ficheiros [MarkDown]:

6.5. O problema 4

Para validar o ficheiro PDF gerado anteriormente, submetemo-lo ao Grok.

A sua primeira versão está correta. O script passa nos 25 testes. Na verdade, os ficheiros IA não parecem ser determinísticos. Podemos fazer-lhe duas vezes a mesma pergunta e ver que as respostas divergem. Foi o que aconteceu aqui com o Grok. Na primeira vez, tinha-me esquecido de que ele não devia aceder à Internet e usar apenas o seu PDF. Ele produziu então um script errado. Entreguei-lhe os registos e foi aí que vi que ele acedia à Internet para verificar algumas coisas. Na pergunta acima, pedi-lhe que não o fizesse. Assim, de um modo geral, o Grok teve um bom desempenho.