6. Resolução dos três problemas com o Grok

6.1. Introdução

• No [1], o URL do IA Grok pertencente à empresa xAI [https://x.ai/company];
• No [2], o histórico das suas conversas. Para acessá-lo, é necessário criar uma conta;
• No [3], faça sua pergunta;
• No [4], você pode anexar arquivos;
• No [5], você inicia a execução do IA;

Ao contrário do Gemini e do ChatGPT, não encontrei limites quanto ao número de perguntas, tempo de execução ou número de arquivos anexados. Isso não significa que esses limites não existam.

6.2. O problema 1

O Grok responde corretamente a essa pergunta.

6.3. Problema 2

Propomos ao Grok que resolva o cálculo do imposto usando o PDF gerado pelo ChatGPT e fornecemos nossas instruções em um arquivo de texto.

O arquivo de texto é o mesmo já utilizado com os dois IA testados, mas nele foram incluídos os 25 testes validados pelo ChatGPT e pelo Gemini. O PDF utilizado é aquele gerado pelo ChatGPT:

O Grok fornece então um script muito limpo, mas, quando executado no PyCharm, praticamente nenhum teste é aprovado. Então, forneço a ele os logs desses erros:

Desta vez, o Grok passou nos 25 testes. No [1-3], são exibidos o script [grok1] gerado e os dois arquivos anexados à pergunta.

6.4. Problema 3

Desta vez, não é fornecido o PDF com as regras de cálculo. O Grok precisará encontrá-las na internet. As instruções de texto [instructionsSansPDF5.txt] apresentam os mesmos 25 testes que antes para verificação.

O Grok acerta quase à primeira tentativa. Ele gera um script que passa em 24 dos 25 testes. Recebemos seus logs.

Na segunda tentativa, deu certo. Em [1], o script gerado pelo Grok; em [2], as instruções a serem seguidas.

Agora, pedimos que ele gere um PDF que explique as regras de cálculo que ele utilizou para ser aprovado nos 25 testes:

O Grok, então, não gera um PDF, mas um arquivo [MarkDown]. Utilizei uma ferramenta gratuita para transformá-lo em PDF. Além disso, o PyCharm consegue ler os arquivos [MarkDown]:

6.5. Problema 4

Para validar o PDF gerado anteriormente, o enviamos ao Grok.

Sua primeira versão está correta. O script passa nos 25 testes. Na verdade, os arquivos IA não parecem ser determinísticos. É possível fazer a mesma pergunta duas vezes e observar que as respostas divergem. Foi o que aconteceu aqui com o Grok. Na primeira vez, eu havia esquecido que ele não deveria acessar a internet e deveria usar apenas seu PDF. Ele, então, produziu um script com erros. Entreguei a ele os logs e foi aí que percebi que ele estava acessando a internet para verificar algumas coisas. Na pergunta acima, pedi que ele não fizesse isso. Com isso, de modo geral, o Grok teve um bom desempenho.