2. Los tres problemas estudiados y los resultados

Se le pedirá al IA que analice tres problemas, del más sencillo al más complicado. Veamos una captura de pantalla de Google Gemini:

• En [1], el URL de Gemini;
• En [2], la versión de Gemini utilizada;
• En [3-5], los tres problemas planteados a Gemini;

2.1. Problema 1

El problema 1 es una pregunta sencilla:

Todos los IA responderán correctamente a esta pregunta.

2.2. Problema 2

El problema 2 es el siguiente (captura de pantalla de Gemini):

• En [1], se explica el principio del cálculo del impuesto de 2019 sobre los ingresos de 2018 en un PDF. Volveremos a ello más adelante;
• En [2], se le dan instrucciones precisas a Gemini sobre lo que queremos: un script de Python limpio que resuelva el problema planteado y que valide la solución propuesta con 11 pruebas unitarias;
• En [3], para ejecutar Gemini hay que escribir algo;

Estamos exactamente en el mismo caso que el de un TD asignado en la universidad.

Los IA probados resolverán el problema, a excepción de MistralAI y Perplexity.

2.3. Problema 3

Siguiendo con una captura de pantalla de Google Gemini, el problema 3 es el siguiente:

• En [1] damos nuestras instrucciones, las mismas que antes. Pero como no proporcionamos el PDF que daba las reglas exactas de cálculo, el IA tendrá que buscar esas reglas en Internet;
• En [3], iniciamos la ejecución del IA;

Solo tres IA han superado esta prueba, en orden de excelencia (opinión estrictamente personal, por supuesto):

1. ChatGPT de OpenAI;

2. Grok de xAI;
3. Goggle Gemini;

El IA ClaudeAI no superó el problema 3. El IA y el MistralAI fallaron en los problemas 2 y 3, al igual que el IA Perplexity. El IA y el DeepSeek no superaron el problema 3.