2. سه مسئلهای که مورد مطالعه قرار گرفتهاند و نتایج
ما از IA خواهیم خواست تا سه مسئله را از سادهترین تا پیچیدهترین بررسی کند. بیایید نگاهی به یک اسکرینشات از گوگل جمینای بیندازیم:
 |
- در [1]، URL جمینای؛
- در [2]، نسخهی جمینای مورد استفاده؛
- در [3-5]، سه پرسشی که از جمینای پرسیده شده است؛
2.1. مسئله ۱
مسئلهٔ ۱ یک سؤال ساده است:
 |
تمام IA به این سؤال بهدرستی پاسخ خواهند داد.
2.2. مسئله ۲
مسئله ۲ به شرح زیر است (تصویر صفحه از جمینای):
 |
- در [1]، اصل محاسبه مالیات سال ۲۰۱۹ بر اساس درآمد سال ۲۰۱۸ در PDF توضیح داده شده است. ما به این موضوع باز خواهیم گشت؛
- در [2]، ما دستورالعملهای دقیقی به جمینای میدهیم که چه میخواهیم: یک اسکریپت پایتون تمیز که مسئله مورد نظر را حل کند و راهحل پیشنهادی را با ۱۱ تست واحد اعتبارسنجی نماید؛
- در [3]، برای اجرای جمینای، باید مقداری کد بنویسیم؛
این دقیقاً همان وضعیت یک TD در دانشگاه است.
IAهای آزمایششده مشکل را حل میکنند، به استثنای MistralAI و Perplexity.
2.3. مشکل ۳
هنوز با استفاده از یک اسکرینشات از گوگل جمینای، مشکل ۳ به شرح زیر است:
 |
- در [1]، ما دستورالعملهای خود را، همانند قبل، ارائه میدهیم. با این حال، از آنجایی که ما PDF را که قوانین محاسبه دقیق را ارائه میداد، در اختیار قرار نمیدهیم، IA مجبور خواهد بود این قوانین را در اینترنت جستجو کند؛
- در [3]، اجرای IA را آغاز میکنیم؛
تنها سه برنامه IA این آزمون را پشت سر گذاشتند که به ترتیب برتری رتبهبندی شدهاند (البته کاملاً نظر شخصی من است):
- ChatGPT توسط OpenAI؛
- گروک از xAI؛
- گوگل جمینی؛
IA و ClaudeAI در مسئله ۳ شکست خوردند. IA و MistralAI در مسائل ۲ و ۳ شکست خوردند، همانند IA Perplexity. IA و DeepSeek در مسئله ۳ شکست خوردند.