رغم التقدم الكبير في تقنيات الذكاء الاصطناعي والاعتماد المتزايد عليها في مجالات متعددة أبرزها البرمجة، إلا أن دراسة حديثة أجرتها شركة مايكروسوفت كشفت عن وجود تحديات كبيرة لا تزال تواجه هذه النماذج، خاصة في ما يتعلق بكشف الثغرات البرمجية وإصلاحها، ففي الوقت الذي تستخدم فيه نماذج من شركات كبرى مثل "أنثروبيك" و"أوبن إيه.آي" لإنشاء وتطوير الأكواد البرمجية، إلا أن الأداء الفعلي عند اختبارها على مهام تصحيح الأخطاء أظهر محدودية واضحة مقارنة بالتوقعات التي تبنى حول هذه التقنيات.

مايكروسوفت الذكاء الاصطناعي غير قادر على كشف الثغرات

بحسب ما صرح به سوندار بيتشاي الرئيس التنفيذي لشركة غوغل فإن 25% من الأكواد البرمجية الجديدة داخل الشركة يتم إنشاؤها باستخدام الذكاء الاصطناعي، في حين أعرب مارك زوكربيرغ الرئيس التنفيذي لشركة ميتا عن رغبته في توسيع استخدام هذه النماذج داخل منظومته التقنية، لكن الدراسة الجديدة التي أجرتها فرق البحث والتطوير في مايكروسوفت أظهرت أن هذه النماذج لا تزال بعيدة عن استبدال المطورين البشريين في المهام الدقيقة والمعقدة.

اختبار شامل لـ 9 نماذج ذكاء اصطناعي

اختبر الباحثون 9 نماذج مختلفة للذكاء الاصطناعي تحت ما يعرف باسم "وكيل وحيد قائم على المطالبات" والذي تم تزويده بأدوات تصحيح الأخطاء من بينها مصحح أخطاء بايثون، وتم تكليف هذه النماذج بأداء 300 مهمة تصحيح برمجية وفقًا لمعيار SWE-bench Lite المعتمد، ورغم استخدام أحدث النماذج وأكثرها تطور إلا أن الأداء ظل دون المستوى المطلوب حيث لم ينجح أي وكيل ذكاء اصطناعي في تجاوز نصف المهام بنجاح.

  • حقق نموذج Claude 3.7 Sonnet من شركة "أنثروبيك" أعلى نسبة نجاح بـ 48.4%

  • تلاه النموذج 01 من "OpenAI" بنسبة نجاح 30.2%

  • ثم النموذج 03-ميني بنسبة 22.1% فقط

الذكاء الاصطناعي لا يغني عن المبرمجين

بحسب تقرير نشره موقع TechCrunch فإن نتائج الدراسة تعد بمثابة تحذير صريح من المبالغة في تقدير قدرات الذكاء الاصطناعي في الوقت الحالي خاصة في المجالات التقنية الدقيقة مثل البرمجة واكتشاف الأخطاء، فرغم الزخم الإعلامي الكبير حول هذه النماذج، تبيّن أنها لا تزال بحاجة إلى تحسينات جوهرية لتصل إلى مستوى الأداء البشري في المهام المتقدمة.