تقارير: الذكاء الاصطناعي يواجه صعوبة في فهم التاريخ

أظهرت دراسة حديثة أن الذكاء الاصطناعي، على الرغم من تفوقه في العديد من المجالات التقنية والإبداعية مثل كتابة الأكواد البرمجية وإنتاج حلقات بودكاست، مازال يواجه تحديات كبيرة في فهم التاريخ. هذه الدراسة اختبرت قدرات ثلاثة من أبرز النماذج اللغوية الكبيرة في الإجابة عن أسئلة تاريخية معقدة.

اختبار نماذج الذكاء الاصطناعي في التاريخ

لإجراء الدراسة، أنشأ فريق من الباحثين معيارًا جديدًا باسم (Hist-LLM) لاختبار أداء ثلاثة نماذج لغوية كبيرة هي: GPT-4 من OpenAI، وLlama من ميتا، وGemini من جوجل. تم استخدام قاعدة بيانات تاريخية ضخمة تُسمى Seshat، التي تجمع معلومات تاريخية من مصادر متعددة وتغطي فترات وأماكن جغرافية مختلفة. وهدف الاختبار هو قياس دقة وموثوقية المعلومات التاريخية التي يقدمها كل نموذج لغوي مقارنةً بالمعرفة المدونة في قاعدة بيانات Seshat.

نتائج الدراسة

العرض الأول لهذه الدراسة كان في مؤتمر NeurIPS، وجاءت النتائج مخيبة للآمال. على الرغم من أن GPT-4 Turbo حقق أفضل أداء بين النماذج المختبرة، إلا أن دقته لم تتجاوز 46% في الإجابة عن الأسئلة التاريخية، مما يشير إلى أنه لم يكن أفضل بكثير من التخمين العشوائي. هذه النسبة تُعدّ أقل بكثير من المعايير التي تأمل فيها الدراسة، إذ أن نسبة 50% تمثل احتمالية الإجابة الصحيحة من خلال التخمين عند وجود خيارين فقط.

أسباب الضعف في أداء النماذج اللغوية في التاريخ

أرجع الباحثون هذا الأداء الضعيف إلى أن النماذج اللغوية الكبيرة تميل إلى الاستقراء من البيانات التاريخية الأكثر شيوعًا والمشهورة، مما يصعب عليها استرجاع المعلومات التاريخية الأقل شهرة. على سبيل المثال، عندما سُئل نموذج GPT-4 Turbo عن استخدام الدروع الحرشفية في مصر القديمة، أجاب بنعم، رغم أن هذه التقنية لم تُستخدم إلا بعد 1500 عام من الحقبة التي تم سؤاله عنها.

التحيزات في البيانات

الدراسة كشفت أيضًا عن تحيزات في البيانات المستخدمة لتدريب النماذج اللغوية، خاصة في مناطق معينة مثل أفريقيا جنوب الصحراء الكبرى، مما أثر على دقة الإجابات في هذه المناطق.

التحديات المستقبلية والإمكانات

على الرغم من ضعف نتائج هذه الدراسة، يرى الباحثون أنه من الممكن الاستفادة من هذه النماذج في المستقبل كأداة مساعدة للمؤرخين لتسريع بعض جوانب البحث وتوفير معلومات أولية. كما يعمل الباحثون على تحسين معايير التقييم بإضافة مزيد من البيانات من المناطق التي تم تمثيلها بشكل ناقص، وطرح أسئلة أكثر تعقيدًا في المستقبل.

خلاصة الدراسة

تسلط الدراسة الضوء على الجوانب التي تحتاج فيها النماذج اللغوية الكبيرة إلى تحسين، وتؤكد على إمكانياتها في المساعدة في البحث التاريخي. وعلى الرغم من التحديات الحالية، إلا أن هناك تفاؤلًا كبيرًا بإمكانية تطور هذه النماذج لتصبح أكثر دقة في المستقبل.