يكافح ChatGPT مع ألغاز Wordle ، والتي تقول الكثير عن كيفية عملها

استحوذ برنامج الدردشة الآلي المعروف باسم ChatGPT ، الذي طورته شركة OpenAI ، على اهتمام الجمهور وخياله. بعض تطبيقات التكنولوجيا مثيرة للإعجاب حقًا ، مثل قدرتها على تلخيص الموضوعات المعقدة أو الانخراط في محادثات طويلة.

ليس من المستغرب أن تسارع شركات الذكاء الاصطناعي الأخرى لإصدار نماذج اللغات الكبيرة الخاصة بها (LLMs) – اسم التكنولوجيا الأساسية لبرامج الدردشة مثل ChatGPT. سيتم دمج بعض من LLMs في منتجات أخرى ، مثل محركات البحث.

مع وضع قدراته الرائعة في الاعتبار ، قررت اختبار chatbot على Wordle – لعبة الكلمات من New York Times – والتي كنت ألعبها منذ بعض الوقت. لدى اللاعبين ستة يذهبون في تخمين كلمة من خمسة أحرف. في كل تخمين ، تشير اللعبة إلى الأحرف ، إن وجدت ، الموجودة في المواضع الصحيحة في الكلمة.

باستخدام أحدث جيل ، يسمى ChatGPT-4 ، اكتشفت أن أدائه على هذه الألغاز كان ضعيفًا بشكل مدهش. قد تتوقع أن تكون ألعاب الكلمات قطعة من الكعكة لـ GPT-4. LLMs يتم “تدريبهم” على النص ، مما يعني أنهم يتعرضون للمعلومات حتى يتمكنوا من تحسين ما يفعلونه. تم تدريب ChatGPT-4 على حوالي 500 مليار كلمة: كل ويكيبيديا ، وجميع كتب المجال العام ، وكميات ضخمة من المقالات العلمية ، والنصوص من العديد من مواقع الويب.

يمكن أن تلعب روبوتات الدردشة بالذكاء الاصطناعي دورًا رئيسيًا في حياتنا. يوفر فهم سبب معاناة ChatGPT-4 مع Wordle رؤى حول كيفية تمثيل LLM للكلمات والعمل معها – جنبًا إلى جنب مع القيود التي يجلبها ذلك.

أولاً ، اختبرت ChatGPT-4 على أحجية Wordle حيث كنت أعرف المواقع الصحيحة لحرفين في الكلمة. كان النمط “# E # L #” ، حيث يمثل “#” الأحرف غير المعروفة. كان الجواب كلمة “دقيق”.

خمسة من أصل ستة ردود في ChatGPT-4 فشلت في مطابقة النمط. كانت الإجابات: “beryl” و “feral” و “heral” و “merle” و “revel” و “pearl”.

مع مجموعات أخرى ، وجد روبوت المحادثة أحيانًا حلولًا صالحة. ولكن ، بشكل عام ، لقد تم ضربها وفشلها. في حالة تطابق الكلمة مع النمط “## OS #” ، وجدت خمسة خيارات صحيحة. ولكن عندما كان النمط “# R # F #” ، اقترح كلمتين بدون الحرف F ، وكلمة – “Traff” – ليست في القواميس.

تحت غطاء محرك السيارة

في صميم ChatGPT توجد شبكة عصبية عميقة: وظيفة رياضية معقدة – أو قاعدة – ترسم المدخلات إلى المخرجات. يجب أن تكون المدخلات والمخرجات أرقامًا. نظرًا لأن ChatGPT-4 يعمل مع الكلمات ، فيجب “ترجمتها” إلى أرقام حتى تعمل الشبكة العصبية معها.

يتم تنفيذ الترجمة بواسطة برنامج كمبيوتر يسمى tokenizer ، والذي يحتفظ بقائمة ضخمة من الكلمات وتسلسلات الحروف ، تسمى “الرموز المميزة”. يتم تحديد هذه الرموز بالأرقام. كلمة مثل “صديق” لها معرف رمزي 6756 ، لذلك يتم تقسيم كلمة مثل “الصداقة” إلى الرمزين “صديق” و “سفينة”. يتم تمثيل هذه كمعرفات 6756 و 6729.

عندما يُدخل المستخدم سؤالاً ، تُترجم الكلمات إلى أرقام قبل أن يبدأ ChatGPT-4 في معالجة الطلب. لا تستطيع الشبكة العصبية العميقة الوصول إلى الكلمات كنص ، لذلك لا يمكنها حقًا التفكير في الأحرف.

مهمة القصيدة

ChatGPT-4 جيد في التعامل مع الأحرف الأولى من الكلمات. طلبت منه أن يكتب قصيدة مكتوب فيها الحرف الافتتاحي لكل سطر “أنا أحب الروبوتات”. كانت استجابتها جيدة بشكل مدهش. فيما يلي الأسطر الأربعة الأولى:

أنا من محبي التروس والصلب

محبة لتحركاتهم ، سريالية للغاية ،

على الدوائر ، يحكمون بسرعة

يتنافسون على المعرفة ، إنهم ليسوا أحمق ،

تتضمن بيانات التدريب الخاصة بـ ChatGPT-4 أعدادًا ضخمة من الكتب المدرسية ، والتي غالبًا ما تتضمن مؤشرات أبجدية. كان من الممكن أن يكون هذا كافيًا لـ GPT-4 لتعلم الارتباطات بين الكلمات وحروفها الأولى.

يبدو أيضًا أن الرمز المميز قد تم تعديله للتعرف على طلبات مثل هذه ، ويبدو أنه يقسم عبارة مثل “أنا أحب الروبوتات” إلى رموز فردية عندما يقوم المستخدمون بإدخال طلباتهم. ومع ذلك ، لم يكن ChatGPT-4 قادرًا على التعامل مع طلبات التعامل مع الأحرف الأخيرة من الكلمات.

يعد ChatGPT-4 سيئًا أيضًا في المتناظرين. عندما طُلب منه إنتاج عبارة متناظرة حول الروبوت ، اقترح “سوت الروبوت ، أوربا” ، والتي لا تتناسب مع تعريف المتماثل وتعتمد على كلمات غامضة.

ومع ذلك ، فإن LLM جيدة نسبيًا في إنشاء برامج كمبيوتر أخرى. وذلك لأن بيانات التدريب الخاصة بهم تتضمن العديد من مواقع الويب المخصصة للبرمجة. طلبت من ChatGPT-4 كتابة برنامج لتحديد هويات الحروف المفقودة في Wordle.

البرنامج الأولي الذي أنتجه ChatGPT-4 كان به خطأ فيه. لقد صحح هذا عندما أشرت إليه. عندما قمت بتشغيل البرنامج ، وجد 48 كلمة صالحة تطابق النمط “# E # L #” ، بما في ذلك “يخبر” و “الخلايا” و “مرحبًا”. عندما طلبت سابقًا من GPT-4 اقتراح تطابقات لهذا النمط ، وجدت واحدة فقط.

الإصلاحات المستقبلية

قد يبدو من المدهش أن نموذج لغة كبير مثل ChatGPT-4 سيكافح لحل ألغاز الكلمات البسيطة أو صياغة متجانسات ، نظرًا لأن بيانات التدريب تتضمن تقريبًا كل كلمة متاحة لها.

ومع ذلك ، هذا لأنه يجب تشفير جميع مدخلات النص كأرقام والعملية التي تقوم بذلك لا تلتقط بنية الحروف داخل الكلمات. نظرًا لأن الشبكات العصبية تعمل بالأرقام فقط ، فلن يتغير شرط تشفير الكلمات كأرقام.

هناك طريقتان يمكن للماجستير في القانون في المستقبل التغلب على هذا. أولاً ، تعرف ChatGPT-4 الحرف الأول من كل كلمة ، لذلك يمكن زيادة بيانات التدريب الخاصة بها لتشمل تعيينات لكل موضع حرف داخل كل كلمة في قاموسها.

والثاني هو حل أكثر إثارة وعمومية. يمكن أن تنشئ LLMs المستقبلية رمزًا لحل مشكلات مثل هذه ، كما أوضحت. عرضت ورقة بحثية حديثة فكرة تسمى Toolformer ، حيث يستخدم LLM أدوات خارجية لتنفيذ المهام حيث يكافحون عادةً ، مثل الحسابات الحسابية.

نحن في الأيام الأولى لهذه التقنيات ، ويمكن أن تؤدي مثل هذه الرؤى حول القيود الحالية إلى تقنيات ذكاء اصطناعي أكثر إثارة للإعجاب.