$LA يقوم لاغرانج بالكثير من الأشياء الغريبة هذه الأيام أنت تعلم أن Gemma 3 خرجت على Google ... Gemma3 هو نموذج الذكاء الاصطناعي من الجيل التالي تم إنشاؤه بواسطة Google. أكثر ذكاء مع عدد أقل من المعلمات (الوحدات الحسابية مثل خلايا الدماغ) كما أنه سريع ودقيق ، وهو مختلف تماما عن هيكل GPT الحالي. على سبيل المثال - انتباه الاستعلام المجمع (GQA): طريقة لحل نفس المشكلة عدة مرات ومشاركة الإجابة -> الكفاءة الحسابية↑ - اهتمام محلي + عالمي: ركز على الكلمات القريبة منك من خلال تقسيمها إلى كلمات محلية وبعيدة على أنها عالمية. -> حسابات غير ضرورية↓ - الترميز الموضعي الدوار (RoPE): يمثل ترتيب الكلمات كقيم دوران بسيطة بدلا من المصفوفات المعقدة -> كفاءة معالجة السياق الطويل↑ - RMSNorm ، GeGLU: تغيير القواعد التي ينظم بها الدماغ الأفكار وكيف يتفاعل -> الاستقرار والدقة↑ ولكن عندما يتغير الهيكل على هذا النحو ، "هل تم حساب هذا النموذج بشكل صحيح حقا؟" يصبح إثبات ذلك أكثر صعوبة عادة ، ليس لديك خيار سوى الوثوق بالنتائج مثل الصندوق الأسود ، ولكن النقطة الأساسية هي إثبات ذلك. يوسع DeepProven من Lagrange...