الإحماء يضرّ: دراسة استئصال جدول زمني من مرحلتين وتحليل متانة الاضطراب الفيزيائي لمحسِّن Lion في PPO
DOI:
https://doi.org/10.65421/jibas.v2i3.193الكلمات المفتاحية:
مُحسِّن Lion، AdamW، إحماء معدل التعلم، دراسة استئصال، الرفرفة (Chattering)، )؛ المتانة، PPOالملخص
رغم استمرار AdamW كمُحسِّن افتراضي لخوارزمية PPO، فإن حالته اللحظية ذات المخزنين (ذاكرة 2P) تُكلّف ضعف ما يتطلبه المُحسِّن القائم على الإشارة Lion (1P). غير أن مقدار تحديث Lion يتتبّع معدل التعلم اللحظي بشكل مباشر وحصري، دون أي آلية تقوم مقام التطبيع الذاتي الداخلي لـ AdamW عند تراجع الجدول الزمني؛ وهو ما يجعله عرضة بنيويًا لظاهرة الرفرفة (chattering)، وينبغي أن يجعل تنافسيته مع AdamW حساسة للجدول الزمني بخلاف AdamW. نعزل هذه الحساسية عبر دراسة استئصال من مرحلتين على PPO في أربع بيئات تحكم مستمر من MuJoCo (HalfCheetah-v4، Walker2d-v4، Ant-v4، Hopper-v4؛ 15 بذرة عشوائية لكل تهيئة، باستخدام اختبار Welch's t مع تصحيح Holm-Bonferroni)، حيث نُحلّل ثلاث تهيئات لـ Lion (lion_raw: بلا جدول زمني؛ lion_cosine: تراجع جيبي منذ البداية؛ lion_warmup_cosine: إحماء خطي وهضبة ثم التراجع الجيبي نفسه) إلى مقارنتين مستقلتين ومتراكمتين. في البيئات الثلاث المستقرة سلبيًا (HalfCheetah-v4، Walker2d-v4، Ant-v4)، يكون التراجع مفيدًا بينما الإحماء ضارًا بشكل معنوي، إذ يُخفّض متوسط العائد بنسبة 39-55% ويزيد الرفرفة بنسبة 12-18% مقارنة بالتراجع وحده، ويتأكد هذا النمط الاتجاهي - المعكوس بالنسبة للإحماء، عكس مبرره المعتاد في التعلم الخاضع للإشراف - في إنتروبيا السياسة بعد التدريب. أما في بيئة Hopper-v4 الأقل استقرارًا، فلا يصل أي استئصال منفرد إلى الدلالة الإحصائية، رغم أن المقارنة المجمّعة بين lion_raw وlion_warmup_cosine تصل إليها. كما نُقدّم تحليلًا استكشافيًا بعديًا لمتانة الاضطراب الفيزيائي (زيادة الكتلة، ضوضاء الاستشعار): يتراوح متوسط استعادة العائد بعد إعادة الضبط الدقيق بين 54.7% (الأسوأ، Walker2d-v4) و113.7% (الأفضل، Ant-v4، وهو تحسّن فعلي)، ويبدو أنه محكوم بخاصية مختلفة عن الاستقرار السلبي في الحالة النظيفة.
