تعلم بالتقوية

نموذجية تأطير من تعزيز التعلم (RL) السيناريو: وكيل يأخذ الإجراءات في بيئة التي يتم تفسيرها في مكافأة تمثيل الدولة ، والتي يتم تغذيتها مرة أخرى إلى العميل.

التعلم التعزيزي مستوحى من علم النفس السلوكي، يعنى بكيفية اختيار الوكلاء البرمجيين  للإجراءات في بيئة ما بشكل يحقق أقصى قدر لمفهوم ما من المكافأة. المشكلة، نظرا لعمومها، تدرس في العديد من التخصصات الأخرى مثل نظرية الألعاب، نظرية التحكم، بحوث العمليات، نظرية المعلومات، الاستمثال المحاكي، الأنظمة متعددة الوكلاء، ذكاء السرب، الإحصائيات والخوارزميات الجينية. في بحوث العمليات والتحكم، يسمى المجال الذي تدرس به أساليب التعلم التعزيزي البرمجة الديناميكية التقريبية. كما يتم دراسة نفس المشكلة في مجال نظرية التحكم الأمثل، رغم أن معظم الدراسات هذا المجال معنية بوجود الحلول المثلى ووصفها، وليس بجوانب التعلم أو التقريب. في الاقتصاد ونظرية الألعاب، يمكن استخدام التعلم التعزيزي لشرح كيفية إمكان نشأة حالة توازن في إطار عقلانية محدودة. وهو يعتبر إحدى فروع التعلم الآلى إلى جانب التعلم المراقب وغير المراقب.

نموذج بسيط لللتعلم التعزيزي باستخدام عملية ماركوف لاتخاذ القرار يكون على شكل:

• مجموعة من حالات البيئة والوكيل A
• مجموعة من القرارات (الاختيارات) S

• ${\displaystyle }$ هو احتمال الانتقال من الحالة s إلى الحالة s' عبر الإجراء a.
• ${\displaystyle }$ هو المكافأة الفورية (المتوقعة) بعد الانتقال من s إلى ${\displaystyle }$ عبر الإجراء a.

غالبا ما تكون القواعد عشوائية. الرصد عادة ينطوي على المكافأة الفورية المرتبطة بآخر انتقال. في العديد من التطبيقات، يُفترض أن الوكيل يرصد الحالة البيئية الحالية (ما يسمى الرصد الكامل). إذا لم يكن كذلك فيقال أن لدى الوكيل رصد جزئي. في بعض الأحيان، مجموعة الإجراءات المتاحة للوكيل قد تكون مقيدة.

يتفاعل وكيل التعلم التعزيزي مع بيئته في خطوات زمنية منفصلة. في كل زمن t، يتلقى الوكيل رصدًا ${\displaystyle }$عادة ما يشمل مكافأة ${\displaystyle }$. ثم يختار الوكيل إجراءًا ${\displaystyle }$ من مجموعة الإجراءات المتاحة، والذي يتم إرساله إلى البيئة. تنتقل البيئة بعد ذلك إلى حالة جديدة ${\displaystyle }$ ويتم التحديد المكافأة ${\displaystyle }$ المرتبطة بالانتقال ${\displaystyle }$. هدف الوكيل في التعلم التعزيزي هو جمع أكبر قدر من المكافأة. بإمكان الوكيل اختيار إجرائه كدالة لتاريخه أو حتى بطريقة عشوائية.

حين يقارن أداء الوكيل بأداء وكيل يعمل بطريقة مثالية، فإن الفرق في الأداء يؤدي إلى مفهوم الأسف. من أجل العمل بقرب من المثالية، على الوكيل الاحتساب للعواقب طويلة المدى لإجراءاته، ولو أدى ذلك إلى مكافأة فورية سالبة.

إذًا، فإن التعلم التعزيزي مناسب بشكل خاص للبيئات التي تشمل مفاضلة بين المكافأة على المدى الطويل مقابل المدى القصير. وقد تم تطبيقه بنجاح لحل العديد من المسائل، بما فيها التحكم بالروبوت، جدولة المصاعد، الاتصالات السلكية واللاسلكية، لعبة الطاولة، لعبة الداما[2]ولعبة غو الصينية (AlphaGo).

عاملان يجعلان التعلم التعزيزي أسلوبًا ناجحًا: استخدام العينات لتحسين الأداء واستخدام التقريب للتعامل مع البيئات كبيرة. بفضل هذين العنصريين، فإن التعلم التعزيزي يمكن استخدامه في بيئات كبيرة في الحالات التالية:

• نموذج البيئة معروف، ولكن الحل تحليلي غير متاح؛
• لا يعرف إلا نموذج محاكٍ البيئة؛[3]

• الطريقة الوحيدة لجمع المعلومات عن البيئة هو التفاعل معها.

أولى اثنتين من هذه الحالات يمكن اعتبارها مسائل تخطيط (لأن النموذج متاح بشكل ما) ، بينما الحالة الأخيرة بالإمكان اعتبارها مسألة تعلم فعليّة. ولكن، تحت إطار منهجية التعلم التعزيزي فإن كلتي مسائل التخطيط يتم تحويلها إلى مسائل التعلم الآلي.

المفاضلة بين الاستفادة (الاستغلال) من الحالة الحالية أو الأستكشاف دُرست بشكل مفصل في التعلم التعزيزي من خلال مشكلة الأذرع المتعدة multi-armed bandit. يحتاج التعلم التعزيزي أسلوب ذكى لتحديد الكم من الإستكشاف، حيث أن اختيار الخيارات actions عشوائيا ينتج عنه أداء ضعيف.

أحد هذه الطرق الشهيرة هي طريقة ايبسلون-جشع (وهي تعنى دوماً اختيار أفضل حل في كل مرة مع بعض العشوائية بقيمة ايبسلون -قيمة صغيرة). حيث دوما ${\displaystyle \varepsilon }$ ايبسلون قيمتها تتراوح ما بين الصفر والواحد، ويولد رقم عشوائى عندما يكون أكبر من ال${\displaystyle \varepsilon }$ يُختار الأختيار الطبيعى (الأكبر) وعندما يكون الرقم المُولد العشوائى أصغر من ${\displaystyle \varepsilon }$ يُختار أختيار عشوائى كنوع من الاستكشاف.

• تعلم معزز
• تعلم معزز عميق

• بوابة روبوتيات
• بوابة علم الحاسوب