تحليل التمييز الخطي

إذا اعتبرنا مجموعة المشاهدات ${\displaystyle {\vec {x}}}$ (تسمى أيضا الصفات أو الميزات أو المتغيرات أو القياسات) لكل عينة من كائن أو حدث ما لصنف معين يسمى y (تسمى مجموعة العينات مجموعة التدريب)، فإن عملية التصنيف تتمحور حول إيجاد متنبئ جيد للصنف y من أي عينة من نفس التوزيع (ليس بالضرورة أن تكون من مجموعة التدريب) اعتمادا على مجموعة المشاهدات ${\displaystyle {\vec {x}}}$ فقط.[7]^:338

يعتمد منهج تحليل التمييز الخطي لمواجهة هذه المشكلة على افتراض أن دالتا كثافة الاحتمال الشرطية ${\displaystyle p({\vec {x}}|y=0)}$ و ${\displaystyle p({\vec {x}}|y=1)}$ موزعتان توزيعا طبيعيا بمتوسط حسابي ومعامل تغاير ${\displaystyle \left({\vec {\mu }}_{0},\Sigma _{0}\right)}$ و${\displaystyle \left({\vec {\mu }}_{1},\Sigma _{1}\right)}$ على التوالي. بموجب هذا الافتراض فإن الحل البايزي الأمثل يتمثل في التنبؤ بنقاط كأنها من الصنف الثاني إذا كان لوغاريتم نسب الترجيح دون حد فاصل معين يسمى T، حيث:

${\displaystyle ({\vec {x}}-{\vec {\mu }}_{0})^{T}\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{T}\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T}$

بدون أي افتراضات أخرى فإن المصنف الناتج يشار إليه على أنه تحليل تمييز تربيعي.

بدلا من ذلك فإن تحليل التمييز الخطي يفترض للتبسيط تساوي التباين (على سبيل المثال أن معاملات التغاير للصنفان متطابقة، لذلك فإن ${\displaystyle \Sigma _{0}=\Sigma _{1}=\Sigma }$) وأن معاملات التغاير لديها درجة كاملة. في هذه الحالة فإنه يمكن حذف العديد من المقادير الجبرية من المعادلة:

${\displaystyle {\vec {x}}^{T}\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{T}\Sigma _{1}^{-1}{\vec {x}}}$

${\displaystyle {\vec {x}}^{T}{\Sigma _{i}}^{-1}{\vec {\mu _{i}}}={\vec {\mu _{i}}}^{T}{\Sigma _{i}}^{-1}{\vec {x}}}$

لأن ${\displaystyle \Sigma _{i}}$ مصفوفة هيرميتية

ومعيار القرار السابق يصبح هو الحد الفاصل للضرب القياسي

${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$

لحد فاصل ثابت يسمى c، حيث

${\displaystyle {\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

${\displaystyle c={\frac {1}{2}}(T-{\vec {\mu _{0}}}^{T}\Sigma _{0}^{-1}{\vec {\mu _{0}}}+{\vec {\mu _{1}}}^{T}\Sigma _{1}^{-1}{\vec {\mu _{1}}})}$

هذا يعني أن معيار أن يكون المدخل ${\displaystyle {\vec {x}}}$ في الصنف y هو ببساطة دالة من تلك التركيبة الخطية للمشاهدات المعروفة.

من المفيد عادة رؤية الاستنتاج في صيغة هندسية: معيار أن يكون ${\displaystyle {\vec {x}}}$ في الصنف y هو فقط دالة لإسقاط النقطة ${\displaystyle {\vec {x}}}$ في الفضاء متعدد الأبعاد على المتجه ${\displaystyle {\vec {w}}}$ (وبالتالي فإننا نهتم بهذا الاتجاه فقط). بعبارة أخرى تكون المشاهدات تابعة لـ y إذا كان ${\displaystyle {\vec {x}}}$ المقابل يقع في جانب معين من مستوى فوقي متعامد على ${\displaystyle {\vec {w}}}$. موقع المستوى يعرف بالحد الفاصل c.

يبحث تحليل التمييز القانوني عن المحاور (ك - 1 إحداثيات قانونية، ك هو عدد الأصناف) التي تفصل الأنواع بشكل أفضل. تلك الدوال الخطية غير مرتبطة وتعرف الفضاء الأمثل ك − 1 من خلال الأبعاد ن من البيانات التي تفصل المجموعات ك بشكل أفضل. أنظر في الأسفل “تحليل التمييز الخطي متعدد الأصناف” لمزيد من التفاصيل.

المصطلحات التمييز الخطي لفيشر و تحليل التمييز الخطي غالبا ما تستخدم بشكل متبادل، على الرغم من أن المقال الأصلي لفيشر [1] في الحقيقة يصف نوع من التمييز مختلف قليلا، حيث أنه لم يفترض بعضا من افتراضات تحليل التمييز الخطي مثل التوزيع الطبيعي للأصناف أو تساوي تغايرها.

بافتراض أن صنفان من المشاهدات لديهما المتوسطان ${\displaystyle {\vec {\mu }}_{0},{\vec {\mu }}_{1}}$ ومعاملا التغاير ${\displaystyle \Sigma _{0},\Sigma _{1}}$. فإن التركيبة الخطية للصفات ${\displaystyle {\vec {w}}\cdot {\vec {x}}}$ سيكون لديها المتوسطات ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{i}}$ ومعاملات التباين ${\displaystyle {\vec {w}}^{T}\Sigma _{i}{\vec {w}}}$ حيث ${\displaystyle i=0,1}$. عرف فيشر الفصل بين هذين التوزيعين بمعدل التباين بين الأصناف إلى التباين داخل الأصناف:

${\displaystyle S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{T}\Sigma _{1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{T}(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}}$

وهذا المقياس يعتبر مقياس لنسبة الإشارة للضجيج لعملية عنونة الصنف. ويمكن إظهار أن أقصى درجة فصل ممكنة تحدث عند

${\displaystyle {\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

عندما توفى افتراضات تحليل التمييز الخطي فإن المعادلة السابقة تتساوى مع تحليل التمييز الخطي.

تأكد من ملاحظة أن المتجه ${\displaystyle {\vec {w}}}$ هو ناظم سطح المستوى الفائق المميز. على سبيل المثال، في مشكلة ثنائية الأبعاد فإن الخط الأفضل لفصل المجموعتان يكون عمودي على ${\displaystyle {\vec {w}}}$.

عموما، يتم أسقاط نقاط البيانات المراد تمييزها أو فصلها على المتجه ${\displaystyle {\vec {w}}}$ ثم يتم اختيار أفضل حد فاصل للبيانات من تحليل التوزيع على هذا المتجه فقط. لا توجد قاعدة عامة لتعيين الحد الفاصل. ومع ذلك، إذا كان أسقاط النقاط من كلا الصنفان يظهران نفس التوزيع تقريبا، فمن الخيارات الجيدة أن يكون الحد الفاصل بين أسقاطات المتوسطان ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{0}}$ و ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{1}}$. وفي هذه الحالة فإن المعامل c في شرط الحد الفاصل ${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$ يمكن إيجاده مباشرة باستخدام:

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{T}\Sigma ^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{T}\Sigma ^{-1}{\vec {\mu }}_{0}}$.

طريقة أوتسو هي طريقة قريبة من التمييز الخطي لفيشر، وقد تم عملها لتحويل بكسلات المدرج التكراري لصورة ذات تدرج رمادي إلى الأبيض والأسود وذلك من خلال اختيار حد فاصل أمثل للأبيض والأسود، هذا الحد يقلل التباين داخل الصنف ويعظم التباين بين الأصناف، وذلك داخل/بين التدرجات الرمادية المخصصة لأصناف البكسلات السوداء والبيضاء.

في حالة وجود أكثر من صنفين، فإن الطريقة المستخدمة لحساب تحليل التمييز لفيشر يمكن مدها لإيجاد الفضاء الجزئي الذي يمكن أن يحتوي على كل تغيرات الأصناف. يعود الفضل في هذا التعميم إلى ك. ر. راو.[8] فبافتراض أن هناك عدد C أصناف، وكل صنف له الوسط الحسابي ${\displaystyle \mu _{i}}$ ونفس معامل التغاير ${\displaystyle \Sigma }$. فإن معامل التبعثر بين التغيرات في الأصناف يمكن الحصول عليه بواسطة معامل تغاير العينة لمتوسطات الأصناف

${\displaystyle \Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{T}}$

حيث ${\displaystyle \mu }$ هو الوسط الحسابي لمتوسطات الأصناف. وفي هذه الحالة يمكن الحصول على معامل الفصل على المتجه ${\displaystyle {\vec {w}}}$ من خلال

${\displaystyle S={\frac {{\vec {w}}^{T}\Sigma _{b}{\vec {w}}}{{\vec {w}}^{T}\Sigma {\vec {w}}}}}$

وهذا يعني أنه عندما يكون المتجه ${\displaystyle {\vec {w}}}$ متجه ذاتي من ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ فإن معامل الفصل سيكون مساوي للقيم الذاتية المناظرة له.

إذا كانت ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ قابلة للتقطير فإن مستوى التشتت بين الصفات سيتضمن في فضاء جزئي يمتد عن طريق المتجهات الذاتية المناظرة لأكبر قيمة ذاتية لـ C−1 (حيث ${\displaystyle \Sigma _{b}}$ هو من درجة C−1 على الأكثر). تلك المتجهات الذاتية تستخدم بشكل رئيسي لتقليل الصفات، كما في طريقة تحليل العنصر الرئيسي. المتجهات الذاتية المناظرة للقيم الذاتية الأصغر سوف تميل لأن تكون أكثر حساسية للاختيار الدقيق لبيانات التدريب، وفي الغالب من الضروري استخدام تسوية كما سيتم وصف ذلك في القسم التالي.

إذا كان المطلوب هو التصنيف بدلا من خفض الأبعاد، فهناك العديد من الطرق البديلة المتاحة. على سبيل المثال، يمكن تقسيم الأصناف، واستخدام تمييز فيشر القياسي أو تحليل التمييز الخطي لتصنيف كل جزء. من الأمثلة المشهورة على ذلك هو «واحد ضد الباقي» حيث يتم وضع نقاط صنف معين في مجموعة واحدة، وكل النقاط الأخرى في مجموعة ثانية، ثم يتم تطبيق تحليل التمييز الخطي. سوف ينتج عن ذلك عدد C مصنفات، والتي يتم دمج نتائجها معا. طريقة مشهورة أخرى هي التصنيف الزوجي، حيث يتم عمل مصنف كل زوج من الأصناف (ينتج C(C − 1)/2 مصنفا)، مع دمج المصنفات الفردية لإنتاج المصنف النهائي.

التنفيذ المعتاد لتحليل التمييز الخطي يتطلب أن تكون كل العينات متاحة مسبقاً. ومع ذلك هناك حالات لا تكون البيانات بأكملها متاحة فيها ويتم قراءة البيانات المدخلة بشكل متدفق. في هذه الحالة من المفضل لعملية استخراج الصفات بواسطة تحليل التمييز الخطي أن تكون قادرة على تحديث الصفات المحسوبة عند قراءة بيانات كل عينة جديدة بدون إعادة تنفيذ الخوارزمية على كل البيانات. على سبيل المثال في كثير من تطبيقات الوقت الحقيقي مثل الروبوتات النقالة أو التعرف على الوجوه الفوري يكون من المهم تحديث الصفات المستخرجة بمجرد الحصول على قراءات جديدة. طريقة استخراج الصفات اعتمادا على تحليل التمييز الخطي التي يمكنها تحديث الصفات بمجرد قراءة بيانات عينات جديدة تسمى خوارزمية تحليل تمييز خطي تزايدي، وهذه الفكرة قد تم دراستها على نطاق واسع خلال العقدين الماضيين.[9] قدم كَتِرجي ورويتشودهاري خوارزمية تحليل تمييز خطي تزايدي ذاتية التنظيم لتحديث الصفات.[10] وفي عمل أخر قدم دِمير وأوزمِهمِت خوارزميات تعلم محلية فورية لتحديث الصفات تزايدياً باستخدام تصحيح الخطأ وقواعد تعلم هِبيان.[11] لاحقا اشتق ألياري وآخرون خوارزميات تزايدية سريعة لتحديث الصفات عند قراءة بيانات عينات جديدة.[9]

عملياً متوسطات ومعاملات التغاير الصنف غير معروفة. ومع ذلك يمكن تقديرهم من مجموعة التدريب. يمكن استخدام أياً من تقدير الاحتمال الأقصى أو التقدير البعدي الأقصى بدلا من القيمة الفعلية في المعادلات السابقة. على الرغم من أن تقدير معامل التغاير يمكن اعتباره أمثل بشكلاً ما، لكن ذلك لا يعني أن التمييز الناتج من استبدال هذه القيم سيكون أمثل بأي شكل من الأشكال، حتى مع صحة الافتراض بأن الأصناف موزعة طبيعياً.

يحدث تعقيد أخر في تطبيق تحليل التمييز الخطي وتمييز فيشر على البيانات الحقيقية عندما يتجاوز عدد القياسات لكل عينة عدد العينات لكل صنف.[4] في هذه الحالة فإن تقديرات معامل التغاير ليس لديها درجة كاملة، ولذلك لا يمكن عكسها. هناك العديد من الطرق للتعامل من هذه المشكلة. أحدها هو استخدام معكوس وهمي بدلا من معكوس المصفوفة المعتاد في المعادلة السابقة. ومع ذلك يمكن تحقيق توازن رقمي أفضل بإسقاط المشكلة أولا على فضاء جزئي بامتداد ${\displaystyle \Sigma _{b}}$.[12] إستراتيجية أخرى للتعامل مع صغر حجم العينة هي استخدام مقدر انكماش لمصفوفة معامل التغاير والتي يمكن التعبير عنها رياضيا بهذه الصيغة:

${\displaystyle \Sigma =(1-\lambda )\Sigma +\lambda I\,}$

حيث ${\displaystyle I}$ هو مصفوفة الوحدة و ${\displaystyle \lambda }$ هو معامل كثافة الانكماش أو معامل التسوية. وهذا يقود إلى إطار تحليل التمييز المقنن أو تحليل التمييز الانكماشي.[13]

أيضا في كثير من الحالات العملية لا يكون التمييز الخطي مناسب. تحليل التمييز الخطي وتمييز فيشر يمكن تطويره للاستخدام في عملية التصنيف الغير خطي عن طريق خدعة النواة. وفيها يتم تحويل القراءات الأصلية بشكل فعال إلى فضاء غير خطي ذات بعد أعلى. التصنيف الخطي في هذا الفضاء الغير خطي يكون مساوي للتصنيف الغير خطي في الفضاء الأصلي. أكثر مثال مستخدم لهذا هو تمييز فيشر ذات النواة.

تحليل التمييز الخطي يمكن تعميمها لعمل تحليل تمييز متعدد (أكثر من صنفين)، حيث يصبح c متغير فئوي له N حالات ممكنة، بدلا من أثنين. بالقياس على ذلك إذا كانت كثافات شرط الصنف ${\displaystyle p({\vec {x}}|c=i)}$ طبيعية بمعدلات تغاير مشتركة فإن الإحصائية الكافية لـ ${\displaystyle P(c|{\vec {x}})}$ تكون قيم N إسقاطات (والتي تكون الفضاء الجزئي الممتد بـ N متوسطات) محولة تآلفيا بمعكوس مصفوفة معامل التغاير. هذه الإسقاطات يمكن إيجادها بحل مشكلة القيم الذاتية المعممة، حيث يكون البسط مصفوفة معامل التغاير والمكونة عن طريق معاملة المتوسطات كعينات، ويكون المقام مصفوفة معامل التغاير المشترك. أنظر «تحليل التمييز الخطي متعدد الأصناف» في الأعلى لمزيد من التفاصيل.

بالإضافة إلى الأمثلة التالية فإن تحليل التمييز الخطي يستخدم في التموضع وإدارة المنتج.

• التنقيب في البيانات
• التعلم بواسطة شجرة القرار
• تمييز الأنماط
• بيرسيبترون

• Duda، R. O.؛ Hart، P. E.؛ Stork، D. H. (2000). Pattern Classification (ط. 2nd). Wiley Interscience. ISBN:0-471-05669-3. MR:1802993.
• Hilbe، J. M. (2009). Logistic Regression Models. Chapman & Hall/CRC Press. ISBN:978-1-4200-7575-5.
• Mika, S.؛ وآخرون (1999). "Fisher Discriminant Analysis with Kernels". IEEE Conference on Neural Networks for Signal Processing IX: 41–48. DOI:10.1109/NNSP.1999.788121. مؤرشف من الأصل في 2019-06-02.
• Mark Burdon and Paul Harpur, ‘Re-Conceptualising Privacy and Discrimination in an Age of Talent Analytics’ (2014) 37 University of New South Wales Law Journal, 2, 679–712.1
• Miranda Terry and Paul Harpur, ‘The New Era of Segmenting Society on Ability Lines: Workplace Analytics and Disability Discrimination’ (Society for Disability Studies, Atlanta USA, 10–13 June 2015).
• H. Richard McFarland and Donald St. P. Richards, “Exact Misclassification Probabilities for Plug-In Normal Quadratic Discriminant Functions. I. The Equal-Means Case” Journal of Multivariate Analysis, 2001, vol. 77, issue 1, pages 21–53 link to article
• H. Richard McFarland and Donald St. P. Richards, “Exact Misclassification Probabilities for Plug-In Normal Quadratic Discriminant Functions. II. The Heterogeneous Case” Journal of Multivariate Analysis, 2002, vol. 82, issue 2, pages 299-330 link to article

• ALGLIB يحتوي على تنفيذ لتحليل التمييز الخطي مفتوح المصدر باللغات سي# / سي++ / بسكال / فيجول بيسك للتطبيقات.
• Psychometrica.de هو تنفيذ مفتوح المصدر لتحليل التمييز الخطي بالجافا.
• شرح تحليل التمييز الخطي باستخدام ميكروسوفت إكسل.
• الإحصاءات الطبية الحيوية. تحليل التمييز.
  

• بوابة إحصاء
• بوابة تقانة المعلومات
• بوابة علم الحاسوب