معالجة اللغة الطبيعية

يقوم بتحليل الكلمة لمعرفة جذرها ووزنها الصرفي وما طرأ عليها من زيادة أو نقصان أو إعلال أو إبدال أو إدغام أو قلب، بالإضافة إلى معرفة ما اتصل بها من سوابق ونوع تلك السوابق، وما لحقها من ضمائر أو لواحق ومكونات تلك الضمائر واللواحق، ومعرفة نوع الكلمة نفسها؛ اسما أو فعلا أو حرفا، إلى غير ذلك من التوصيفات الصرفية التي تخص كل قسم من أقسام الكلم العربي.

وهو الجزء الذي يهتم بعلاقة الكلمات بعضها مع بعض، هيكلية الجملة، وغيرها من المعلومات النحوية، ويعتمد على المرحلة الصرفية.

وهو الجزء الذي يهتم بفهم المقصود من الجملة عن طريق الربط المنطقي بين موضوع الحديث في الجملة ومعلومات من العالم الواقعي.[6]

كلمة: قال. لها عدة صور صرفية عند التحليل، على النحو التالي:

1. قال: «قَالَ» فعل ماضٍ، من الجذر: ق ول.
2. قال: «قَالَ» فعل ماضٍ، من الجذر: ق ي ل.
3. قال: «قالٍ» اسم فاعل من الفعل الثلاثي: قلى، من الجذر: ق ل ي.
4. قال: «قالّ» اسم فاعل من الفعل الثلاثي: قل، من الجذر: ق ل ل.

• برنامج شردلو

إن البرنامج الذي ظل مشهوراً في تاريخ الذكاء الاصطناعي هو برنامج شردلو بلاشك، الذي وضعه تيري وينوجراد في MIT. ويحاكي هذا البرنامج عمل إنسان آلي لديه القدرة على تناول عدة أشياء ذات أشكال متعددة مثل المكعبات والأهرامات الموضوعة على منضدة، ويمكنه أن يتحدث بلغة طبيعية مع شخص ما وأن يجيب على أسئلته حول هذه الأشياء. ولقد ضم وينوجراد في برنامجه قواعد لغوية مستمدة من النحو النسقي systemic grammer لهاليداي halliday وهو عبارة عن نظام من الشبكات المنطقية التي تُعبر عن خواص معينة للوحدات التركيبية خاصة لحالات الأفعال وأزمنتها وبنائها (للمعلوم والمجهول). وتستخدم بعض المعاني الدلالية أثناء التحليل اللغوي مما يؤدي إلى خفض عدد البناءات الممكنة للجملة عما لو طبقنا المعايير التركيبية وحدها.

وفيما يلي مثال لحوار حقيقي لبرنامج شردلو:

ويبين هذا تمكن شردلو من حل المسائل التي يتطلب حلها الرجوع إلى ماسبق ذكره. مثل تحديد اسم أو عبارة اسمية يعود إليها ضمير ما. كما يبين البرنامج أنه مُدرك للوسط المحيط به وبذلك يكون قادراً على الإجابة على أسئلة عن العلاقات بين الأفعال المختلفة.

• برنامج لونار LUNAR

وهو برنامج يعتمد على استخدام طريقة معروفة بـ شبكة الانتقال المعززة Augmented Transition Network ATN للتحاور مع قاعدة بيانات باللغة الطبيعية. وتتكون قاعدة البيانات هذه من معلومات عن عينات من صخور القمر والتي جمعها رواد فضاء من ناسا NASA.

ويتم تحليل الأسئلة التي توجه للبرنامج على 3 مراحل:

1. تحليل تركيبي، يبني شجرة الأعراب أو عدة شجرات إذا أمكن.
2. تحليل دلالي للشجرة أو الشجيرات، يبني التمثيل الداخلي للاستفسار.
3. الاستجابة للطلب المتضمن في التمثيل الداخلي للسؤال، وينطوي هذا على البحث عن المعلومات المطلوبة في السؤال وإعداد الرد باللغة الطبيعية.

ويشمل البرنامج ما يقارب من 3500 كلمة بالإضافة لقواعد النحو. ويستطيع برنامج التحليل اللغوي أن يعرض فهماً محدوداً لعلاقة الضمائر بالأشياء التي ترجع إليها وكذلك الترتيبات المطمورة مثل العبارات الموصولة داخل الجملة الرئيسية.

وقد كان لبرنامج لونار تأثير عظيم جداً على تطور برامج اللغات الطبيعية بسبب تقنيته المستخدمة لشبكة الانتقال المعززة ATN والتي أصبحت واحدة من أكثر الطرق شيوعاً في معالجة اللغات الطبيعية خلال السنوات العشر الماضية.

ومن أمثلة الأسئلة التي يمكن أن يتناولها:

1. ماهو متوسط تركيز الألمنيوم في صخور مرتفعة القلوية؟
2. كم عدد العينات التي تحتوي على خامس أكسيد الفوسفور؟

• برنامج مارجي MARGIE

وهو برنامج يحول العبارات من اللغة الطبيعية إلى شكل من الترابط الفكري. ويمكن للجزء الرئيسي في البرنامج إما أن يعيد صياغة الجمل الداخلة إليه أو أن يقوم باستنتاجات عن العالم الفكري الذي يكونه بالتمعن إما في أشياء محددة في ذلك العالم أو في دوافع الناس التي تسكنه.

وفيما يلي مثال على قيام مارجي على إعادة الصياغة:

وهناك نظرية أخرى كان لها نجاح كبير بين الباحثين في الذكاء الاصطناعي، خاصة الذين لايعتبرون التحليل التركيبي حلاً شاملاً لمشكلة استخراج المعنى، وهي نظرية نحو الحالات الإعرابية لتشارليس فيلمور.

• برنامج SAM

يرمز SAM إلى ميكانيكية تطبيق السيناريو Script Mechanism لروجر شانك وزملائه بجامعة بيل، ويستطيع هذا البرنامج فهم ونص قصصي كالآتي:

«انحرفت سيارة عن الطريق السريع رقم 6 بعد أن اصطدمت بالحاجز الرئيسي مساء يوم الجمعة الماضي، وقُتل الراكب فرانسيس دارك من وارنجتون في الحال وفقاً لما قرره دكتور لويس باستور، وقد أخذ السائق أندرو مارفل المقيم في 59 شارع ميديل ستريت بلانكستر إلى المستشفى بواسطة فريق الإنقاذ وسمح له بالذهاب إلى منزله بعد يومين. ولم توجه أي إتهامات، وسيقوم مفتش الشرطة سيكستون بلاك بالتحقيق في ظروف الحادث.»

وبإدخال هذا النص إلى الحاسب أخرج البرنامج الملخص التالي: «منذ أربعة أيام اصطدمت سيارة بالحاجز الرئيسي في طريق رقم 6 وقتل فرانسيس دارك المقيم في وارنجتون، كما جُرح السائق أندرو مارفل المقيم في 59 ميدل ستريت بلانكستر ولم توجه الشرطة أي تهم لأحد»

كما أخرج البرنامج الملخص باللغة الأسبانية. واستطاع الإجابة على الأسئلة المتعلقة بالحادثة على الوجه التالي:

• هل قتل أحد؟

نعم قتل فرانسيس دارك

• هل جرح أحد؟

نعم لقد جرح أندرو مارفل جرحاً سطحياً

• لماذا جرح أندرو مارفل؟

لأن السيارة اصطدمت بالحاجز الرئيسي

• هل أخذ أندرو مارفل إلى المستشفى؟

نعم أخذ أندرو مارفل إلى المستشفى

• كيف أخذ أندرو مارفل إلى المستشفى؟

أخذ فريق الإنقاذ مارفل إلى المستشفى

ويستخدم برنامج SAM سيناريو حادث السيارة مع سيناريوهات فرعية مثل سيناريو عربة الإسعاف الذي ساعد على الاستنتاح الخاص بأن جرح أندرو مارفل كان سطحياً، وهي عبارة لم تكن موجودة في النص الأصلي، بإقامة علاقات سببية معينة خاصة بين «سيارة اصطدمت بالحاجز» و«جرح السائق» ولاشك أن هذا استنتاج بديهي.

ومن النقاط الهامة هنا أن البرنامج لم يستخرج العناصر الأساسية للحادث فحسب، ولكنه يحول العبارات المختلفة بدلاً من أن يعيد ببساطة نفس العبارات كما وردت في النص الأصلي. وفي الواقع يقوم SAM بترجمة النص الأصلي إلى تمثيل داخلي مستقل عن الشكل السطحي للغة، ويقوم بتوليد تلخيصات باللغات الطبيعية المختلفة من هذا التمثيل الداخلي والتلخيص بالأسبانية مثال على ذلك.