الترجمة الآلية العصبية

يناير 13, 2018 أ. فرج محمد صوان

مقدمة في الترجمة الآلية العصبية (Neural machine translation)

لقد كان أحد الأهداف الأولى للحواسيب هو الترجمة الآلية للنص من لغة إلى أخرى. وربما تكون الترجمة الآلية واحدة من مهام الذكاء الاصطناعي الأكثر تحديا نظرا لميوعة اللغة البشرية. وقد استخدمت النظم القائمة على القواعد تقليديا لتنفيذ هذه المهمة، والتي حلت محلها في التسعينيات الطرائق الإحصائية. وفي الآونة الأخيرة، حققت نماذج الشبكة العصبية العميقة نتائج حديثة في الحقل الذي يسمى بشكل ملائم الترجمة الآلية العصبية. وتصلح نماذج الترجمة الآلية العصبية لنموذج واحدا وليس لصقل عدد من النماذج، وهي تحقق حاليا نتائج متقدمة. وسنكشف في هذا القسم عن تحدي الترجمة الآلية وفعالية نماذج الترجمة الآلية العصبية.

 

ما هي الترجمة الآلية العصبية؟

تتمثل الترجمة الآلية العصبية في استخدام نماذج الشبكة العصبية لتعلّم نموذج إحصائي للترجمة الآلية. وتتمثل الفائدة الرئيسية لهذا النهج في أنه يمكن تدريب نظام واحد مباشرة على النص المصدر والهدف، حيث لم يعد يتطلب هذا مجموع عمليات النظم المتخصصة المستخدمة في التعلم الآلي الإحصائي.

فعلى عكس نظام الترجمة التقليدي القائم على العبارات، الذي يتكون من العديد من المكونات الفرعية الصغيرة التي يتم ضبطها بشكل منفصل، تحاول الترجمة العصبية الآلية بناء وتدريب شبكة عصبية واحدة كبيرة تقوم بقراءة الجملة وانتاج ترجمة صحيحة[1].

وعلى هذا النحو، يمكن القول بأن أنظمة الترجمة الآلية العصبية هي أنظمة من طرف إلى طرف حيث لا يلزم سوى نموذج واحد للترجمة. و تكمن قوة أنظمة الترجمة الآلية العصبية في قدرتها على التعلّم مباشرة، بطريقة من طرف إلى طرف، بالتمثيل من النص المدخل إلى نص الناتج المرتبطة به[2].

 

نموذج الترميز- فك الترميز

يمكن استخدام نماذج الشبكة العصبية متعددة الطبقات (Multilayer Perceptron neural network models) للترجمة الآلية، على الرغم من أن النماذج محدودة بطول ثابت لسلسلة المدخلات حيث يجب أن يكون الناتج بنفس الطول. وقد تحسنت هذه النماذج المبكرة إلى حد كبير في الآونة الأخيرة من خلال استخدام شبكات عصبية متكررة منظمة في بنية تتكون من الترميز وفك الترميز مما يسمح بالطول المتغير لسلاسل المدخلات والمخرجات.

وتقوم الشبكة العصبية للترميز بقراءة وترميز جملة المصدر في متجه ثابت الطول. ثم يقوم برنامج فك الترميز بإخراج ترجمة من المتجه الذي تم ترميزه. ويتلقى نظام الترميز – فك الترميز بأكمله، الذي يتألف من ترميز وفك ترميز زوج من اللغات، تدريبا مشتركا لزيادة احتمال الترجمة الصحيحة وفقا إلى جملة مصدر  (Bahdanau, D., Cho, K., & Bengio, Y., 2014.).

الشيء الأساسي في بنية الترميز وفك الترميز هو قدرة النموذج على ترميز النص المصدر في تمثيل داخلي ثابت الطول يسمى ناقل السياق. ومن المثير للاهتمام أنه بمجرد اكتمال الترميز يمكن، من حيث المبدأ، استخدام أنظمة مختلفة لفك الترميز لترجمة السياق إلى لغات مختلفة. ويقوم أحد النماذج أولا بقراءة سلسلة المدخلات ويخرج بنية بيانات تلخص سلسلة المدخلات تسمي بملخص السياق. ثم يقوم نموذج ثاني بقراءة السياق ويولد جملة في اللغة الهدف[3].

 

نماذج الترميز وفك الترميز بالانتباه

على الرغم من فعاليتها، فإن بنية الترميز وفك الترميز لها مشاكل مع سلاسل النص الطويلة المُراد ترجمتها. وتنبع المشكلة من التمثيل الداخلي الثابت الطول الذي يجب استخدامه لفك ترميز كل كلمة في سلسلة المخرجات.

ويتمثل الحل في استخدام آلية الانتباه التي تسمح للنموذج بتعلم أين يضع الانتباه على سلسلة المدخلات أثناء فك ترميز كل كلمة من سلسلة المخرجات.

ومن الصعب جدا استخدام تمثيل ثابت الحجم لالتقاط كل التفاصيل الدلالية للجمل الطويلة جدا، ولكن هناك نهج أكثر كفاءة يتمثل في قراءة الجملة بأكملها أو الفقرة، ثم إنتاج الكلمات المترجمة واحدة في كل مرة، مركزا في كل مرة على جزء مختلف من الجملة المدخلة لجمع التفاصيل الدلالية المطلوبة لإنتاج كلمة المخرجة التالية[4].

إن بنية الشبكة العصبية المتكررة للترميز وفك الترميز بالانتباه تعتبر حاليا آخر ما تم التوصل إليه لحل بعض المشاكل القياسية للترجمة الآلية. وقد بدأت شركة جوجل في استخدام هذه البنية في قلب نظام الترجمة الآلية العصبية التي أصبحت تستعملها مؤخرا في مترجم جوجل.

وعلى الرغم من فعاليتها، فإن أنظمة الترجمة الآلية العصبية لا تزال تعاني بعض المشاكل، مثل التحجيم للمفردات الكلمات الأكبر، وبطء سرعة تدريب النماذج. و هذه تعتبر مجالات التركيز الحالية لأنظمة الترجمة العصبية الإنتاجية الكبيرة، مثل نظام جوجل. وتتمثل نقاط الضعف الثلاثة المتأصلة في الترجمة الآلية العصبية في بطء سرعة التدريب والاستدلال، وعدم الفعالية في التعامل مع الكلمات النادرة، وأحيانا الفشل في ترجمة جميع الكلمات في الجملة المصدر[5].

 

مقارنة الترجمة الآلية العصبية والترجمة الآلية الاحصائية

على الرغم من أن الترجمة الآلية العصبية حققت تقدم ملحوظ في بعض تجارب الترجمة، إلا أن الباحثين يتساءلون عما إذا كان الأداء الجيد سيستمر مع المهام الأخرى وهل حقا يمكن للترجمة الآلية العصبية أن تحل محل الترجمة الآلية الاحصائية. ووفقا لذلك، قام جونكزيس دومونت وآخرين (Junczys-Dowmunt et al., 2016) بإجراء تجارب على قاعدة بيانات الأمم المتحدة المتوازية تضمنت 15 زوجا من اللغات وثلاثين اتجاه ترجمة، وتوصلوا إلى أن الترجمة الآلية العصبية كانت إما مساوية للترجمة الآلية الاحصائية أو أفضل منها في جميع اتجاهات الترجمة (Bartolome, Diego, and Gema Ramirez, 2016). وبالاضافة إلى ذلك، فقد فاز فريق جامعة مونتريال الذي استخدم الترجمة الآلية العصبية في مسابقة 2015 للترجمة الآلية الإحصائية بالترتيب الأول في الترجمة من الإنجليزية إلى الألمانية والترتيب الثالث في كل من الترجمة من الألمانية للإنجليزية، والترجمة من التشيكية للإنجليزية، والترجمة من الإنجليزية للتشيكية (Johnson, M., 2016).

وعند مقارنتها بالترجمة الآلية الاحصائية (أنظر الشكل رقم 1)[6]، نجد أن الترجمة الآلية العصبية بامكانها تدريب سمات متعددة معا ولا تطلب المعرفة المسبقة بالمجال، مما يمكّن من الترجمة الصفرية. فبالإضافة إلى تحصلها على درجة تقييمية عالية بمقياس بليو (BLEU)[7]، وتراكيب جمل أفضل، يمكن للترجمة الآلية العصبية أن تساعد في تقليل أخطاء الترجمة الآلية الاحصائية الشائعة في الصرف، والنحو، وترتيب الكلمات. ومن ناحية أخرى، لازال هناك بعض المشاكل والتحديات التي يجب أن تعالجها الترجمة الآلية العصبية مثل عملية التدريب وفك الترميز التي مازالت بطيئة، وأسلوب الترجمة الذي قد يكون غير متّسق لنفس الكلمة. وهناك أيضا مشكلة عدم وجود مفردات في نتائج الترجمة، حيث يقود الصندوق الأسود للترجمة الآلية العصبية إلى قدرة ترجمة ضعيفة، وبالتالي فإن معاملات التدريب يتم اختيارها في الغالب بناءا على الخبرة.

مقارنة بين الترجمة الآلية الاحصائية والعصبية

وبسبب سمات الترجمة الآلية العصبية وتفوقها على الترجمة الآلية الاحصائية فقد بدأ اعتمادها من قبل بعض الشركات العملاقة مؤخرا. ففي سبتمبر 2016 نشر فريق عقل جوجل مدونة تبين أنه بدأ في استخدامها لتستبدل نظام الترجمة الآلية المبنية على العبارات (نوع من الترجمة الآلية الاحصائية) للترجمة من الصينية إلى الإنجليزية في مترجمهم الآلي[8]. وقد قاموا بتسمية نموذجهم بترجمة جوجل الآلية العصبية (Google Neural Machine Translation or GNMT)، ونشروا ورقة بحثية بالتزامن لشرح ذلك النموذج بالتفصيل (Wu, Y. et al., 2016). وبعد سنة فقط (2017)، أعلن فريق البحث في الذكاء الاصطناعي في فيسبوك عن طريقتهم لاعتماد الترجمة الآلية العصبية مع الشبكة العصبية الالتفافية (Convolutional Neural Network)، والتي يمكنها تحقيق أداء مشابه للترجمة الآلية العصبية المبنية على الشبكات العصبية التكرارية (Gehring, J. et al. 2016, 2017) وتجري بسرعة أكثر تسع مرات. وفي استجابة لذلك، قام جوجل في يونيو باطلاق تموذج مبني على الانتباه لا يستخدم كلا النموذجين المذكورين وإنما مبني على آلية للانتباه (Vaswani, A. et al. 2017). كما أطلقت شركة أمازون نموذجها للترجمة الآلية العصبية في يوليو[9]، وتحدثت ميكروسوفت عن استخدامها للترجمة الآلية العصبية بدون ذكر لأي تفاصيل تقنية[10]. كم ساهمت شركات كبرى اخرى، مثل أي بي إم (IBM Watson)، إنفيدا (NVIDIA) الرائدة في الذكاء الاصطناعي، وسيستران (SYSTRAN) التي مهدت الطريق للترجمة الآلية، في تطوير الترجمة الآلية العصبية بدرجات متفاوتة (Crego, J. et al. 2016). وفي الشرق الأقصى، في الصين التي تعتبر نجم صاعد في حقل الذكاء الاصطناعي في الصين، قامت شركات أكثر باستخدام الترجمة الآلية العصبية منها بايدو (Baidu)، وعلي بابا (Alibaba) وغيرها، حيث تحاول كلها أن تتحصل علة ميزة تنافسية في الجولة المقبلة من تطور الترجمة الآلية.

 

هل الترجمة الآلية العصبية هي المستقبل؟

تلاقي تقنيات الترجمة الآلية العصبية تطويرا كبيرا في ظل البيئة التنافسية السريعة جدا. ففي آخر مؤتمر لعلم اللغة الحاسوبي كانت كل الورقات البحثية المقبولة (15 ورقة) تحت فئة الترجمة الآلية حول الترجمة الآلية العصبية[11]. ويمكننا أن نرى استمرار التحسينات في الترجمة الآلية العصبية  في جوانب متنوعة تشمل:

  • مشكلة الكلمات النادرة (Jean, S. et al., 2014; Luong, M. T. et al, 2014).
  • استخدام البيانات أحادية اللغة (Sennrich, R. et al, 2015; Cheng, Y et al, 2016).
  • الترجمة الآلية العصبية متعددة اللغات (Dong, D. et al, 2015).
  • آلية الذاكرة (Wang, M. et al 2016).
  • الدمج اللغوي (Sennrich, R., & Haddow, B., 2016).
  • مشكلة التغطية (Tu, Z. et al, 2016).
  • عملية التدريب (Shen, S. et al, 2015).
  • دمج المعرفة المسبق (Cohn, T. et al, 2016).
  • الترجمات متعددة الأوساط (Hitschler, J., Schamoni, S., & Riezler, S., 2016)

إذن، لدينا الأسباب لنعتقد بأن الترجمة الآلية العصبية ستحقق تقدمات مفاجئة كبيرة، وستصبح تدريجيا نظام الترجمة الآلية الرئيسي الذي سيحل محل الترجمة الآلية الاحصائية، وسيستفيد المجتمع كله في المستقبل القريب.

 

المراجع

 

ACL 2017. (2017). Accepted Papers, Demonstrations and TACL Articles for ACL 2017. [online] Available at:

https://chairs-blog.acl2017.org/2017/04/05/accepted-papers-and-demonstrations/ [Accessed 7 Aug. 2017].

A Neural Network for Machine Translation, at Production Scale. (2017). Research Blog. Retrieved 26 July 2017, from:  https://research.googleblog.com/2016/09/a-neural-network-for-machine.html

Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. From: https://arxiv.org/abs/1409.0473.

Crego, J., Kim, J., Klein, G., Rebollo, A., Yang, K., Senellart, J., … & Enoue, S. (2016). SYSTRAN’s Pure Neural Machine Translation Systems. arXiv preprint arXiv:1610.05540.

Cheng, Y., Xu, W., He, Z., He, W., Wu, H., Sun, M., & Liu, Y. (2016). Semi-supervised learning for neural machine translation. arXiv preprint arXiv:1606.04596.

Cohn, T., Hoang, C. D. V., Vymolova, E., Yao, K., Dyer, C., & Haffari, G. (2016). Incorporating structural alignment biases into an attentional neural translation model. arXiv preprint arXiv:1601.01085.

Dong, D., Wu, H., He, W., Yu, D., & Wang, H. (2015). Multi-Task Learning for Multiple Language Translation. In ACL (1) (pp. 1723–1732).

Gehring, J., Auli, M., Grangier, D., & Dauphin, Y. N. (2016). A convolutional encoder model for neural machine translation. arXiv preprint arXiv:1611.02344.

Gehring, J., Auli, M., Grangier, D., Yarats, D., & Dauphin, Y. N. (2017). Convolutional Sequence to Sequence Learning. arXiv preprint arXiv:1705.03122.

Hitschler, J., Schamoni, S., & Riezler, S. (2016). Multimodal pivots for image caption translation. arXiv preprint arXiv:1601.03916.

Jean, S., Cho, K., Memisevic, R., & Bengio, Y. (2014). On using very large target vocabulary for neural machine translation. arXiv preprint arXiv:1412.2007.
Luong, M. T., Sutskever, I., Le, Q. V., Vinyals, O., & Zaremba, W. (2014). Addressing the rare word problem in neural machine translation. arXiv preprint arXiv:1410.8206.

Microsoft Translator launching Neural Network based translations for all its speech languages. (2017). Translator. Retrieved 27 July 2017, from https://blogs.msdn.microsoft.com/translation/2016/11/15/microsoft-translator-launching-neural-network-based-translations-for-all-its-speech-languages/

Sennrich, R., Haddow, B., & Birch, A. (2015). Improving neural machine translation models with monolingual data. arXiv preprint arXiv:1511.06709.

Sennrich, R., & Haddow, B. (2016). Linguistic input features improve neural machine translation. arXiv preprint arXiv:1606.02892.

Shen, S., Cheng, Y., He, Z., He, W., Wu, H., Sun, M., & Liu, Y. (2015). Minimum risk training for neural machine translation. arXiv preprint arXiv:1512.02433.

Train Neural Machine Translation Models with Sockeye | Amazon Web Services. (2017). Amazon Web Services. Retrieved 26 July 2017, from https://aws.amazon.com/blogs/ai/train-neural-machine-translation-models-with-sockeye/

Tu, Z., Lu, Z., Liu, Y., Liu, X., & Li, H. (2016). Modeling coverage for neural machine translation. arXiv preprint arXiv:1601.04811.

Wang, M., Lu, Z., Li, H., & Liu, Q. (2016). Memory-enhanced decoder for neural machine translation. arXiv preprint arXiv:1606.02003.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., … & Klingner, J. (2016). Google’s neural machine translation system: Bridging the gap between human and machine translation. From: https://arxiv.org/abs/1609.08144 .

Wu, Y., Schuster, M., Chen, Z., Le, Q. V. (2016). Norouzi, M., Macherey, W., … & Klingner, J. (2016). Deep Learning, p. 461. From: http://amzn.to/2xBEsBJ

 

[1]  Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. From: https://arxiv.org/abs/1409.0473.

[2] Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., … & Klingner, J. (2016). Google’s neural machine translation system: Bridging the gap between human and machine translation. From: https://arxiv.org/abs/1609.08144 .

[3] Wu, Y., Schuster, M., Chen, Z., Le, Q. V. (2016). Norouzi, M., Macherey, W., … & Klingner, J. (2016). Deep Learning, p. 461. From: http://amzn.to/2xBEsBJ

[4] المرجع السابق، ص 462.

[5] Wu, Y., Schuster, M., Chen, Z., Le, Q. V. (2016). Norouzi, M., Macherey, W., … & Klingner, J. (2016). Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. From: https://arxiv.org/abs/1609.08144.

[6] تم ترجمة هذا الجدول وتعديله من:

 Bojar O, Chatterjee R, Federmann C, et al. (2015). Findings of the 2015 Workshop on Statistical Machine Translation [C]. Tech Workshop on Statistical Machine Translation.

[7] طريقة للتقييم الآلي للترجمة الآلية.

[8] A Neural Network for Machine Translation, at Production Scale. (2017). Research Blog. Retrieved 26 July 2017, from https://research.googleblog.com/2016/09/a-neural-network-for-machine.html

[9]   Train Neural Machine Translation Models with Sockeye | Amazon Web Services. (2017). Amazon Web Services. Retrieved 26 July 2017, from https://aws.amazon.com/blogs/ai/train-neural-machine-translation-models-with-sockeye/

[10] Microsoft Translator launching Neural Network based translations for all its speech languages. (2017). Translator. Retrieved 27 July 2017, from https://blogs.msdn.microsoft.com/translation/2016/11/15/microsoft-translator-launching-neural-network-based-translations-for-all-its-speech-languages/

[11]  ACL 2017. (2017). Accepted Papers, Demonstrations and TACL Articles for ACL 2017. [online] Available at:

https://chairs-blog.acl2017.org/2017/04/05/accepted-papers-and-demonstrations/ [Accessed 7 Aug. 2017].

استاذ علم اللغة التطبيقي واللغة الانجليزية في الجامعات الليبية. حصل على الشهادة الجامعية والماجستير من ليبيا، وشهادة في تعليم اللغة الإنجليزية من جامعة سري والدكتوراه من جامعة اسيكس ببريطانيا. قام بنشر ثلاثة كتب والعديد من المقالات والدراسات والأبحاث.

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *