Beta
310339

AUTOMATIC TRANSLATION OF ARABIC TEXT TO ARABIC SIGN LANGUAGE USING DEEP LEARNING

Article

Last updated: 24 Dec 2024

Subjects

-

Tags

Electrical engineering

Abstract

Deaf and dumb people are an integral part of society, must be merged with it, and must be able to communicate natively in order to get involved with the various aspects of life.  The language of communication between the deaf and dumb is sign language; a language that is not known by almost all those who do not suffer from the deficiency.  Therefore, this research focuses on automating the translation of Arabic text into Arabic Sign Language (ArSL) in order to enable normal people to communicate with the deaf and dumb without being overburdened.  This article discusses how deep Learning and Neural Machine Translation (NMT), particularly Encoder-Decoder Transformer Architecture Model, can aid this translation process. The proposed model has been trained on a manually generated dataset of 6500 pairs of Arabic sentences and their corresponding intermediate representation of Arabic sign sentences. The produced learning model was able to translate an input Arabic sentence into an intermediate format of Sign Language with an accuracy of 72%. After generating an intermediate sentence, a video is then generated for its corresponding Sign Language. The model achieved an average BLEU score of 69% on the test data.   يعتبر الصم والبكم جزءًا لا يتجزأ من المجتمع ، ويجب دمجهم معه ، ولذا يجب أن يكونوا قادرين على التواصل بشكل طبيعى من أجل المشاركة في مختلف جوانب الحياة. لغة التواصل بين الصم والبكم هي لغة الإشارة وهى لغة لا يعرفها تقريبا كل الأشخاص الأصحاء الذين لايعانون من فقدان السمع  لذلك ، يركز هذا البحث على ترجمة النص العربي إلى لغة الإشارة العربية (ArSL) من أجل تمكين الأشخاص الطبيعيين من التواصل مع الصم والبكم دون إرهاقهم.  تناقش هذه المقالة كيف يمكن أن يساعد التعلم العميق والترجمة الآلية العصبية (NMT) في عملية الترجمة هذه. وقد قمنا بإنشاء قاعدة بيانات خاصة بنا يدويًا تتكون من 6500 زوجًا من جملة عربية وتمثيلها الوسيط المقابل لجملة الإشارة العربية. كما استخدمنا خوارزميات التعلم العميق (Encoder-Decoder Transformer Architecture Model). وأصبح نموذج التعلم الناتج قادرًا على ترجمة جملة عربية إلى جملة وسيطة للغة الإشارة بدقة 72٪. وبعدها يتم إنشاء مقطع فيديو للغة الإشارة المقابلة من هذه الجملة الوسيطة.

DOI

10.21608/auej.2023.310339

Keywords

Arabic Sign Language, Automatic Translation, NLP, Deep learning, Encoder-Decoder Transformer Architecture Model. لغة اإلشارة العربية ، الترجمة اآللية ، التعلم العميق ، معالجة اللغات الطبيعية

Authors

First Name

Somaya

Last Name

Younes

MiddleName

M.

Affiliation

Systems & Computers Department - Faculty of Engineering, Al-Azhar University, Cairo, Egypt.

Email

somayamohammed05@gmail.com

City

-

Orcid

-

First Name

Shehab

Last Name

Gamalel-Din

MiddleName

A.

Affiliation

Systems & Computers Department - Faculty of Engineering, Al-Azhar University, Cairo, Egypt.

Email

-

City

Cairo

Orcid

-

First Name

Mohammed

Last Name

Rohaim

MiddleName

A.

Affiliation

Systems & Computers Department - Faculty of Engineering, Al-Azhar University, Cairo, Egypt.

Email

-

City

Cairo

Orcid

-

First Name

Mohammed

Last Name

Elnabawy

MiddleName

A.

Affiliation

Systems & Computers Department - Faculty of Engineering, Al-Azhar University, Cairo, Egypt.

Email

-

City

Cairo

Orcid

-

Volume

18

Article Issue

68

Related Issue

42689

Issue Date

2023-07-01

Receive Date

2022-12-25

Publish Date

2023-07-31

Page Start

566

Page End

579

Print ISSN

1687-8418

Online ISSN

3009-7622

Link

https://jaes.journals.ekb.eg/article_310339.html

Detail API

https://jaes.journals.ekb.eg/service?article_code=310339

Order

310,339

Type

Original Article

Type Code

706

Publication Type

Journal

Publication Title

Journal of Al-Azhar University Engineering Sector

Publication Link

https://jaes.journals.ekb.eg/

MainTitle

AUTOMATIC TRANSLATION OF ARABIC TEXT TO ARABIC SIGN LANGUAGE USING DEEP LEARNING

Details

Type

Article

Created At

24 Dec 2024