המערכת שתלמד גם מי שאינו כבד שמיעה את שפת הסימנים

סטודנטים להנדסת תוכנה במכללה האקדמית להנדסה ע"ש סמי שמעון (SCE) פיתחו מערכת ללימוד ותרגום שפת הסימנים הישראלית (שס"י), שנועדה לשפר את התקשורת בין כבדי שמיעה שמדברים בשפת סימנים לבין יתר האנשים.

המערכת עושה שימוש בטכנולוגיות מתקדמות של למידת מכונה ועיבוד תמונה, ומאפשרת תרגום מיידי של מילים משפת הסימנים לשפה הכתובה. הפרויקט נעשה בשיתוף פעולה בין צוות הפרויקט לדוברי שפת הסימנים. לדבריהם, המודל שהמערכת מבוססת עליו מציג רמת דיוק מרשימה של 91% בזיהוי מילים, ומהווה צעד משמעותי לקראת שילוב רחב של הכלי במערכות לימוד ותמיכה לאוכלוסיות שונות.

המערכת פותחה על ידי דין עזרא ושי מסטיץ, בוגרי תואר ראשון בהנדסת תוכנה במכללת סמי שמעון, במסגרת פרויקט הגמר שלהם. עזרא מספר: "הנושא פגש אותי לפני ארבע שנים, כאשר גרתי ממש מול שכן כבד שמיעה מלידה. פעם כשהייתי שומע מבעד לדלת רעשים ודפיקות בארון חשמל הבנתי שהוא צריך עזרה עם הפעלת מונה החשמל אצלו בדירה, ויצאתי לסייע לו והוא כמובן סימן לי תודה", מספר עזרא.

מסטיץ מספר, שנחשף לנושא כאשר בכיתת הלימוד שלו בחטיבת הביניים היו ילדים כבדי שמיעה. "עם הזמן נתגלו בעיות תקשורת בין אלו ששומעים לבין אותם ילדים. חוויה זו עוררה בי את ההבנה שצריך לצמצם את הפערים על ידי קידום התאמת שפת הסימנים הישראלית לשימוש רחב יותר גם בקרב האוכלוסייה הכללית", הוא אומר.

יוזמי הפרויקט מספרים, שכיום המערכת תומכת בזיהוי של 18 מילים שונות, והם עובדים על הרחבת המערכת כדי לתמוך באוצר מילים רחב יותר, ובהמשך גם בתרגום משפטים מלאים, תוך התחשבות בחוקי התחביר הייחודיים לשפת הסימנים. את הפרויקט ליוותה ד"ר אירינה רבייב, מומחית בתחום. הפרויקט גם קיבל ביטוי במאמר באחד מהעיתונים המדעים הנחשבים בתחום בעולם.