Enseñas: Eine digitale Plattform zur Verbesserung der Kommunikation für hörgeschädigte Menschen

Ein Tool zur Verbesserung der Kommunikation

Enseñas ist eine Initiative, die durch ein digitales Tool, das auf einem Machine-Learning-Modell basiert, Inklusion ermöglichen möchte. Das Ziel ist es, eine neue Form der Kommunikation zu schaffen, die die Interaktion zwischen hörgeschädigten Menschen und hörenden Menschen in Echtzeit erleichtert. Dieses Modell ist in der Lage, Wörter der mexikanischen Gebärdensprache in geschriebenes Spanisch und umgekehrt in Echtzeit zu übersetzen.

Der erste Schritt bei der Entwicklung dieses Projekts bestand darin, ein Datenset zu erstellen, das aus einer Sammlung von 400 Videos mit den am häufigsten verwendeten Wörtern der mexikanischen Gebärdensprache besteht. Diese wurden kategorisiert und einzeln gelabelt.

Im nächsten Schritt erfolgte die Pose-Vorhersage, bei der das Modell den Inhalt des Datensets analysiert und Frame für Frame mithilfe von ML Pipe Pose Estimation auswertet. Am Ende dieser Auswertung ist unser überwachtes Lernmodell in der Lage, Muster in den Posen zu erkennen, ohne dass menschliches Eingreifen erforderlich ist, um zu identifizieren, welchen Wörtern, Buchstaben, Zahlen und Phrasen sie zugeordnet sind. Um diesen Prozess abzuschließen, wurde auch eine manuelle Auswahl von Frames durchgeführt, um eine genauere Vorhersage der Gebärden zu erreichen.

Um dieses Projekt der Öffentlichkeit zugänglich zu machen, wurde eine digitale Plattform erstellt, auf der unsere Forschung, das LSM-Erkennungsmodell und das generierte Datenset frei heruntergeladen werden können. Dadurch können andere Entwickler, Technologieunternehmen und Bildungseinrichtungen von unserem Projekt profitieren und weitere Inklusionswerkzeuge für die nicht hörende Gemeinschaft entwickeln.

Die fehlende Bildung und die mangelnden Werkzeuge zur Verbesserung der Kommunikation und Erfahrung hörgeschädigter Menschen in Mexiko haben uns dazu veranlasst, durch eine digitale Plattform auf dieses Problem aufmerksam zu machen und die Inklusion zu fördern. Dank technologischer Werkzeuge konnten wir ein Machine-Learning-Modell oder ein Tool entwickeln, das die mexikanische Gebärdensprache in Echtzeit erkennt. Dadurch können wir die Kommunikationslücke zwischen hörgeschädigten Menschen und Menschen ohne diese Behinderung überbrücken, ohne dass die Menschen die Gebärdensprache lernen müssen.

Enseñas wurde mit dem Iron A' Design Award 2023 ausgezeichnet. Dieser Preis wird an gut gestaltete, praktische und innovative Kreationen verliehen, die professionellen und industriellen Anforderungen gerecht werden. Sie zeichnen sich durch die Integration bewährter Industriestandards und kompetenter technischer Merkmale aus und tragen zur Erfüllung und positiven Gefühlen bei, was zu einer besseren Welt beiträgt.