Wirtualne „miganie” pomoże niesłyszącym?

Arkadiusz Chmielewski i Mariusz Stebelski - twórcy aplikacji Mimiczne Usta, studenci informatyki Uniwersytetu Opolskiego, właściciele firmy Innovation Technologies.

Skąd pomysł, aby stworzyć właśnie taką aplikację?

Pomysł tak naprawdę zrodził się całkiem przypadkowo. Na początku chcieliśmy stworzyć aplikację, która zawierać miała jedynie same usta. Tak, żeby sprawdzić czy to jest w ogóle do zrobienia, aby móc syntetycznie poruszać wargami zgodnie z czytanym tekstem. Robiliśmy to dla samej przyjemności. Chcieliśmy też sprawdzić samych siebie i nasze umiejętności.

Dopiero po jakimś czasie olśniło nas do czego można by to wykorzystać. A ponieważ jesteśmy osobami pozytywnie nastawionymi do życia i lubimy pomagać. Doszliśmy do wniosku, że dlaczego nie pomóc właśnie osobom głuchoniemym? Właśnie dla nich usprawniliśmy aplikację o mimikę całej twarzy, w późniejszym czasie chcemy dodać jeszcze gestykulację, tak aby program mógł być w pełni funkcjonalny dla potrzebujących.

Teraz jest tak, że osoba głuchoniema musi przejść szereg czasochłonnych i często bardzo drogich szkoleń, aby posiąść umiejętność czytania z ruchu warg. Natomiast ucząc się tego samego przy pomocy naszej aplikacji, można zaoszczędzić czas i pieniądze. Co więcej wszystko odbywa się przy okazji oglądania filmu, surfowania po Internecie czy czytania e-booków. Wydaje nam się, że każdy zainteresowany, doceni fakt „zamigania” treści strony www przez naszego avatara. Oczywiście przy okazji użytkownik aplikacji będzie mógł uczyć się jednocześnie poprawnej wymowy słów. Takie właśnie ćwiczenia umożliwią osobie niesłyszącej, która nie słyszy sama siebie, ułożenie ust w taki sposób, aby każdy mógł zrozumieć to co chce przekazać.

Jak działa aplikacja?

Najprościej będzie porównać jej działanie do tłumacza języka migowego, którego czasem można zobaczyć w prawym dolnym rogu ekranu telewizora. Chcemy zrobić właśnie coś takiego, z tą różnicą, że będzie to w pełni syntetyczne rozwiązanie. Według naszej wiedzy będzie to jedyna taka aplikacja na świecie.

Projekt jest cały czas w fazie rozwojowej. Wciąż dochodzą nowe możliwości jego wykorzystania. Konsultujemy się tutaj między innymi z Polskim Związkiem Głuchych Oddziałem Opolskim, z Panem Jarosławem Duszakiem, w jaki jeszcze inny sposób możemy wykorzystać możliwości Mimicznych Ust.

Nasza firma (Innovation Technologies) tworzy narzędzie dla osób głuchoniemych, a później to właśnie dedykowani specjaliści, tacy jak nauczyciele języka migowego, rehabilitanci czy logopedzi, określą sposób nauki przy jego pomocy.

Kto jest docelowym użytkownikiem aplikacji?

Pierwszymi użytkownikami będą osoby głuchonieme, chociaż nic nie stoi na przeszkodzie, aby dosłownie każdy mógł nauczyć się czytania z ust i języka migowego. Oczywiście nie ma tu żadnych granic wiekowych pod względem korzystania z oprogramowania.

Wszystko zależy od tego czy osoba pobierająca naukę będzie osobą niesłyszącą od urodzenia, osobą z implantem, osobą która straciła słuch w wyniku wypadku itd. Jest naprawdę multum wariancji wszystkich przypadków. Stąd potrzeba indywidualnego podejścia do każdego, co determinuje bezpośrednio tok nauczania. Weźmy na przykład osobę dorosłą, która straciła słuch w jakimś wypadku. Jest to osoba, która doskonale zna polską gramatykę. Możemy więc od razu uczyć ją czytania z ruchu ust, bo jest to dla niego najbardziej naturalny sposób komunikacji, dopiero potem będziemy wdrażać ją w posługiwanie się językiem migowym.

Z drugiej strony są na przykład dzieci, które nie umieją jeszcze czytać, a tym samym nie znają zasad rządzących polską gramatyką. Na początku uczą się języka migowego, potem dopiero języka pisanego, mówionego, gdyż traktowane jest to jak nauka języka obcego, zgoła odmiennego od migowego.

Moglibyśmy wymieniać jeszcze wiele różnorodnych przypadków, ale nie o to chodzi. Ważne jest to, że aplikacja potrafi się dostosować do każdego indywidualnie i nie narzuca kolejności poznawania tajników ruchu ust, języka migowego oraz gramatyki języka polskiego.

Gdzie może być wykorzystana?

Wszędzie tam, gdzie osoba niesłysząca miała dotąd problemy w komunikowaniu się. W urzędach, sklepach, życiu codziennym. Proszę sobie wyobrazić taką sytuację. Osoba, która dzięki naszej aplikacji, potrafi czytać z ruchu ust nie potrzebuje już tłumacza języka migowego. Sama potrafi odczytać to co się do niej mówi. Co więcej, jeśli nawet nie słyszy własnych słów, wypowiada je wyraźniej, tak że druga osoba jest w stanie zrozumieć przekaz. To krok do samodzielności, ale też uniknięcia stresujących sytuacji.

Inny przypadek. Osoba niesłysząca nie potrafi jeszcze dobrze czytać z ruchu ust ale doskonale zna już język migowy. Będąc w urzędzie, który dysponuje zainstalowaną aplikacją na komputerze, czy też smartfonie, urzędnik wpisze tekst, a nasz avatar „zamiga go”.

A teraz odwrotnie. Urzędnik zamiast być oddelegowanym na szkolenie języka migowego, korzysta z zainstalowanej w tle aplikacji w czasie całego swojego dnia pracy. Avatar „miga” wszystko co czyta bądź pisze urzędnik. Dzięki czemu, cokolwiek robi przy komputerze, przez cały czas przyswaja wiedzę na temat języka migowego. To oszczędności nie tylko pieniędzy, których nie trzeba wydać na transport, nocleg i wyżywienie podczas szkolenia, ale też oszczędności czasu. Dodatkowo urzędnik jest w stanie sam dogadać się z osobą głuchoniemą, nie trzeba wzywać tłumacza języka migowego, który często jest dostępny dopiero po kilku dniach. 

W jaki sposób będzie można korzystać z aplikacji?

Na początek chcemy wypuścić program działający pod kontrolą systemów operacyjnych rodziny Microsoft Windows, począwszy od Windows XP w górę. Następnie aplikacja będzie przeportowana na komputery Apple oraz urządzenia mobilne oparte na Android i iOS. Oferta będzie poszerzana o obsługę innych urządzeń oraz systemów operacyjnych w zależności od zapotrzebowania rynku.

Jak długo mogą potrwać jeszcze pracę nad Mimicznymi Ustami?

Szacunkowy termin wydania wersji finalnej to okres dwóch lat. Jest to czas potrzebny na przeprowadzenie badań, które mają na celu uzyskanie w pełni realistycznej animacji wszystkich ruchów mimicznych całego obszaru twarzy. To bardzo istotne, bo zdarza się że różne słowa podobnie wyglądają, tzn. kształt ust przy ich wymawianiu jest bardzo zbliżony lub jest nawet taki sam. Aby nie trzeba było dedukować znaczenia wyrazu z kontekstu zdania, potrzebna jest mimika szyi i innych części twarzy, która zdradza faktycznie przekazywaną treść. 

Ile będzie kosztowała aplikacja?

Trudno jest operować nawet szacunkowymi kwotami. Biznesplan, który opracowaliśmy oczywiście uwzględnia cenę sprzedaży, ale jest za wcześnie żeby o tym teraz mówić.

Możemy już teraz zdradzić, że dla osób głuchoniemych aplikacja będzie dostępna po dużo mniejszych cenach niż dla urzędów i innych instytucji. Tym ostatnim zostanie zaproponowana cena, która na pewno będzie konkurencyjna w stosunku do tradycyjnych szkoleń języka migowego.

Czy można jakoś wspomóc proces powstawania Mimicznych Ust?

Aktualnie prowadzimy kampanię mającą na celu zebranie środków na zakup sprzętu i oprogramowania do przeprowadzania badań. Wszystko dzieje się za sprawą serwisu Indiegogo. Kampania kończy się 21 kwietnia i mamy nadzieję zebrać wymaganą kwotę, bo tak naprawdę tylko ona umożliwi nam sfinansowanie wszystkich prac w ciągu nadchodzących dwóch lat.

Przeczytaj więcej o aplikacji: Mimiczne usta nauczą czytać z ruchu warg