Studenci Politechniki Krakowskiej stworzyli aplikację AI do tłumaczenia języka migowego

Studenci Politechniki Krakowskiej – Dmytro Burkovskyi, Oleksii Izvarin i Illia Kostruba – stworzyli aplikację AI do tłumaczenia języka migowego. Aplikacja „Rozumiemy się bez słów” wykorzystuje algorytmy widzenia komputerowego i modele uczenia maszynowego do analiz gestów dłoni i zamienia je na tekst.

To prototyp, który może stać się podstawą uniwersalnego systemu tłumaczenia języka migowego działającego na zwykłym smartfonie – bez specjalistycznych rękawic, czujników czy dodatkowego sprzętu.

Rozwiązanie działa w czasie rzeczywistym. Kamera rejestruje obraz dłoni, system wyznacza 21 punktów charakterystycznych, analizuje ich układ i ruch w czasie, a następnie klasyfikuje wykonany gest jako konkretny znak, czyli literę alfabetu migowego. Aplikacja działa z użyciem zwykłej kamery.

Projekt studentów II roku informatyki w inżynierii komputerowej Politechniki Krakowskiej odpowiada na realny problem społeczny. Według danych WHO ponad 430 mln osób na świecie wymaga rehabilitacji z powodu istotnego ubytku słuchu, a Światowa Federacja Głuchych szacuje, że ponad 70 mln osób należy do społeczności posługujących się językami migowymi. W Polsce – jak wynika z danych GUS na koniec 2024 roku – 270,5 tys. osób miało orzeczenie o niepełnosprawności z powodu problemów z głosem, mową i słuchem.

Autorzy twierdzą, że aktualne rozwiązanie jest prototypem stanowiącym podstawę do dalszych prac. Ich celem jest stworzenie narzędzia, wspomagającego komunikację między osobami słyszącymi a niesłyszącymi.