Dokumenty Sony dotyczące patentu: tłumaczenie języka migowego w czasie rzeczywistym dla gier

Patent Sony: wbudowany w grę tłumacz języka migowego umożliwia graczom niesłyszącym i niemym granie w gry! Sony złożyło wniosek patentowy, którego celem jest uczynienie gier bardziej dostępnymi dla niesłyszących graczy. Patent opisuje technologię umożliwiającą tłumaczenie w czasie rzeczywistym pomiędzy różnymi językami migowymi w ramach gry.

Wykorzystywanie sprzętu VR i gier w chmurze do tłumaczenia w czasie rzeczywistym

Patent Sony zatytułowany „Tłumaczenie języka migowego w środowiskach wirtualnych” demonstruje technologię, która tłumaczy amerykański język migowy (ASL) na japoński język migowy (JSL), umożliwiając graczom japońskojęzycznym zrozumienie i korzystanie z odtwarzacza ASL.

Celem Sony jest zbudowanie systemu umożliwiającego tłumaczenie języka migowego w grach w czasie rzeczywistym, aby pomóc niesłyszącym i niemym graczom uczestniczyć w rozmowach w grach. Patent opisuje technologię, która umożliwiłaby wyświetlanie na ekranie wirtualnych wskaźników lub awatarów komunikowanie się w języku migowym w czasie rzeczywistym. System najpierw tłumaczy gesty jednego języka migowego na tekst, następnie konwertuje tekst na inny określony język, a na koniec przekłada otrzymane dane na gesty języka migowego w innym języku.

Sony wyjaśnia w patencie: „Przykłady wykonania niniejszego ujawnienia dotyczą sposobów i systemów przechwytywania języka migowego jednego użytkownika (np. osoby mówiącej po japońsku) i tłumaczenia języka migowego innego użytkownika (np. osoby mówiącej po angielsku). Ponieważ języki migowe różnią się w zależności od regionu, wymaga to odpowiedniego uchwycenia języka migowego jednego użytkownika, zrozumienia jego języka ojczystego i wygenerowania jego ojczystego języka migowego jako wyniku.”

Jedno z rozwiązań wdrożeniowych zaproponowanych przez firmę Sony polega na wykorzystaniu sprzętu VR lub wyświetlaczy montowanych na głowie (HMD). Szczegóły Sony: „W niektórych przykładach wykonania HMD jest podłączony do urządzenia użytkownika, takiego jak komputer osobisty, konsola do gier lub inne urządzenie komputerowe, za pośrednictwem połączenia przewodowego lub bezprzewodowego. W niektórych przykładach urządzenie użytkownika renderuje grafikę wyświetlaną za pośrednictwem HMD, Zapewnij użytkownikom wciągający widok środowiska wirtualnego ”

Firma Sony zaproponowała ponadto, aby jedno urządzenie użytkownika mogło bezproblemowo komunikować się z innym urządzeniem użytkownika na serwerze gry za pośrednictwem sieci. Sony stwierdziło: „W niektórych przykładach serwer gry wykonuje wspólną sesję gry wideo, utrzymuje stan kanoniczny gry wideo i jej środowiska wirtualnego, a stan urządzenia użytkownika w odniesieniu do środowiska wirtualnego jest z nim synchronizowany”. 🎜>

Dzięki tej konfiguracji użytkownicy mogą udostępniać treści i wchodzić w interakcje w tym samym środowisku wirtualnym (tj. w grze) we współdzielonej sieci lub serwerze. Sony dodaje również, że w niektórych przykładach systemu serwer gier może stanowić część systemu gier w chmurze, który może „renderować i przesyłać strumieniowo wideo” pomiędzy każdym urządzeniem użytkownika.