Analiza i synteza systemu przetwarzania sygnałów opisujących gesty i elementy subkodu mimicznego w zastosowaniu do komunikacji z osobami niesłyszącymi

mgr inż. Wojciech Kozioł

Promotor: Prof. dr hab. inż. Wiesław Wajs
Dyscyplina: Biocybernetyka i Inżynieria Biomedyczna


Niniejsza rozprawa mieści się w prężnie rozwijającym się ostatnio w informatyce nurcie prac związanych z lingwistyką komputerową. Jako podstawowy problem podejmuje ona możliwość stworzenia systemu automatycznej translacji z polszczyzny ogólnej, języka pisanego na język migowy. Jest to problem ważny nie tylko z punktu widzenia naukowego, ale i społecznego. System ten służyć może jako użyteczne narzędzie w przeciwdziałaniu społecznemu wykluczeniu osób głuchoniemych, co jednym z priorytetów polityki społecznej państwa polskiego. Realizacja tego zadania wymagała stworzenia lingwistycznych podstaw opisu i translacji słów, fraz i wypowiedzi określonych w systemie obu języków. Z drugiej strony informatyczna cześć wymagała utworzenia bazy wiedzy językowej oraz bazy gestów 3D języka migowego. Konieczne było również opracowanie algorytmów analizy głębokiej zdań języka polskiego oraz algorytmów ustalających poziomy (leksykalny, morfologiczno-syntaktyczny i semantyczny) ekwiwalencji do języka migowego. Do wizualizacji gestów wykonano trójwymiarowy model awatara. W procesie akwizycji migów wykorzystano wizyjny system rejestracji ruchu – motion capture. Jego efektem jest uzyskanie wysokiego realizmu i naturalności ruchu awatara 3D. Jak wykazano w rozprawie stworzony system jest sprawnym narzędziem translacji, dającym możliwości dalszej rozbudowy.

Pełna wersja autoreferatu autoreferat.pdf

1. Kozioł W., Wajs W., Sikora K., „System ułatwiający komunikację z osobami niesłyszącymi”, [W:] Kowalczuk Z. (red.): Systemy wykrywające, analizujące i tolerujące usterki, Gdańsk 2009, s. 295-302.
2. Wojciech Koziol, Hubert Wojtowicz, Kazimierz Sikora, Wieslaw Wajs, „A Human-Computer Interaction System Facilitating Communication with Hearing-Impaired People”, Advances in Knowledge-Based and Intelligent Information and Engineering Systems, ed. Graña, M., Toro, C., Posada, J., Howlett, R.J., Jain, L.C., vol. 243, p. 726 - 735, ISBN 978-1-61499-104-5, IOS Press Frontiers in Artificial Intelligence and Applications, 2012.
3. Koziol W., Wojtowicz H., Sikora K., Wajs W.: Analysis and Synthesis of the System for Processing of Sign Language Gestures and Translatation of Mimic Subcode in Communication with Deaf People, Knowledge Engineering, Machine Learning and Lattice Computing with Applications, 16th International Conference, KES 2012, San Sebastian, Spain, September 10-12, 2012, Revised Selected Papers, Editors: Manuel Grana, Carlos Toro, Robert J. Howlett, Lakhmi C. Jain, Springer Verlag Lecture Notes in Computer Science vol. 7828, s. 61-70, ISBN: 978-3-642-37342-8 (Print) 978-3-642-37343-5 (Online) (2013).
4. Wojciech Koziol, Hubert Wojtowicz, Kazimierz Sikora, Wieslaw Wajs: A System for Visualization of the Polish Sign Language Gestures. Frontiers in Artificial Intelligence and Applications, ed. George A. Tsihrintzis, Maria Virvou, Toyohide Watanabe, Lakhmi C. Jain, Robert J. Howlett, vol. 254, p. 70-79, ISBN 978-1-61499-261-5 (print) | 978-1-61499-262-2 (online), 2013.
5. Hubert Wojtowicz, Jolanta Wojtowicz, Wojciech Koziol, Wieslaw Wajs: Medical Decision Support System Architecture for Diagnosis of Down's Syndrome, Proceedings of the 2013 Federated Conference on Computer Science and Information Systems, Kraków, Poland, September 8-11, 2013, ed. Maria Ganzha, Leszek A. Maciaszek, Marcin Paprzycki p.179-182, 2013.