Raspoznavanje hrvatskog znakovnog jezika korištenjem uređaja za optičko praćenje pokreta

• Main Author: Alagić, Domagoj
• Other Authors: Grgić, Mislav
• Format: Master Thesis
• Language: Croatian
• Published: Sveučilište u Zagrebu. Fakultet elektrotehnike i računarstva. 2014
• Subjects: hrvatski znakovni jezik; skriveni Markovljevi modeli; optičko praćenje pokreta; Microsoft Kinect; raspoznavanje; strojno učenje; Croatian Sign Language; hidden Markov models; optical motion tracking; recognition; machine learning; TEHNIČKE ZNANOSTI. Računarstvo; TECHNICAL SCIENCES. Computing; sami
• Online Access: https://zir.nsk.hr/islandora/object/fer:364; https://urn.nsk.hr/urn:nbn:hr:168:689524; https://repozitorij.unizg.hr/islandora/object/fer:364; https://repozitorij.unizg.hr/islandora/object/fer:364/datastream/PDF

Znakovni jezici, iako sasvim ravnopravni govornim jezicima, nisu toliko prepoznati unutar čujuće zajednice ljudi. Ova činjenica ima negativan utjecaj na ostvarivanje prava na komunikaciju, obrazovanje i informiranje osoba s oštećenjem sluha. Ovaj rad predstavlja ostvarenje sustava za automatsko raspoznavanje znakova u hrvatskom znakovnom jeziku, jeziku zajednice osoba s oštećenjem sluha u Republici Hrvatskoj. Daje se osnovni pregled hrvatskog znakovnog jezika nakon čega se opisuje i matematički model sustava. Sam sustav izveden je kao klasifikator izoliranih znakova pri čemu se za svaki znak postupkom nadziranog učenja gradi zasebni skriveni Markovljev model. Sami znakovi predstavljaju se kao nizovi vektora značajki koji su izgrađeni korištenjem podataka dobivenih iz uređaja za optičko praćenje, Microsoft Kinecta. Analizom efikasnosti sustava na odabranom podskupu znakova došlo se do vrlo dobrih rezultata, ali i do mnoštva ideja za njegovu nadogradnju koja bi vodila većoj primjenjivosti sustava u stvarnom svijetu. Sign languages, even though they are equal to the spoken languages, are not widely recognized among the hearing people. This fact has an unfavorable influence on the deaf people's rights of communication, education and information exchange. This thesis presents a system for the automatic recognition of Croatian Sign Language, language of the Deaf in the Republic of Croatia. It starts off with a rudimentary overview of the Croatian Sign Language followed by a complete mathematical model on which the system resides. The implemented system works as an isolated sign classifier where for every sign an independent hidden Markov model is created via the process of supervised learning. The signs are represented by sequences of feature vectors created using the data extracted from the optical motion tracking device, Microsoft Kinect. The system efficiency analysis over a chosen subset of signs has produced very good results, but also a great number of ideas for possible system upgrades. Those upgrades would ...