Advanced search options

Advanced Search Options 🞨

Browse by author name (“Author name starts with…”).

Find ETDs with:

in
/  
in
/  
in
/  
in

Written in Published in Earliest date Latest date

Sorted by

Results per page:

Sorted by: relevance · author · university · dateNew search

You searched for subject:(Handshape recognition). Showing records 1 – 2 of 2 total matches.

Search Limiters

Last 2 Years | English Only

No search limiters apply to these results.

▼ Search Limiters


Boston University

1. Thangali, Ashwin. Exploiting phonological constraints for handshape recognition in sign language video.

Degree: PhD, Computer Science, 2013, Boston University

The ability to recognize handshapes in signing video is essential in algorithms for sign recognition and retrieval. Handshape recognition from isolated images is, however, an insufficiently constrained problem. Many handshapes share similar 3D configurations and are indistinguishable for some hand orientations in 2D image projections. Additionally, significant differences in handshape appearance are induced by the articulated structure of the hand and variants produced by different signers. Linguistic rules involved in the production of signs impose strong constraints on the articulations of the hands, yet, little attention has been paid towards exploiting these constraints in previous works on sign recognition. Among the different classes of signs in any signed language, lexical signs constitute the prevalent class. Morphemes (or, meaningful units) for signs in this class involve a combination of particular handshapes, palm orientations, locations for articulation, and movement type. These are thus analyzed by many sign linguists as analogues of phonemes in spoken languages. Phonological constraints govern the ways in which phonemes combine in American Sign Language (ASL), as in other signed and spoken languages; utilizing these constraints for handshape recognition in ASL is the focus of the proposed thesis. Handshapes in monomorphemic lexical signs are specified at the start and end of the sign. The handshape transition within a sign are constrained to involve either closing or opening of the hand (i.e., constrained to exclusively use either folding or unfolding of the palm and one or more fingers). Furthermore, akin to allophonic variations in spoken languages, both inter- and intra- signer variations in the production of specific handshapes are observed. We propose a Bayesian network formulation to exploit handshape co-occurrence constraints also utilizing information about allophonic variations to aid in handshape recognition. We propose a fast non-rigid image alignment method to gain improved robustness to handshape appearance variations during computation of observation likelihoods in the Bayesian network. We evaluate our handshape recognition approach on a large dataset of monomorphemic lexical signs. We demonstrate that leveraging linguistic constraints on handshapes results in improved handshape recognition accuracy. As part of the overall project, we are collecting and preparing for dissemination a large corpus (three thousand signs from three native signers) of ASL video annotated with linguistic information such as glosses, morphological properties and variations, and start/end handshapes associated with each ASL sign.

Subjects/Keywords: Computer science; Handshape recognition; Probabilistic models; Variational Bayes learning; American Sign Language; American Sign Language lexicon video dataset

Record DetailsSimilar RecordsGoogle PlusoneFacebookTwitterCiteULikeMendeleyreddit

APA · Chicago · MLA · Vancouver · CSE | Export to Zotero / EndNote / Reference Manager

APA (6th Edition):

Thangali, A. (2013). Exploiting phonological constraints for handshape recognition in sign language video. (Doctoral Dissertation). Boston University. Retrieved from http://hdl.handle.net/2144/14076

Chicago Manual of Style (16th Edition):

Thangali, Ashwin. “Exploiting phonological constraints for handshape recognition in sign language video.” 2013. Doctoral Dissertation, Boston University. Accessed January 20, 2020. http://hdl.handle.net/2144/14076.

MLA Handbook (7th Edition):

Thangali, Ashwin. “Exploiting phonological constraints for handshape recognition in sign language video.” 2013. Web. 20 Jan 2020.

Vancouver:

Thangali A. Exploiting phonological constraints for handshape recognition in sign language video. [Internet] [Doctoral dissertation]. Boston University; 2013. [cited 2020 Jan 20]. Available from: http://hdl.handle.net/2144/14076.

Council of Science Editors:

Thangali A. Exploiting phonological constraints for handshape recognition in sign language video. [Doctoral Dissertation]. Boston University; 2013. Available from: http://hdl.handle.net/2144/14076

2. Ρούσσος, Αναστάσιος. Μη-γραμμική διάχυση στην όραση υπολογιστών και στατιστικά μοντέλα σχήματος με εφαρμογές στην ανάλυση εικόνων αρθρωτών φωνητικού και νοημ...

Degree: 2010, National Technical University of Athens (NTUA); Εθνικό Μετσόβιο Πολυτεχνείο (ΕΜΠ)

In this work, Nonlinear Diffusion models for image simplification and image restoration are developed. In addition, the framework of Statistical Shape Models is used for object detection and recognition. The main applications that are studied are related o the image analysis of speech articulators, for two different speech types: voiced speech, whose articulators are located in the vocal tract, and signed speech, whose main articulators are the hands, lips and eyes. This kind of image analysis contributes to the voiced and signed speech research and technology. More precisely, we design a nonlinear diffusion method for vector-valued image interpolation, which yields accurate results with reduced artifacts. In addition, we introduce a theoretical framework that is based on the image structure tensor and generalizes several variational methods of nonlinear diffusion for image restoration. Based on this framework, we propose some new diffusion methods that combine the advantages of various existing approaches. Furthermore, we design a statistical model for the tongue contour of a speaker, model which incorporates prior shape knowledge and is able to robustly estimate the tongue contour in ultrasound image sequences. Finally, we present a new modeling of sign language handshapes, which offers a descriptive and compact representation of hand configurations and has been successfully applied on the handshape classification. We develop a robust model fitting process in continuous signing videos, by incorporating static and dynamic prior handshape information.

Στην παρούσα έρευνα, αναπτύσσονται μοντέλα Μερικών Διαφορικών Εξισώσεων τύπου Μη-γραμμικής Διάχυσης για την απλοποίηση και την βελτίωση της ποιότητας εικόνων. Χρησιμοποιούνται επίσης μεθοδολογίες Στατιστικών Μοντέλων Σχήματος για τον οπτικό εντοπισμό και αναγνώριση αντικειμένων. Οι κύριες εφαρμογές που μελετώνται αφορούν την ανάλυση οπτικών δεδομένων των αρθρωτών λόγου, σε δύο διαφορετικές μορφές του: τον φωνητικό λόγο, του οποίου οι αρθρωτές βρίσκονται στην φωνητική οδό, και τον νοηματικό λόγο, του οποίου οι αρθρωτές είναι κυρίως τα χέρια, τα χείλη και τα μάτια. Η ανάλυση τέτοιων οπτικών δεδομένων συνεισφέρει στην έρευνα και την τεχνολογία που σχετίζονται με την ομιλία και την νοηματική γλώσσα. Πιο συγκεκριμένα, σχεδιάζεται μία μέθοδος μη-γραμμικής διάχυσης για την βελτίωση της ευκρίνειας διανυσματικών εικόνων, η οποία αποδίδει αποτελέσματα υψηλής ακρίβειας, με περιορισμένα ανεπιθύμητα ψεύδεργα (artifacts). Επίσης, εισάγεται ένα θεωρητικό πλαίσιο το οποίο βασίζεται στον δομικό τανυστή της εικόνας και γενικεύει διάφορες μεταβολικές μεθόδους μη-γραμμικής διάχυσης για την αποκατάσταση εικόνων. Με βάση το πλαίσιο αυτό, προτείνονται νέες μέθοδοι διάχυσης, οι οποίες συνδυάζουν τα πλεονεκτήματα διαφόρων προηγούμενων προσεγγίσεων. Ακόμα, σχεδιάζεται ένα στατιστικό μοντέλο για την καμπύλη της γλώσσας ομιλητή, το οποίο ενσωματώνει πρότερη γνώση σχήματος και μπορεί να εκτιμήσει ολόκληρη την καμπύλη της γλώσσας σε ακολουθίες εικόνων υπερήχων. Τέλος, παρουσιάζεται μία νέα…

Subjects/Keywords: Μη-γραμμική διάχυση; Μερικές διαφορικές εξισώσεις και μεταβολικές μέθοδοι; Στατιστικά μοντέλα σχήματος; Βελτίωση της ποιότητας εικόνων; Οπτικός εντοπισμός και αναγνώριση αντικειμένων; Παρακολούθηση της γλώσσας ομιλητή σε βίντεο υπερήχων; Μοντελοποίηση χειρομορφών; Αυτόματη αναγνώριση νοηματικής γλώσσας; Nonlinear diffusion; Partial differential equations and Variational methods; Statistical shape models; Image restoration; Object detection and recognition; Speaker’s tongue tracking in ultrasound videos; Handshape modeling; Automatic sign language recognition

Record DetailsSimilar RecordsGoogle PlusoneFacebookTwitterCiteULikeMendeleyreddit

APA · Chicago · MLA · Vancouver · CSE | Export to Zotero / EndNote / Reference Manager

APA (6th Edition):

Ρούσσος, . . (2010). Μη-γραμμική διάχυση στην όραση υπολογιστών και στατιστικά μοντέλα σχήματος με εφαρμογές στην ανάλυση εικόνων αρθρωτών φωνητικού και νοημ... (Thesis). National Technical University of Athens (NTUA); Εθνικό Μετσόβιο Πολυτεχνείο (ΕΜΠ). Retrieved from http://hdl.handle.net/10442/hedi/27497

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

Chicago Manual of Style (16th Edition):

Ρούσσος, Αναστάσιος. “Μη-γραμμική διάχυση στην όραση υπολογιστών και στατιστικά μοντέλα σχήματος με εφαρμογές στην ανάλυση εικόνων αρθρωτών φωνητικού και νοημ...” 2010. Thesis, National Technical University of Athens (NTUA); Εθνικό Μετσόβιο Πολυτεχνείο (ΕΜΠ). Accessed January 20, 2020. http://hdl.handle.net/10442/hedi/27497.

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

MLA Handbook (7th Edition):

Ρούσσος, Αναστάσιος. “Μη-γραμμική διάχυση στην όραση υπολογιστών και στατιστικά μοντέλα σχήματος με εφαρμογές στην ανάλυση εικόνων αρθρωτών φωνητικού και νοημ...” 2010. Web. 20 Jan 2020.

Vancouver:

Ρούσσος . Μη-γραμμική διάχυση στην όραση υπολογιστών και στατιστικά μοντέλα σχήματος με εφαρμογές στην ανάλυση εικόνων αρθρωτών φωνητικού και νοημ... [Internet] [Thesis]. National Technical University of Athens (NTUA); Εθνικό Μετσόβιο Πολυτεχνείο (ΕΜΠ); 2010. [cited 2020 Jan 20]. Available from: http://hdl.handle.net/10442/hedi/27497.

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

Council of Science Editors:

Ρούσσος . Μη-γραμμική διάχυση στην όραση υπολογιστών και στατιστικά μοντέλα σχήματος με εφαρμογές στην ανάλυση εικόνων αρθρωτών φωνητικού και νοημ... [Thesis]. National Technical University of Athens (NTUA); Εθνικό Μετσόβιο Πολυτεχνείο (ΕΜΠ); 2010. Available from: http://hdl.handle.net/10442/hedi/27497

Note: this citation may be lacking information needed for this citation format:
Not specified: Masters Thesis or Doctoral Dissertation

.