Dissertação de Mestrado
Nome: Leandro Martin Guertzenstein Angare
Instituição: Unicamp - Universidade Estadual de Campinas
Programa: Programa de Pós-Graduação em Engenharia Elétrica - Faculdade de Engenharia Elétrica e de Computação
Orientador: José Mario De Martino
Ano: 2021
Ano: 2021
País: Brasil
Resumo
A presente dissertação expõe a pesquisa que culminou na proposição de um método para síntese da animação de transições entre sinais de um avatar sinalizante da Língua Brasileira de Sinais (Libras). Nos últimos anos tem sido cada vez mais incentivada e presente no dia-a-dia a acessibilidade em materiais multimídia (filmes, televisão, internet, etc.) fruto da demanda de uma parcela considerável da população que se sente mais confortável comunicando-se em língua de sinais. Um intérprete de sinais virtuais (avatar) deve, assim como um intérprete humano, traduzir e apresentar o conteúdo que lhe é passado. Uma abordagem para se atingir essa meta é a concatenação de sinais armazenados em uma base de dados. Tal concatenação, objeto desta pesquisa, deve ser feito de tal forma que não prejudique a legibilidade, buscando movimentos suaves e naturais para o avatar. Uma pesquisa inicial buscava uma solução com animação procedural baseada em regras cinemáticas que seguiriam algum modelo do tipo da Lei de Donders, porém como não há consenso em trabalhos acadêmicos de bio-mecânica humana para tal a solução adotada foi um sistema de animação híbrido entre baseado em dados (data-driven) e procedural. Esta solução foi possível criando-se um banco de dados de conjuntos de curvas de animação de transições entre sinais gravadas de intérpretes com equipamento de captura de movimento. Estas curvas de animação para serem guardadas e manipuladas foram ajustadas em segmentos de curvas de Hermite e em B-Splines, a primeira através de método próprio e a segunda utilizando-se de algoritmo proposto por Paul Dierckx que utiliza gradiente conjugado para minimizar o conjunto de nós e coeficientes aos dados. Associado a estas curvas de animação estão conjuntos de parâmetros que descrevem os momentos anteriores e posteriores à transição utilizando Transformada Discreta de Cossenos (DCT) das curvas de animação dos sinais. Esses parâmetros são utilizados para encontrar o conjunto de curvas de animação de transição mais próximo ao intervalo que se quer sintetizar, utilizando distância mínima quadrática. Por fim, é apresentado um comparativo entre diferentes curvas utilizadas para sintetizar animações entre sinais de Libras utilizando como parâmetro o erro quadrático médio (RMSE) entre as animações geradas e o sinal original.
Palavras-chave: Animação por computador, Avatares, Ajuste de curvar, Dissertação.
Abstract
This dissertation presents the research which culminated in a method for inter-signs transition animation for a virtual Libras (Brazilian Sign Language) interpreter. In the last years, accessible multimedia material (films, television, internet, etc.) has been increasingly promoted and has become more present in our daily life, result of the demands of a population that feels more comfortable communicating in sign language. A virtual sign languages interpreter (avatar) must, just like a human interpreter, translate in real time a given content, to reach this goal it uses a database of signs that must be concatenated. Such concatenation, this research’s objective, must be made in a way as to not damage legibility, seeking natural and smooth movements. An initial research sought a procedural animation solution based in kinematic rules following a Donders Law’s type of model, but since there are no consensus in human bio-mechanic academic studies for it the adopted solution was a hybrid data-driven and procedural animation system. This solution was possible by creating a database of animation curve sets from sign language interpreters that were generated using motion capture equipment. These animation curves, to be stored and manipulated, were fitted into Hermite curve segments and B-Spline curves, the first using a developed method by the researchers and the latter using an algorithm proposed by Paul Dierckz using conjugated gradient to minimize knots and coefficients of the B-Spline. Associated to these animation curves are parameters sets describing the moments prior and after transitions using Discrete Cosine Transformation (DCT) in the signs’ animation curves. These parameters are used to find the closest transition animation curves to the transition to be synthesized, using minimum square distance. It is also presented a comparison between curves used to synthesized animations between Libras signs using as parameter Root Mean Square Error (RMSE) between the generated animations and the original signal.
Para o texto completo, clique aqui!
