Além das Lentes do KINECT-v2: Um estudo exploratório do hardware de captura de movimentos

Trabalho de Conclusão de Curso

Nome: Luiz Felipe Rosa da Silveira

Instituição: Unicamp - Universidade Estadual de Campinas

Programa: Curso Sistemas de Informação - Faculdade de Tecnologia

Orientador: Marco Antonio Garcia de Carvalho
Ano: 2020

País: Brasil

Resumo

Animação consiste em, de alguma forma, dar vida a algo que não tem; num processo em que imagens ou fotogramas são mostrados sequencialmente de modo a criarem a ilusão de uma imagem em movimento. Com o surgimento dos computadores eletrônicos, as técnicas de animação tiveram um enorme avanço, com o desenvolvimento da animação digital, permitindo maior velocidade e eliminação de tarefas mecânicas e repetitivas nos processos produtivos. Novos dispositivos e técnicas de captura de movimento como sensores de detecção e reprodução de movimentos naturais permitiram a elaboração de animações cada vez mais reais. No entanto, essas tecnologias nem sempre são acessíveis, e demandam altos investimentos em equipamentos e equipes especializadas para seu correto funcionamento. Daí a importância de se procurar tecnologias acessíveis e de baixo custo, que possam ser utilizadas em aplicações com o uso de captura de movimentos. Com esse propósito, neste trabalho foram explorados os recursos técnicos do KINECT-V2, que é um dispositivo para captura de movimentos de baixo custo, lançado em 2014 pela Microsoft, mas que utiliza tecnologias sofisticadas, na elaboração de uma aplicação prática inspirada numa "caixa de brinquedos", desenvolvida em C# no motor gráfico Unity 3D, em que a interação homem-máquina é feita através dos movimentos do usuário captados pelo sensor, que permite ao usuário entrar no universo de cada personagem 3D e controlar seus movimentos.

Palavras-chave: Sensor Kinect, Interação humano-máquina, Animação por computador, TCC.

Abstract

Animation consists of, in some way, giving life to something that has no life. It is the process in which images or frames are shown sequentially, at a certain speed, creating the illusion of a moving image. With the emergence of electronic computers, animation techniques had a huge advance, with the development of digital animation, allowing greater speed and elimination of mechanical and repetitive tasks in the production processes. New devices and techniques for capturing motion such as sensors for detecting and reproducing natural movements allowed the development of increasingly real animations. However, these technologies are not always accessible, and require high investments in equipment and specialized teams for their correct functioning. That is why it is important to look for accessible and low-cost technologies that can be used in applications with the use of motion capture. For this purpose, in this work the technical resources of KINECT-V2 were explored, which is a low cost motion capture device, launched in 2014 by Microsoft, but which uses sophisticated technologies, in the elaboration of a practical application inspired by a "box toys ", developed in C # on the Unity 3D graphics engine, in which a human-machine interaction is made through the user's movements captured by the sensor, which allows the user to enter the universe of each 3D character and control their movements.

Para o texto completo, clique aqui!

Abordagem por Rede Generativa Adversária para Síntese de Discurso Visual Expressivo com Controle de Emoção

Dissertação de Mestrado

Nome: Filipe Antonio de Barros Reis

Instituição: Unicamp - Universidade Estadual de Campinas 

Programa: Programa de Pós-Graduação em Engenhaia Elétrica - Faculdade de Engenharia Elétrica e de Computação

Orientadora: Paula Dornhofer Paro Costa
Ano: 2020

País: Brasil

Resumo

As áreas de computação gráfica e interação humano-computador evoluíram significativamente ao longo da última década, mudando a maneira como nossa sociedade interage com a tecnologia. A interação com computadores e outros dispositivos tem evoluído de interfaces do tipo WIMP (Windows, Icons, Menus, Pointer) para paradigmas mais naturais e similares às interações humanas, tais como a comunicação face-a-face. Essa mudança está muito relacionada aos avanços nas tecnologias de reconhecimento de fala, síntese de texto em fala e processamento de linguagem natural. Tais avanços alavancaram, por exemplo, o surgimento de assistentes virtuais cada vez mais capazes de proporcionarem uma experiência de comunicação natural. No entanto, tais assistentes ainda não possuem uma face. A fala visual é naturalmente multimodal, incluindo componentes verbais (movimentos articulatórios da fala) e não-verbais. Em particular, as expressões não-verbais enriquecem a comunicação e frequentemente influenciam os movimentos articulatórios da fala indicando, por exemplo, se uma frase é uma questão ou afirmação e fornecendo pistas sobre as emoções que acompanham a fala. Pela complexidade das expressões envolvidas na fala acompanhada de expressividade, a criação de cabeças falantes realistas, ou "talking-heads", é uma tarefa desafiadora. Este trabalho apresenta uma metodologia de síntese de animação de fala acompanhada de emoção, resultando numa "talking-head" videorrealista. O sistema utiliza uma rede generativa adversária, do inglês Generative Adversarial Network (GAN), para sintetizar a parte visual da fala com emoção, utilizando como entrada uma sequência de pontos chave da face. A rede contém estruturas dedicadas para garantir que as expressões faciais geradas estejam de acordo com a emoção desejada. Para avaliar o trabalho, foram utilizadas métricas objetivas e resultados de um estudo subjetivo perceptual baseado no reconhecimento de expressões faciais associadas a emoções, além de um teste de preferência entre diferentes métodos de síntese. Os resultados demonstram que nossa metodologia é capaz de incorporar expressões faciais de uma emoção alvo à animação facial, mantendo um alto nível de videorrealismo.

Palavras-chave: Expressão facial, Simulação por computador, Animação por computador Computação gráfica, Aprendizado de máquina, Dissertação.

Abstract

Computer Graphics and Human-Computer Interaction have significantly evolved over the past decade, changing how our society interacts with technology. The interaction with computers and connected electronic devices is shifting from WIMP (Windows, Icons, Menus, Pointer) interfaces to more natural human-like experiences. This shift is heavily related to the advances in speech recognition, text-to-speech synthesis, and natural language processing systems that enabled, for example, the advent of sophisticated virtual assistants that communicate naturally in a variety of situations. However, these assistants still do not have a face. Visual speech communication is naturally multimodal and contains both verbal and non-verbal components. Speech articulatory movements can be modified or modulated by the expression of emotions and other non-verbal communication mechanisms. For this reason, the synthesis of realistic talking-heads and the proper reproduction of facial expressions and speech articulatory movements is a challenging task. This work presents an expressive visual speech synthesis methodology that produces videorealistic results for a talking head's speech. The system adopts a Generative Adversarial Network synthesis approach to produce expressive visual speech using a sequence of facial keypoints as input. The network contains dedicated structures to ensure that the facial expressions match the expressions expected of a given target emotion. To evaluate the work, we analyzed objective metrics and the results of a subjective perceptual study based on the recognition of facial expressions associated with emotions, in addition to a preference test between different synthesis methods. The results demonstrate that our methodology is capable of incorporating facial expressions of a target emotion into visual speech animation, maintaining a high level of videorealism.

Para o texto completo, clique aqui!

 

Transferência de Movimentos Preservando Relação Espacial

Dissertação de Mestrado

Nome: Rodolfo Luis Tonoli

Instituição: Unicamp - Universidade Estadual de Campinas 

Programa: Programa de Pós-Graduação em Engenhaia Elétrica - Faculdade de Engenharia Elétrica e de Computação

Orientadores: Paula Dornhofer Paro Costa, José Mario De Martino
Ano: 2019

País: Brasil

Resumo

Dentre as aplicações da tecnologia de captura de movimentos, está a gravação de movimentos de um ser humano para animação de personagens virtuais. Esta tecnologia permite gerar animações realistas, capazes de reproduzir a dinâmica dos movimentos de uma pessoa real. Porém, o processo de transferência do movimento para um personagem virtual, chamado retargeting de movimento, pode resultar em distorções quando o ator e o personagem têm proporções corporais distintas. Essas distorções podem gerar artefatos na animação, como auto-penetração e poses incorretas, causando estranhamento e percepção distorcida do movimento. Este trabalho propõe a transferência dos dados da captura de movimento para um personagem 3D, preservando a relação espacial das mãos com a superfície do corpo. Este processo garante a interação das mãos com a superfície do corpo, como cobrir os olhos ou a boca. As superfícies do corpo do ator e do personagem virtual são calibradas em um processo semiautomático. Uma malha composta por triângulos é construída para representar cada superfície corporal e os membros, braços, antebraços, coxas, e pernas, são modelados por cápsulas. No movimento capturado, as distâncias entre as mãos e pés até os componentes da superfície, triângulos e cápsulas, são normalizadas pelas proporções corporais do ator. Então, as proporções corporais e superfície corporal do personagem virtual são utilizadas para calcular a posição de seus pés e suas mãos. A pose do personagem é ajustada por cinemática inversa para cada frame da animação. Para avaliar o método implementado, foi aplicada uma avaliação perceptual de movimentos registrados através de captura de movimentos. Foi apresentado três estímulos para participantes voluntários: vídeos gravados do ator durante a captura de movimentos; e dois personagens 3D executando os movimentos, um com movimentos resultantes do processo implementado e o outro não. Os participantes deveriam responder qual personagem animado executou os movimentos mais parecido com aqueles do vídeo. Os resultados indicam que o processo de retargeting implementado contribuiu para um maior videorrealismo das animações gravadas por captura de movimentos ao preservar a interação das mãos com a superfície do corpo. Dentre as contribuições deste trabalho, está a transferência automática de movimentos capturados de seres humanos para personagens digitais com diferentes proporções e formatos corporais.

Palavras-chave: Animação por computador, Avatares, Computação gráfica, Movimento corporal, Análise de movimento, Dissertação.

Abstract

One application of motion capture technology is the recording of the movement of a human being to animate virtual characters. This technology allows the production of realistic animations, able to reproduce the dynamics of a real person's movement. However, the process of transferring the movement to a virtual character, called motion retargeting, can cause distortions when the performer and the character have different body proportions. These distortions may generate artifacts in the animation, such as self-penetration and ill-conditioned poses, that cause strangeness and hinder movement perception. This work proposes the motion retargeting of motion capture data to 3D characters preserving the hands' spatial relationship with the body surface. This process ensures the hands' interaction with the body surface, such as covering the eyes or mouth. The body surfaces of the actor and the virtual character are calibrated in a semi-automatic process. A mesh composed with triangles is constructed to represent each body surface and the limbs, upper and lower arms and legs, are modeled as capsules. For the captured motion, the distance of the hands and feet to the performer's body surface components, i.e., triangles and capsules, are normalized by the body proportions. Then, the virtual character's body proportions and body surface are used to compute its hands and feet positions. The character pose is adjusted by inverse kinematics for each frame of the animation. To evaluate the implemented method, a perceptual evaluation of recorded movements through motion capture was conducted. Participants were presented to three stimuli: video recordings of the performer during the motion capture session; and two 3D characters performing the motions, one had motions retargeted through the implemented method, and the other had not. Participants were asked which animated character performed the movements most similar to the ones in the videos. The results indicate that the implemented motion retargeting process improved the videorealism of animations recorded through motion capture by preserving the interaction of the hands with the body surface. Among the contributions of this work is the automatic retargeting of captured movements from human beings to digital characters with different body proportions and shapes.

Para o texto completo, clique aqui!

 

A Poética no Cinema de Animação

Tese de Doutorado

Nome: Carolina Morgado Leão

Instituição: Unicamp - Universidade Estadual de Campinas 

Programa: Programa de Pós-Graduação em Música - Instituto de Artes

Orientador: Claudiney Rodrigues Carrasco
Ano: 2019

País: Brasil

Resumo

O século XX em suas abruptas e violentas transformações, modificOU o pensamento artístico, bem como suas necessidades e formas de expressão. Nossa reflexão se concentra na intersecção do impacto político-social e o desdobramento poético que se sucedeu no cinema de animação europeu. Para compreender esta conjuntura de eventos, construiremos um pensamento que tem início no questionamento dos motivos artísticos para composição deste cinema que se estruturou calcado no lirismo e sob forte influência surrealista. Na primeira metade do século, temos a animação abstrata como vanguarda de potencial revolucionário, demonstrando seu caráter experimental com a utilização poética do som ótico. Na segunda metade do século, adentramos o peculiar cenário do cinema de animação do diretor Jan ¿vankmajer que através da subversão, compõe uma amarga e surreal representação audiovisual, demonstrando seu descontentamento com a humanidade. Este cinema de animação, portanto, encontra-se associado intencionalmente ou não, a uma atitude de questionamento e resistência perante a política e a sociedade.

Palavras-chave: Animação (Cinematografia), Trilha sonora, Cinema experimental, Surrealismo, Tese.

Abstract

The violent and abrupt transformations that marked the 20th century deeply modified the artistic thinking of the time, as well as the needs of the artists and their chosen forms of expression. This thesis proposes a reflection on the role that these social and political changes had in the construction of a new poetic language in the European animated cinema. In order to analyze the new artistic movement that was born from these changes, the present work will initially focus on the artistic reasons and motivations that gave birth to this new form of cinema, one based on lyric expression and profoundly influenced by the surrealist movement. In the first half of the century, abstract animation emerged as an avant-garde movement with revolutionary potential, a new form of art that set out to experiment with the new possibilities provided by the use of optical sound. Jan ¿vankmajer¿s peculiar animated motion pictures, produced during the second half of the 20th century, can be understood as a development of these experimentations. Through the intense use of subversion, this Czech animator was able to express his discontentment with the state of mankind at the time through a bitter and surreal audiovisual representation of the political, social and artistic landscape of the time.

Para o texto completo, clique aqui!

 

Anime Music Video (AMV), Multi e Novos Letramentos: O remix na cultura otaku

Tese de Doutorado

Nome: Eduardo de Moura Almeida

Instituição: Unicamp - Universidade Estadual de Campinas 

Programa: Programa de Pós-Graduação em Linguística Aplicada - Instituto de Estudos da Linguagem

Orientadora: Roxane Helena Rodrigues Rojo
Ano: 2018

País: Brasil

Resumo

Este projeto de Doutorado, vinculado à área de concentração Linguagem e Educação, do Programa de Pós-Graduação em Linguística Aplicada (PPGLA/IEL/UNICAMP), centra-se na cultura otaku em contexto digital, focando, principalmente, nas produções audiovisuais pertencentes ao portal animemusicvideos.org (the org), comunidade cujo objetivo é a elaboração, distribuição e apreciação de remixes de imagens em movimento produzidos a partir de animações japonesas, os Anime Music Videos (AMVs). Buscamos, primeiramente, descrever, segundo as teorias de Bakhtin e seu Círculo, os enunciados produzidos nesse contexto e, com isso, esboçar um quadro geral bakhtiniano de análise para remix de imagem em movimento que possa fornecer direcionamentos para construção de parâmetros de didatização centrados na concepção da Pedagogia dos Novos e Multiletramentos. Para tanto, propomos integrar perspectiva enunciativo-discursiva formulada para a linguagem verbal com método objetivo de análise de objetos multimodais, por meio de um desenho de pesquisa misto, quantitativo-qualitativo, baseado em distribuições estatísticas de escolhas formais e estilísticas, em que o corpus de pesquisa será preparado para descrição e análise a partir de técnicas de visualização de dados denominadas de media visualization (principalmente, Manovich), as quais nos permitirão criar imagens e gráficos, com intuito de revelar relações e padrões existentes em nosso conjunto de dados audiovisuais, de maneira a propiciar transições produtivas entre os conceitos propostos por Bakhtin e seu Círculo (principalmente o de arquitetônica) e ferramentas de análise de edição e montagem de vídeo (principalmente, Amiel e Horwatt).

Palavras-chave: Remixes, Animação (Cinematografia), Multiletramentos, Cultura popular - Japão, Tese.

Abstract

This PhD project, linked to the area of concentration Language and Education in Applied Linguistics Program (PPG-LA/IEL/UNICAMP) focus on otaku culture, mainly on the audiovisual productions belonging to the portal animemusicvideos.org (the org), community whose goal is the elaboration and distribution of Japanese animations remixes called Anime Music Videos (AMVs). We seek to describe the AMVs produced in this context according to the theories of Bakhtin and his Circle and thereby outline a Bakhtinian framework of analysis for remix videos that can provide directions for the construction of pedagogical parameters centered on the conception of New Literacies and Pedagogy of Multiliteracies. To do so, we propose to integrate an enunciative-discursive perspective formulated for the verbal language with an analysis objective method of multimodal objects through a mixed research design, quantitative and qualitative, based on statistical distributions of formal choices and stylistic. The corpus prepared for description and analysis from data visualization techniques (mostly, Manovich and Navas), will allow us to create images and graphics to reveal relationships and patterns in our collection of audiovisual data. Therefore, this methodological approach aims to provide productive transitions between the concepts proposed by Bakhtin and his Circle (mostly, architectonic) and analysis of editing and video editing tools (mostly, Amiel and Horwatt).

Para o texto completo, clique aqui!