Dissertação de Mestrado
Instituição: UFC - Universidade Federal do Ceará
Programa: Programa de Pós-Graduação em Computação
Orientador(a): Rubens Fernandes Nunes
Ano: 2022
País: Brasil
Resumo
Gerar movimentos naturais para personagens articulados fisicamente simulados é desafiador principalmente porque ajustar a qualidade visual do movimento muitas vezes compromete o funcionamento básico do controlador, pois os parâmetros de controle geralmente possuem um relacionamento não intuitivo com a animação resultante. O Aprendizado por reforço profundo (Deep Reinforcement Learning (DRL)) tem sido uma abordagem bastante explorada recentemente para tratar o problema de controle de tais estruturas, em que uma rede neural é usada para lidar com esse relacionamento entre as entradas de controle e as informações de saída a serem usadas pelos atuadores. Além disso, a definição de uma recompensa apropriada é essencial para guiar o progresso da aprendizagem. Para problemas de controle contínuo, o processo de aprendizado pode levar de horas a dias de treinamento, dependendo da tarefa, mas após essa etapa, a rede treinada funciona em tempo real. Este trabalho propõe, portanto, ajustes na função de recompensa e nas informações de entrada e de saída da rede para fornecer ao animador um maior grau de controle sobre os movimentos resultantes. Esse controle é explorado tanto na fase de treinamento, quanto durante a execução da simulação em tempo real. Os termos de recompensa propostos foram adaptados para dois personagens com morfologias distintas e se mostraram capazes de nitidamente diferenciar diversos modos de locomoção, como corridas e saltos. Os ajustes nas informações de entrada e de saída da rede permitiram o controle de velocidade em tempo real e a possível imposição de simetria ao movimento do personagem. Experimentos simulando interações com o ambiente, tais como objetos sendo lançados contra o personagem e modificações causando irregularidades no terreno, mostraram a robustez do controle obtido usando DRL.
Abstract
Generating natural movements for physics-based articulated characters is challenging mainly because adjusting the visual quality of the movement often compromises the basic functioning of the controller, as the control parameters generally have a non-intuitive relationship with the resulting animation. Deep Reinforcement Learning (DRL) has been a recently explored approach to treat the control problem in such structures, in which a neural network is used to deal with this relationship between control inputs and information outputs to be used by the actuators. Further, the definition of an appropriate reward is necessary to guide the learning process. Although the learning process takes a long time, a major advantage of the DRL method is that the trained network works in real-time. This work, therefore, proposes adjustments in the reward function and in the network input and output information to provide the animator with a greater degree of control over the resulting movements. That control is explored both in the training phase and during the simulation in real-time. The proposed reward terms were adapted for two characters with different morphologies and proved to be able to clearly differentiate interesting types of locomotion, such as running and jumping. Adjustments to network input and output information allowed real-time speed control and the possible imposition of symmetry on the character’s movement. Experiments simulating interactions with the environment, such as objects being thrown at the character and modifications causing irregularities in the terrain, showed the robustness of the control obtained using DRL.
Palavras-chave: Aprendizagem profunda, Movimento, Simulação, Rede Neural Artificial, Dissertação.
Para o texto completo, clique aqui!
