Dissertação de Mestrado
Nome: Loubrys Lázaro Rojas Reinoso
Instituição: USP - Universidade de São Paulo - Escola PolitécnicaPrograma: Departamento de Computação e Sistemas Digitais
Orientador: Graça Bressan
Ano: 2023
País: Brasil
Resumo
A estimativa de pose da cabeça é uma área de pesquisa ativa com uma ampla gama de aplicações, incluindo reconhecimento facial, detecção de vivacidade, animação facial e muito mais. As pesquisas mostram que sistemas relacionados a rostos geralmente funcionam bem em cenários controlados, obtendo excelentes resultados com rostos completos e quase frontais. No entanto, desafios surgem ao lidar com perfis. Propomos um sistema de análise facial multitarefa, sem treinamento, projetado para classificar poses de rosto. Após receber uma imagem, o sistema pode ser capaz de detectar rostos e seus pontos de referência, estimar a pose do rosto através do grau de liberdade da cabeça humana, calculando os ângulos resolvendo o problema de Perspective-n-Point (PnP), uma sólida alternativa para aqueles que buscam um equilíbrio entre robustez e velocidade. Alguns dos métodos mais robustos geralmente dependem de soluções de aprendizado profundo, mas geralmente são inadequados para aplicações em tempo real ou exigem computadores de alto desempenho. Após estimar os ângulos, um modelo de ML supervisionado foi treinado para determinar rostos como frontais ou não frontais. O sistema fornecerá feedback em tempo real para os usuários corrigirem a pose da cabeça. O Erro Absoluto Médio (MAE) obtido foi de 4,24, garantindo velocidade de execução em tempo real em hardware de baixa potência. Para avaliar o modelo de aprendizado de máquina treinado, foram implementados três protocolos, com o Protocolo 2 apresentando os melhores resultados, com zeros falsos positivos, tornando-o uma excelente escolha para aplicações no mundo real. Além disso, testamos a proposta em um protótipo de conceito para abertura e verificação de contas. O sistema funcionou como pré-processamento de imagens, permitindo apenas imagens que atendem a requisitos específicos - rostos frontais. Medimos o impacto da proposta em outros sistemas de análise facial; o desempenho dos sistemas de reconhecimento facial e detecção de vivacidade melhorou significativamente, aumentando de 90% para 96% e de 62% para 87%, respectivamente.
Palavras-chave: Aprendizado computacional, Face (Análise), Processamento de imagens, Dissertação.
Abstract
Head pose estimation attracts significant interest from the research community by the wide range of applications that rely on or are enhanced by a good head pose estimation system, including face recognition, liveness detection, facial animation, and more. Research has shown that face-related systems generally perform well in controlled scenarios, achieving excellent results for full and nearly frontal faces. However, the performance of face-related systems typically declines significantly for profile faces, presenting a major challenge. We propose a multi-task, training-free face analysis system designed to classify face poses. After receiving an image, the system could be capable of detecting faces and their landmarks, estimating the head pose based on the human head's degrees of freedom, and calculating the angles using the Perspective-n-Point (PnP) problem, a solid alternative for those seeking a balance between robustness and speed. Some of the more robust methods often rely on deep learning solutions but they are generally unsuitable for real-time applications or require high-performance computers. After, estimating the angles, a supervised ML model has been trained to determinate faces as either frontal or non-frontal. The system will provide users with real-time feedback, such as visual cues, to help them correct their head position. The Mean Absolute Error (MAE) obtained was 4.24, guarantying real-time running speed in low-power hardware. To evaluate the machine learning model trained, were implemented three protocols, yielding Protocol 2 the best results, with zero false positives, making it an excellent choice for real-world applications. Additionally, we tested the proposal in a proof of concept for accounts opening and verification. The system acted as an image preprocessor, allowing only images that meet specific requirements frontal faces. We measured the impact of the proposal in other face analysis systems; the performance of face recognition and liveness detection systems improved significantly, increasing from 90% to 96% and from 62% to 87%, respectively.
Keywords: Computational learning, Face (Analysis), Image processing.
Para o texto completo, clique aqui!
