Deep Learning-based Reconstruction of Shredded Documents
Nome: THIAGO MEIRELES PAIXÃO
Tipo: Tese de doutorado
Data de publicação: 10/05/2022
Orientador:
Nome |
Papel |
|---|---|
| THIAGO OLIVEIRA DOS SANTOS | Orientador |
Banca:
| Nome |
Papel |
|---|---|
| ALCEU DE SOUZA BRITTO JR. | Examinador Externo |
| FRANCISCO DE ASSIS BOLDT | Examinador Externo |
| LUCIA CATABRIGA | Examinador Interno |
| MARIA CLAUDIA SILVA BOERES | Coorientador |
| ROBERTO HIRATA JR. | Examinador Externo |
Páginas
Resumo: A reconstrução de documentos fragmentados é uma tarefa importante em diversas situações, tais como na investigação forense e na reconstrução de fatos históricos. Como alternativa ao processo manual, pesquisadores têm desenvolvido métodos para reconstruir
documentos (semi-)automaticamente no domínio digital. Apesar dos diversos trabalhos
na área, tratar adequadamente dados reais obtidos com uso de máquinas fragmentadoras é um problema crítico na literatura. Neste contexto, duas direções de pesquisa foram
abordadas nesta tese: a avaliação robusta de compatibilidade entre os fragmentos, que é
o foco do nosso trabalho, e a interação homem-máquina no processo de reconstrução.
Com respeito à avaliação de compatibilidade, verificou-se que as técnicas tradicionais
baseadas em análise de pixel não são robustas à fragmentação real, enquanto técnicas
mais sofisticadas comprometem significativamente a eficiência (tempo de processamento).
Esta tese propõe duas abordagens baseadas em deep learning para cenários mais complexos/realísticos envolvendo, além da fragmentação mecânica, a mistura de fragmentos provenientes de diversas páginas de documentos (multi-page reconstruction ou multireconstruction). A primeira abordagem modela a avaliação de compatibilidade como um
problema de reconhecimento de padrões envolvendo duas classes (válida e inválida). A
segunda abordagem, baseada no paradigma deep metric learning, propõe separar as etapas
de extração de características e avaliação de compatibilidade para melhor eficiência na
reconstrução de maiores instâncias de reconstrução.
A interação humana é explorada num segundo momento para se obter maior acurácia
comparada aos métodos automáticos. Em relação a este tema, um fator crítico é que os
métodos propostos na literatura não escalam eficientemente com o aumento do número
de fragmentos (cenário mais realístico). Isso se deve ao fato do usuário ser totalmente
responsável pela organização dos fragmentos, e/ou porque ele precisa visualizar todo
o documento reconstruído para designar fragmentos a serem analisados. Diante deste
desafio, propusemos um framework que explora a interação homem-máquina e que automaticamente seleciona potenciais erros na solução (pareamentos incorretos) para serem
analisados pelo usuário.
