Deep Learning-based Reconstruction of Shredded Documents

Nome: THIAGO MEIRELES PAIXÃO
Tipo: Tese de doutorado
Data de publicação: 10/05/2022
Orientador:

Nomeordem decrescente Papel
THIAGO OLIVEIRA DOS SANTOS Orientador

Banca:

Nomeordem decrescente Papel
ALCEU DE SOUZA BRITTO JR. Examinador Externo
FRANCISCO DE ASSIS BOLDT Examinador Externo
LUCIA CATABRIGA Examinador Interno
MARIA CLAUDIA SILVA BOERES Coorientador
ROBERTO HIRATA JR. Examinador Externo

Páginas

Resumo: A reconstrução de documentos fragmentados é uma tarefa importante em diversas situações, tais como na investigação forense e na reconstrução de fatos históricos. Como alternativa ao processo manual, pesquisadores têm desenvolvido métodos para reconstruir
documentos (semi-)automaticamente no domínio digital. Apesar dos diversos trabalhos
na área, tratar adequadamente dados reais obtidos com uso de máquinas fragmentadoras é um problema crítico na literatura. Neste contexto, duas direções de pesquisa foram
abordadas nesta tese: a avaliação robusta de compatibilidade entre os fragmentos, que é
o foco do nosso trabalho, e a interação homem-máquina no processo de reconstrução.
Com respeito à avaliação de compatibilidade, verificou-se que as técnicas tradicionais
baseadas em análise de pixel não são robustas à fragmentação real, enquanto técnicas
mais sofisticadas comprometem significativamente a eficiência (tempo de processamento).
Esta tese propõe duas abordagens baseadas em deep learning para cenários mais complexos/realísticos envolvendo, além da fragmentação mecânica, a mistura de fragmentos provenientes de diversas páginas de documentos (multi-page reconstruction ou multireconstruction). A primeira abordagem modela a avaliação de compatibilidade como um
problema de reconhecimento de padrões envolvendo duas classes (válida e inválida). A
segunda abordagem, baseada no paradigma deep metric learning, propõe separar as etapas
de extração de características e avaliação de compatibilidade para melhor eficiência na
reconstrução de maiores instâncias de reconstrução.
A interação humana é explorada num segundo momento para se obter maior acurácia
comparada aos métodos automáticos. Em relação a este tema, um fator crítico é que os
métodos propostos na literatura não escalam eficientemente com o aumento do número
de fragmentos (cenário mais realístico). Isso se deve ao fato do usuário ser totalmente
responsável pela organização dos fragmentos, e/ou porque ele precisa visualizar todo
o documento reconstruído para designar fragmentos a serem analisados. Diante deste
desafio, propusemos um framework que explora a interação homem-máquina e que automaticamente seleciona potenciais erros na solução (pareamentos incorretos) para serem
analisados pelo usuário.

Acesso ao documento

Acesso à informação
Transparência Pública

© 2013 Universidade Federal do Espírito Santo. Todos os direitos reservados.
Av. Fernando Ferrari, 514 - Goiabeiras, Vitória - ES | CEP 29075-910