Advances in Multimodal Deep Learning for Skin Lesion Recognition: Attention, Architecture Optimization, and Robust Clinical Integration
Nome: WYCTOR FOGOS DA ROCHA
Data de publicação: 10/07/2026
Banca:
Nome |
Papel |
|---|---|
| JOÃO PAULO PAPA | Examinador Externo |
| LUIS ANTONIO DE SOUZA JUNIOR | Presidente |
| THIAGO OLIVEIRA DOS SANTOS | Examinador Interno |
Resumo: A classicação automática de lesões de pele com apoio de aprendizado profundo tem
avançado signicativamente nos últimos anos, mas muitos sistemas ainda se baseiam
predominantemente em imagens, explorando de forma limitada informações clínicas complementares. Esse cenário restringe a capacidade de reproduzir, de maneira mais realista,
o processo diagnóstico dermatológico, que naturalmente combina evidências visuais e
contexto clínico. Diante disso, foi investigado o uso de estratégias multimodais para a
classicação de lesões de pele, com foco na integração entre imagens dermatoscópicas e
metadados clínicos.
O problema foi abordado sob quatro perspectivas complementares: modelagem explícita
da interação entre modalidades por mecanismos baseados em atenção; análise da inuência
dos atributos clínicos no processo decisório; desenvolvimento de mecanismos mais estáveis
e controlados de fusão multimodal; e busca automática de arquiteturas competitivas sob
restrições práticas. Além disso, foi explorada a robustez a metadados incompletos por
meio de representações textuais semanticamente mais ricas do que codicações categóricas
tradicionais.
Os resultados indicam que arquiteturas multimodais cuidadosamente projetadas podem
superar abordagens unimodais e estratégias simples de fusão, especialmente em termos de
acurácia balanceada. Também foi observado que a forma de incorporação dos metadados
afeta diretamente a estabilidade, a interpretabilidade e a robustez dos modelos, enquanto
mecanismos residuais e de atenção contribuem para um processo de fusão mais controlado.
Em paralelo, a otimização arquitetural orientada por busca mostrou potencial para
identicar soluções compactas e competitivas. Em conjunto, os achados contribuem para o
avanço da análise multimodal de lesões de pele ao ampliar a compreensão sobre o papel
dos atributos clínicos, propor estratégias de fusão mais adaptativas e investigar caminhos
voltados à robustez e à eciência em cenários clínicos realistas
