On The Efforts On Training Deep Neural Networks: Reducing Computational And Data-related Costs
Nome: RODRIGO FERREIRA BERRIEL
Tipo: Tese de doutorado
Data de publicação: 28/09/2021
Orientador:
Nome |
Papel |
|---|---|
| THIAGO OLIVEIRA DOS SANTOS | Orientador |
Banca:
| Nome |
Papel |
|---|---|
| ALBERTO FERREIRA DE SOUZA | Examinador Interno |
| CLAUDINE SANTOS BADUE | Examinador Interno |
| FRANCISCO DE ASSIS BOLDT | Examinador Externo |
| JURANDY GOMES DE ALMEIDA JUNIOR | Examinador Externo |
| THIAGO OLIVEIRA DOS SANTOS | Orientador |
Resumo: Atualmente, redes neurais profundas (DNNs, do inglês Deep Neural Networks) estão em todos os lugares. Muitos dos nossos problemas diários têm sido resolvidos ou amenizados com a ajuda de tais modelos. No entanto, é importante ressaltar que o sucesso desses modelos se baseia em algumas inconveniências: eles requerem muitos dados e grande poder computacional. Para alcançar o desempenho necessário para usá-los no mundo real, frequentemente são necessárias bases de dados massivas para treiná-los. Essas bases de dados, por sua vez, requerem a coleta e anotação de muitas amostras. Ambos processos, coleta e anotação de dados, são caros e demandam muito tempo, i.e., eles requerem muito investimento em sensores, tempo e pessoas em uma série de tarefas eventualmente entediantes e propensas a erros. Nessa tese nós exploramos maneiras de reduzir os esforços necessários para treinar redes neurais profundas, especialmente em relação aos problemas mencionados. Nós investigamos meios de usar dados que já estão disponíveis na internet para reduzir os custos de aquisição de dados. Além disso, nós também estudamos maneiras de reduzir o custo computacional em tempo de inferência, particularmente na perspectiva da aprendizagem de múltiplos domínios. Nossos resultados mostram aplicações da coleta e anotação automática em grande escala que provaram ser úteis no treinamento de redes convolucionais profundas para ambos problemas de classificação e regressão no mundo real. Adicionalmente, nós propusemos um modelo que possui baixa complexidade computacional, requer menos armazenamento e possui um baixo consumo de memória quando comparado com as alternativas da literatura, demonstrando uma forma eficaz de reduzir os requisitos computacionais de redes profundas. Por fim, nossas propostas mostraram que os esforços envolvidos no treinamento de redes profundas podem ser reduzidas ainda mais, principalmente no que tange aos custos computacionais e aos relacionados a dados.
