On The Efforts On Training Deep Neural Networks: Reducing Computational And Data-related Costs

Nome: Rodrigo Ferreira Berriel
Tipo: Tese de doutorado
Data de publicação: 28/09/2021
Orientador:

Nomeordem decrescente Papel
Thiago Oliveira dos Santos Orientador

Banca:

Nomeordem decrescente Papel
Alberto Ferreira De Souza Examinador Interno
Claudine Santos Badue Gonçalves Examinador Interno
Francisco de Assis Boldt Examinador Externo
Jurandy Gomes de Almeida Junior Examinador Externo
Thiago Oliveira dos Santos Orientador

Resumo: Atualmente, redes neurais profundas (DNNs, do inglês Deep Neural Networks) estão em todos os lugares. Muitos dos nossos problemas diários têm sido resolvidos ou amenizados com a ajuda de tais modelos. No entanto, é importante ressaltar que o sucesso desses modelos se baseia em algumas inconveniências: eles requerem muitos dados e grande poder computacional. Para alcançar o desempenho necessário para usá-los no mundo real, frequentemente são necessárias bases de dados massivas para treiná-los. Essas bases de dados, por sua vez, requerem a coleta e anotação de muitas amostras. Ambos processos, coleta e anotação de dados, são caros e demandam muito tempo, i.e., eles requerem muito investimento em sensores, tempo e pessoas em uma série de tarefas eventualmente entediantes e propensas a erros. Nessa tese nós exploramos maneiras de reduzir os esforços necessários para treinar redes neurais profundas, especialmente em relação aos problemas mencionados. Nós investigamos meios de usar dados que já estão disponíveis na internet para reduzir os custos de aquisição de dados. Além disso, nós também estudamos maneiras de reduzir o custo computacional em tempo de inferência, particularmente na perspectiva da aprendizagem de múltiplos domínios. Nossos resultados mostram aplicações da coleta e anotação automática em grande escala que provaram ser úteis no treinamento de redes convolucionais profundas para ambos problemas de classificação e regressão no mundo real. Adicionalmente, nós propusemos um modelo que possui baixa complexidade computacional, requer menos armazenamento e possui um baixo consumo de memória quando comparado com as alternativas da literatura, demonstrando uma forma eficaz de reduzir os requisitos computacionais de redes profundas. Por fim, nossas propostas mostraram que os esforços envolvidos no treinamento de redes profundas podem ser reduzidas ainda mais, principalmente no que tange aos custos computacionais e aos relacionados a dados.

Acesso ao documento

Acesso à informação
Transparência Pública

© 2013 Universidade Federal do Espírito Santo. Todos os direitos reservados.
Av. Fernando Ferrari, 514 - Goiabeiras, Vitória - ES | CEP 29075-910