MAGNI CALCULI RATIOCINATORIS: A Theoretical Universal Logical and Axiological Calculation Framework for Generative Large Language Models
Nome: SAMUEL MEIRA BRASIL JUNIOR
Data de publicação: 13/12/2023
Banca:
Nome |
Papel |
|---|---|
| FLAVIO MIGUEL VAREJAO | Orientador |
Resumo: A presente tese investiga o desenvolvimento de uma estrutura teórica universal para o "cálculo de raciocínio", com foco principal no alinhamento de valores e no raciocínio lógico dos grandes modelos de linguagem generativos (Generative LLMs). A pesquisa inicia com a referência histórica ao "Fundamenta Calculi Ratiocinatoris" de Leibniz, que se trata de um cálculo lógico integrado a uma linguagem universal ("Lingua Characteristica"), e posiciona os modelos de linguagem como uma manifestação contemporânea desse conceito. O estudo inclui uma revisão conceitual das estratégias de aprendizado dos modelos de fundamentais, incluindo LLMs pré-treinados baseados em transformers, metodologias de transferência do aprendizado e aprendizado em contexto, como aprendizado "zero-shot" e "few-shot", cadeia-de-pensamentos, árvore-de-pensamentos, auto-consistência e engenharia de entrada automática. Seguindo o marco teórico, o trabalho elabora uma abrangente revisão da literatura, examinando as habilidades de raciocínio lógico dos grandes modelos de linguagem (LLMs), e avalia seus pontos fortes e fracos, escalabilidade e qualidade dos textos gerados. A pesquisa então se concentra no ajuste fino de LLMs pré-treinados para se obter um raciocínio lógico alinhado a valores. Apresenta métodos como teoria de rankings para adaptação de peso, cálculo lógico alinhado a valores e ajuste fino de sub-redes. Os resultados desses métodos são apresentados e discutidos em detalhes. Além disso, o trabalho explora metodologias de prompt em linguagem natural para obter raciocínio lógico alinhado a valores. Isso inclui técnicas como Sequent Calculi e Dedução Natural, lógica de raciocínio alinhada a valores, decomposição para subprovas lógicas e prompts de cálculos sequenciais baseados em árvores de decisão, juntamente com raciocínio baseado em preferências para obter o alinhamento de valores. A dissertação conclui com a apresentação de resultados experimentais para validar as metodologias propostas. Espera-se que a pesquisa possa contribuir para a área, ao propor uma abordagem holística para melhorar o raciocínio lógico alinhado aos valores humanos em modelos de linguagem generativa. E que a pesquisa possa fornecer uma base para trabalhos futuros no desenvolvimento de sistemas de inteligência artificial mais alinhados aos valores humanos ou ao menos estimular pesquisas nesse sentido.
