Para dar a conhecer as áreas de investigação do grupo NOVA LINCS - ISEL e fomentar a partilha de ideias, realizar-se-á no dia 14 de novembro, às 14h30, no auditório Chagas Gomes (auditório F), a talk intitulada "LLMs e Transformers: Fundamentos e Aplicações", apresentada pelo professor Arnaldo Abrantes (DEETC/ISEL).

Resumo: 

Esta apresentação aborda os Modelos de Linguagem de Grande Escala (LLMs), pilares no avanço do processamento de linguagem natural. Serão discutidos os paradigmas de treino, incluindo pré-treino e ajuste fino, e os métodos de utilização destes modelos, seja através de APIs comerciais ou de bibliotecas open-source como a Hugging Face. A apresentação incluirá uma análise de conceitos como tokenização e embeddings e o seu papel central no desempenho dos LLMs. Será também discutida a estrutura interna dos Transformers, com ênfase no mecanismo de atenção e na rede MLP. A extensão dos LLMs a dados multimodais e a integração com ferramentas externas será explorada, culminando numa reflexão sobre o potencial dos LLMs para desempenhar um papel central no futuro do software, à semelhança dos sistemas operativos atuais.