Modelos de Linguagem
Previous NextWikiu é um modelo de linguagem com 124 milhões de parâmetros que foi treinado com textos do Wikipedia e refinado com aproximadamente 110 mil textos de descrições de pessoas. O objetivo do modelo é simples: dada uma sequência de palavras, ele deve prever qual a próxima palavra.
Por exemplo, considerando a frase "Hoje eu estou muito ***" qual palavra pode substituir os asteriscos? Cansado? Feliz? Empolgado? Tentar prever qual é a melhor palavra para essa frase é a sua missão!
O modelo aprende quais palavras são mais prováveis para continuar a frase - em matematiquês, ele aprende uma distribuição de probabilidades sobre as palavras.
Geração de texto
Previous NextDepois de ele aprender quais são as palavras mais prováveis para continuar a frase, nós podemos dar a ele um começo de frase e sortear uma nova palavra segundo a distribuição de probabilidades do modelo. Então, podemos colocar a palavra sorteada no final da frase e repetir o processo.
Por detrás dos panos
Previous NextWikiu é uma rede neural artificial transformer com a arquitetura de gpt-2. Em um primeiro momento, as palavras são convertidas em vetores de números e a frase em uma matriz. A partir daí, várias operações de matrizes são realizadas (soma, multiplicação, ativação não linear) e como resultado obtêm-se uma distribuição de probabilidades sobre as palavras.
Uma valor numérico do erro entre os dados de treinamento e a saída da rede é computado e os parâmetros da rede são ajustados de forma a minimizar esse erro.