Como Funcionam os Tokens?

Se você já usou o ChatGPT ou qualquer outra ferramenta de inteligência artificial que entende e gera texto, provavelmente já ouviu falar em “tokens” e “tokenizadores”. Mas o que exatamente são esses termos e por que eles são tão importantes? Neste artigo, vamos explorar de maneira simples e direta o que são tokens, como funcionam os tokenizadores e como você pode estimar quantos tokens um texto possui. Vamos lá!

O que é um Token?

De maneira simples, podemos dizer que um token é uma unidade básica de texto que um modelo de linguagem consegue “enxergar”. Dependendo da técnica de tokenização utilizada, um token pode representar:

• Uma palavra completa.
• Parte de uma palavra.
• Um símbolo ou pontuação isolado.
• Um sub-palavra, como prefixos, sufixos e raízes, no caso de tokenizações mais avançadas.

Ou seja, tokens são como “peças de Lego” , que, ao serem combinadas, formam sentenças e textos completos. Para um computador, trabalhar com tokens é muito mais simples do que tentar interpretar o texto em sua forma original, já que a tokenização reduz a complexidade da linguagem humana em blocos menores e mais previsíveis.

Para uma pessoa lendo um texto, as fronteiras entre as palavras são claras. Entretanto, para um computador, a linguagem escrita é apenas um amontoado de caracteres. Os tokens surgem como uma camada intermediária entre a sequência bruta de caracteres e a escrita, ajudando o computador a entender linguagem estruturada.

Por que Tokens São Importantes?

Tokens são importantes porque são a maneira pela qual os modelos de linguagem interpretam o texto. Pense nisso como traduzir uma língua para outra: os tokens são as palavras ou partes de palavras que a máquina usa para entender o que está sendo dito e responder de forma coerente.

Aqui estão alguns motivos pelos quais os tokens são tão importantes:

1. Facilitam a Compreensão: Dividir o texto em tokens torna mais fácil para o modelo analisar e entender o que está sendo dito.
2. Ajudam na Flexibilidade: Mesmo que o modelo encontre uma palavra nova ou rara, ele pode decompor essa palavra em tokens menores que já conhece.
3. Melhoram a Eficiência: Trabalhar com tokens menores permite que o modelo processe mais rapidamente e com menos recursos.

Em resumo, os tokens são a unidade de análise mais conveniente para que os algoritmos de IA funcionem de maneira eficaz, robusta e escalável.

O Que é um Tokenizador?

Um tokenizador é a ferramenta que faz a divisão do texto em tokens. Pense nele como uma máquina que corta o texto em pedaços menores para que o modelo de linguagem possa trabalhar com eles.

Um tokenizador simples pode apenas dividir o texto nos espaços em branco, mas isso não é suficiente em muitos casos. Por exemplo, considere a palavra “água”. Em português, tratamos “água” como uma única unidade. Mas, para alguns tokenizadores, pode ser interessante separá-la em subunidades, como “á” + “gua”, dependendo do vocabulário que o modelo utiliza.

Por isso, existem diferentes tipos de tokenizadores, com estratégias e complexidades variadas.

Tipos de Tokenização

1. Tokenização por espaços em branco:
   A abordagem mais simples, que consiste em dividir o texto sempre que há um espaço. Por exemplo, a frase “O cachorro correu rápido.” seria dividida em [“O”, “cachorro”, “correu”, “rápido.”]. Embora seja simples, esta técnica não é muito robusta porque não lida bem com pontuações e não tem capacidade de dividir palavras complexas em subpartes significativas.
2. Tokenização baseada em pontuação e espaços (Word-level tokenization):
   Mais refinada que a anterior, essa abordagem também separa pontuações como tokens isolados. Por exemplo, “O cachorro correu rápido.” poderia ser tokenizado em [“O”, “cachorro”, “correu”, “rápido”, “.”]. Esta técnica já é melhor, mas ainda não lida bem com palavras novas ou morfologias complexas.
3. Tokenização por subpalavra (Subword tokenization):
   Modelos avançados, como o BERT e o GPT, muitas vezes usam técnicas de tokenização mais sofisticadas, como o Byte-Pair Encoding (BPE), WordPiece ou SentencePiece. Esses algoritmos aprendem, a partir de um grande corpus de texto, quais são as subpalavras mais frequentes e constroem um vocabulário de “peças” menores do que uma palavra completa, mas maiores do que um caractere individual. Por exemplo, a palavra “desorganizado” pode ser dividida em subpalavras como “des”, “organ”, “izado”. Isso permite que o modelo entenda partes de palavras raras e generalize melhor.
4. Tokenização por caracteres:
   Em casos extremos, é possível tokenizar texto caractere a caractere. Embora isso garanta que qualquer palavra possa ser representada, o vocabulário fica muito simples (apenas algumas letras, acentos e pontuações), tornando o aprendizado mais demorado. Contudo, para idiomas muito complexos, essa é uma estratégia viável.
5. Tokenização por n-gramas:
   Outra possibilidade é representar o texto por sequências de n caracteres ou n palavras. Esse método pode capturar contextos mais longos, mas tende a gerar vocabulários enormes e redundantes.

No contexto atual, a tendência é o uso de tokenizadores subpalavra como o BPE, que equilibra bem a diversidade do vocabulário com a capacidade de lidar com palavras desconhecidas.

Como Funciona o BPE (Byte-Pair Encoding)?

Agora, vamos falar sobre um método específico de tokenização chamado BPE (Byte-Pair Encoding). Pode parecer complicado, mas vamos simplificar!

Byte-Pair Encoding (BPE) é uma técnica usada para dividir palavras em tokens menores de maneira inteligente, baseada na frequência das combinações de letras. Pense no BPE como uma maneira de descobrir quais pedaços de palavras aparecem com mais frequência e usá-los como blocos de construção.

Passo a Passo Simplificado do BPE:

1. Começo com Caracteres Individuais: Imagine que começamos com cada letra como um token separado. Por exemplo, a palavra “cachorro” seria inicialmente dividida em [‘c’, ‘a’, ‘c’, ‘h’, ‘o’, ‘r’, ‘r’, ‘o’].
2. Identificar Pares Frequentes: O BPE analisa o texto inteiro e encontra quais pares de letras aparecem juntos com mais frequência. Por exemplo, se “ch” aparece muitas vezes em diferentes palavras, esse par será escolhido.
3. Unir os Pares Frequentes: O par mais frequente, como “ch”, é unido em um único token. Agora, “cachorro” seria [‘c’, ‘ach’, ‘o’, ‘r’, ‘r’, ‘o’].
4. Repetir o Processo: O BPE repete esse processo várias vezes, unindo os pares mais frequentes a cada etapa. Assim, partes comuns das palavras se tornam tokens únicos. Com o tempo, palavras inteiras ou partes significativas delas podem se tornar um único token.

Por Que o BPE é Útil?

• Eficiência: Ao unir pares de letras comuns, o BPE cria tokens que representam partes significativas das palavras, tornando a tokenização mais eficiente.
• Flexibilidade: Mesmo que uma palavra nova apareça, o modelo pode decompor essa palavra em tokens menores que já conhece, garantindo que ela possa ser entendida.
• Economia de Espaço: Reduz a quantidade de tokens necessários para representar o texto, ajudando a economizar recursos computacionais.

Exemplo Prático do BPE:

Vamos ver como o BPE funcionaria com a palavra “correndo”:

1. Inicialmente: [‘c’, ‘o’, ‘r’, ‘r’, ‘e’, ‘n’, ‘d’, ‘o’]
2. Primeira União (suponha que “rr” é frequente): [‘c’, ‘o’, ‘rr’, ‘e’, ‘n’, ‘d’, ‘o’]
3. Segunda União (suponha que “corr” é frequente): [‘corr’, ‘e’, ‘n’, ‘d’, ‘o’]
4. Resultado Final: [“corr”, “endo”]

Assim, “correndo” é dividido em [“corr”, “endo”], tornando mais fácil para o modelo entender e processar.

Por que os Modelos de Linguagem Preferem Subtokens?

Modelos de linguagem avançados, como o GPT, lidam com uma enorme variedade de texto: de tweets a artigos científicos, de poesia a linguagem jurídica. Essa diversidade torna praticamente impossível ter um vocabulário fixo de palavras inteiras que cubra todas as possibilidades. Sempre haverá palavras novas, raras ou até mesmo erradas que o modelo nunca viu durante o treinamento.

A abordagem por subpalavras garante que, mesmo que o modelo não conheça uma palavra inteira, ele possa analisá-la em partes menores que conhece, facilitando a compreensão contextual. Além disso, o vocabulário subpalavra é muito mais compacto do que um vocabulário baseado em todas as palavras possíveis, aumentando a eficiência do treinamento e da inferência.

Tokens e Modelos de Linguagem

Agora que entendemos o que são tokens e tokenizadores, é importante destacar a relação íntima entre eles e os modelos de linguagem. Ao treinarmos um modelo como o GPT, primeiro definimos um vocabulário de tokens (obtido via tokenizador), e então o modelo aprende probabilidades condicionais entre sequências de tokens.

Em vez de prever diretamente qual será a próxima palavra, o modelo prevê qual será o próximo token. Isso significa que todo o raciocínio do modelo, todo o aprendizado de padrões linguísticos, depende desses tokens. Alterar o tokenizador significa modificar toda a base do modelo, por isso, geralmente o tokenizador é definido antes do treinamento e raramente é alterado posteriormente.

Isso também afeta a contagem de tokens na hora de processar um texto. Por exemplo, a mesma frase pode gerar quantidades diferentes de tokens dependendo do tokenizador utilizado. Alguns tokenizadores podem gerar 10 tokens para uma frase; outros, 15 tokens para a mesma frase. Essa variação é natural, pois cada tokenizador possui um vocabulário e um método de segmentação próprios.

Como Estimar a Quantidade de Tokens em um Texto?

Uma das questões práticas mais frequentes, sobretudo ao trabalhar com APIs de modelos de linguagem, é: Como saber quantos tokens meu texto vai ter? Isso é importante se você está pagando por token processado (o que é a prática mais comum da indústria), ou se existe um limite máximo de tokens que o modelo pode aceitar.

Infelizmente, não há uma fórmula simples e exata para converter diretamente o número de caracteres ou palavras em número de tokens, porque tudo depende do tokenizador específico utilizado. Entretanto, há algumas estratégias e estimativas possíveis.

1. Uso de Ferramentas Oficiais

Muitas empresas que fornecem APIs de modelos de linguagem também fornecem ferramentas para contagem de tokens. Por exemplo, a OpenAI (criadora do GPT) disponibiliza, em suas bibliotecas de cliente, métodos para calcular o número de tokens dado um texto de entrada. Caso você utilize diretamente a API, é recomendável usar essas funções, pois elas levam em conta o vocabulário e o tokenizador do modelo específico.

2. Ferramentas de Linha de Comando ou Bibliotecas de Código Aberto

Existem bibliotecas open source que implementam tokenizadores compatíveis com modelos populares. Por exemplo, a biblioteca “tiktoken” da OpenAI permite tokenizar texto localmente, usando o mesmo conjunto de regras e vocabulário do GPT. Assim, você pode rodar o texto pelo tokenizador antes mesmo de enviá-lo para a API, obtendo a contagem exata de tokens.

Outras bibliotecas, como “transformers” do Hugging Face, também oferecem tokenizadores para diversos modelos. Ao usar transformers, por exemplo, você pode instanciar um tokenizador para o modelo desejado e então chamar um método de tokenização no seu texto, obtendo a contagem de tokens resultante.

3. Estimativas

Caso você não tenha acesso ao tokenizador exato do modelo, pode tentar algumas heurísticas. Por exemplo, no GPT-4o (outro modelo da OpenAI), é comum que cada 4 caracteres (incluindo espaços e pontuação) correspondam, em média, a 1 token. Essa é uma aproximação grosseira, mas pode dar uma ideia inicial.

A heurística pode variar conforme o idioma e o tipo de texto. Em textos muito técnicos ou com muitas palavras compostas, a relação caracteres/token pode ser diferente. Por isso, essas estimativas servem apenas como orientação preliminar.

4. Teste com Amostras Pequenas

Outra forma empírica de estimar o número de tokens é pegar um pequeno trecho do seu texto, rodá-lo pelo tokenizador do modelo (caso você tenha acesso), ver quantos tokens foram gerados, e então extrapolar proporcionalmente para o tamanho total do texto. Essa estratégia funciona bem se o seu texto for relativamente homogêneo em estilo, vocabulário e complexidade.

5. Conversão Indireta

Se você conhece o vocabulário e as regras do tokenizador (por exemplo, usando BPE), é teoricamente possível estimar a quantidade de tokens contando quantos caracteres e quais combinações de caracteres aparecem. Porém, este método é muito trabalhoso e raramente é prático. É mais fácil usar as ferramentas prontas.

Dicas para Trabalhar com Tokens

1. Use as ferramentas oficiais: Se você estiver usando um modelo de linguagem com uma API própria, procure por funções ou endpoints que forneçam a contagem de tokens. Assim, você garante compatibilidade e precisão.
2. Mantenha o texto limpo: Espaços desnecessários, caracteres estranhos ou sequências repetitivas podem aumentar o número de tokens. Revisar seu texto antes de enviá-lo ao modelo pode economizar recursos.
3. Entenda o vocabulário do modelo: Se você estiver usando um modelo específico, como o GPT-4, tente entender como a tokenização dele funciona. Assim, você terá mais controle sobre a contagem de tokens.
4. Teste trechos pequenos: Antes de processar textos enormes, teste trechos menores para verificar a quantidade média de tokens. Isso ajuda a planejar melhor o uso do modelo e evitar surpresas.

Tokens e Diversos Idiomas

A contagem de tokens também pode variar dependendo do idioma. Idiomas com palavras mais longas ou com muitas contrações podem ter uma distribuição diferente de tokens. Por exemplo, o alemão costuma ter palavras compostas muito extensas, o que pode resultar em mais tokens por palavra. Já o chinês, que não possui separação clara entre palavras, pode gerar mais tokens se o vocabulário não for otimizado para lidar com ideogramas.

Portanto, se você estiver trabalhando com múltiplos idiomas, é importante testar a contagem de tokens em cada um deles, pois não há uma “tabela de conversão” direta.

O Futuro da Tokenização

A tokenização tem avançado rapidamente. Modelos mais recentes estão explorando tokenizações baseadas em caracteres Unicode, bytes e até mesmo abordagens totalmente aprendidas pelo modelo. O objetivo é reduzir cada vez mais a dependência de vocabulários pré-definidos.

Além disso, há pesquisas em andamento sobre métodos de tokenização dinâmicos, onde o modelo pode adaptar seu vocabulário conforme recebe entrada, permitindo maior flexibilidade. Contudo, por enquanto, a abordagem predominante continua sendo o uso de subpalavras aprendidas off-line antes do treinamento do modelo principal.

Resumo do Processo de Tokenização

Para consolidar o que vimos:

1. Texto original: Você começa com uma sequência de caracteres.
2. Tokenizador: Essa ferramenta aplica um conjunto de regras ou um modelo de subpalavras (como o BPE) para dividir o texto em tokens.
3. Vocabulário: O tokenizador se baseia em um vocabulário pré-definido de tokens (subpalavras). Cada token corresponde a um ID inteiro.
4. Modelo de linguagem: O texto tokenizado é enviado para o modelo como IDs numéricos. O modelo aprende padrões estatísticos sobre as sequências de tokens e pode prever o próximo token ou gerar texto.

Conclusão

Tokens e tokenizadores são o coração do processamento de linguagem natural moderno. Eles permitem que modelos de linguagem entendam e gerem texto de maneira coerente e eficaz. Ao dividir o texto em unidades menores e padronizadas, torna-se possível analisar a linguagem humana de forma estrutural e sistemática.

Compreender como os tokens funcionam, conhecer os principais métodos de tokenização e saber como estimar o número de tokens em um texto pode fazer toda a diferença ao trabalhar com modelos de linguagem, seja para planejar custos, ajustar o tamanho do contexto ou simplesmente entender a mecânica por trás dessas ferramentas.

Portanto, da próxima vez que você estiver interagindo com um modelo de linguagem, lembre-se: por trás de cada frase bem-formada que a máquina produz, há um processo complexo e bem estruturado de tokenização, que traduz o nosso idioma para uma linguagem compreensível pelas redes neurais, possibilitando a magia do ChatGPT.