Embeddings

Computadores trabalham com números. Mas a maior parte das informações com que humanos trabalham — texto, imagens, áudio, categorias, grafos de relacionamento — não é naturalmente numérica. A pergunta "como representar 'gato' de forma que o computador consiga entender que é mais próximo de 'felino' do que de 'automóvel'?" está no coração de muito do que funciona em IA moderna.

Embeddings são representações numéricas densas de dados (texto, imagens, itens, entidades) em espaços vetoriais de alta dimensão, geradas por modelos de ML de tal forma que similaridade semântica no mundo real se traduz em proximidade geométrica no espaço vetorial. Em termos simples: dados com significado similar têm vetores que ficam próximos um do outro.

Essa propriedade transforma o problema de comparar significado em problema de calcular distância — computacionalmente eficiente e matematicamente tratável. Encontrar os 10 documentos mais similares a uma query, recomendar produtos similares ao que o usuário interagiu, detectar duplicatas — todas operações de similaridade semântica, todas viabilizadas por embeddings.

Embeddings não são codificações manuais — são representações aprendidas por modelos de ML treinados em grandes volumes de dados.

Word2Vec (2013) — o início: treina uma rede neural para prever a palavra no meio dado as palavras ao redor (CBOW) ou prever palavras ao redor dada a palavra no meio (Skip-gram). Como efeito colateral do treinamento, a camada de embedding aprende representações onde palavras que aparecem em contextos similares ficam próximas. O resultado famoso: rei − homem + mulher ≈ rainha. Um embedding estático por palavra, independente de contexto.

GloVe, FastText: variações de word embeddings estáticos com diferentes objetivos de treinamento. FastText representa palavras como composição de n-gramas de caracteres, gerenciando melhor palavras raras e morfologia de línguas como o português.

BERT e modelos contextuais: a limitação dos embeddings estáticos é que "banco" (assento) e "banco" (instituição financeira) têm o mesmo vetor. Modelos baseados em Transformer geram embeddings contextuais — o embedding de cada token depende de todo o contexto ao redor. Muito mais ricos semanticamente.

Sentence Transformers / modelos de embedding modernos: treinados especificamente para gerar embeddings de sentenças inteiras (não apenas palavras), usando dados de pares similares e não-similares para treinar que sentenças com mesmo significado fiquem próximas. OpenAI text-embedding-ada-002, text-embedding-3-large, Cohere Embed, modelos open source como BGE, E5, GTE. São os modelos usados em RAG e busca semântica.

O espaço de embedding tem propriedades geométricas que refletem estrutura semântica.

Dimensionalidade: embeddings modernos têm 384 a 4096 dimensões. Mais dimensões = mais capacidade de capturar nuances, mas mais custo de armazenamento e computação. Técnicas de redução de dimensionalidade (PCA, UMAP, t-SNE) comprimem para 2-3 dimensões para visualização — t-SNE e UMAP preservam estrutura de cluster localmente, permitindo visualizar clusters semânticos.

Analogias: a aritmética de vetores de embeddings captura relações semânticas. Rei − Homem + Mulher ≈ Rainha. França − Paris + Berlin ≈ Alemanha. As relações semânticas são codificadas como direções no espaço.

Clusters semânticos: palavras ou documentos do mesmo domínio tendem a se agrupar. Visualizar embeddings de documentos com t-SNE frequentemente revela clusters temáticos sem nenhum label predefinido.

Similaridade: medida pela similaridade do cosseno (ângulo entre vetores) ou distância euclidiana. Cosseno é preferido para embeddings de texto porque normaliza a magnitude (documentos longos e curtos não são penalizados por tamanho).

Embeddings de texto: o tipo mais comum. Representam palavras, frases, parágrafos ou documentos completos. Modelos como OpenAI text-embedding-3 e BGE são treinados para capturar similaridade semântica em linguagem geral; modelos especializados existem para domínios como código (CodeBERT, StarCoder), direito, medicina.

Embeddings de imagem: redes convolucionais e Vision Transformers (ViT) geram embeddings de imagem que capturam conteúdo visual. Imagens de gatos ficam próximas de outras imagens de gatos; fotos de carros ficam próximas de fotos de outros carros. Usados em busca de imagens por similaridade visual, geração de imagens condicionada.

Embeddings multimodais: modelos como CLIP (OpenAI) treinam embeddings de texto e imagem no mesmo espaço — "uma foto de gato" e uma foto de gato têm vetores próximos. Habilita busca cross-modal: encontrar imagens com uma query de texto.

Embeddings de produto / item: treinados em dados de interação (o que usuários compraram juntos, visualizaram juntos, clicaram em sequência). Produtos usados no mesmo contexto ficam próximos. Base de sistemas de recomendação como os do Amazon e Spotify.

Embeddings de usuário: representam preferências de usuário como vetor — combinar os embeddings dos itens com que interagiu. O embedding do usuário fica próximo dos itens que provavelmente vai gostar.

Embeddings de grafo: representam entidades em grafos de conhecimento (pessoas, organizações, relacionamentos) como vetores que capturam a estrutura de conexões. Node2Vec, GraphSAGE, TransE.

RAG e busca semântica: a aplicação mais visível hoje. Query do usuário → embedding → busca no vector database → documentos mais relevantes. Endereça busca por significado, não apenas por palavras-chave.

Sistemas de recomendação: o embedding do item que o usuário acaba de ver → busca por embeddings de itens próximos → recomendações. Amplamente usado em e-commerce, streaming e redes sociais.

Detecção de duplicatas e near-duplicates: dois documentos ou imagens são similares se seus embeddings estão próximos. Deduplicação de conteúdo, detecção de plágio, identificação de produtos duplicados em catálogos.

Clustering sem labels: embeddings de documentos ou produtos → clustering (K-means ou HDBSCAN) → grupos temáticos sem supervisão humana. Descoberta de tópicos em feedback de clientes, segmentação de base de produtos.

Classificação zero-shot: embedding do item + embeddings dos nomes das classes candidatas → classificar pelo embedding de classe mais próximo. Sem dataset de treinamento específico para a classificação.

Visualização de dados de alta dimensão: reduzir embeddings de documentos para 2D com UMAP → visualizar estrutura do corpus. Revela clusters, outliers e relações entre documentos.

A escolha do modelo de embedding afeta significativamente a qualidade da busca ou da similaridade.

Para texto em português: modelos multilinguais como mE5-large, BGE-M3, multilingual-e5 têm performance melhor que modelos puramente anglófonos. O benchmark MTEB (Massive Text Embedding Benchmark) em português é o ponto de referência.

Para domínio especializado: modelos de embedding fine-tuned no domínio (médico, jurídico, financeiro) superam modelos de propósito geral. Se o corpus é muito especializado, fine-tuning de um modelo de embedding pode valer.

Para produção em escala: custo e latência importam. Embeddings com 1536 dimensões custam mais para armazenar e buscar do que embeddings com 384. Modelos menores (BGE-small, MiniLM) são muito mais rápidos e baratos com perda de qualidade aceitável em muitos casos.

Embeddings são a tecnologia fundamental subjacente a RAG, sistemas de recomendação, busca semântica e classificação zero-shot — praticamente toda aplicação de IA que envolve comparar significado em vez de comparar valores. Entender o que são e como funcionam é literacia de IA aplicada, não detalhe técnico de pesquisa.

Para times construindo aplicações com LLMs, o investimento em entender embeddings se paga imediatamente: saber como escolher o modelo de embedding certo para o idioma e domínio, como configurar o vector database adequado, e como avaliar a qualidade da busca semântica são habilidades diretamente aplicáveis na construção de sistemas RAG que funcionam em produção.

O custo de embeddings caiu dramaticamente — gerar embeddings de milhares de documentos via API custa centavos de dólar. A barreira hoje é de conhecimento, não de custo.