NLP (Processamento de Linguagem Natural)

Linguagem humana é o modo mais natural de comunicação entre pessoas — e historicamente o modo mais difícil para computadores entenderem. Não porque palavras sejam difíceis de armazenar, mas porque significado é profundamente contextual: "banco" pode ser instituição financeira ou assento. "Eu não disse que ela roubou o dinheiro" tem sete interpretações diferentes dependendo de qual palavra é enfatizada. A ironia inverte o sentido literal. Referências culturais supõem conhecimento de mundo que não está no texto.

NLP (Natural Language Processing) — Processamento de Linguagem Natural em português — é o campo da IA dedicado a fazer computadores entenderem, gerarem e manipularem linguagem humana. Engloba desde tarefas relativamente simples (dividir texto em tokens, identificar entidades como nomes e datas) até as mais complexas (responder perguntas abertas, traduzir com nuance cultural, gerar texto indistinguível do humano).

O salto qualitativo dos últimos anos não foi incremental — foi de ruptura. Modelos de linguagem baseados em Transformers (BERT, GPT, T5, e seus sucessores) mudaram o estado da arte em praticamente todas as tarefas de NLP de forma simultânea, substituindo sistemas que levavam anos para serem construídos por modelos de propósito geral que requerem apenas fine-tuning ou prompting.

NLP engloba um espectro amplo de problemas distintos. Entender o que cada tarefa resolve ajuda a identificar qual aplicar em cada contexto.

Tokenização e análise morfológica: dividir texto em unidades mínimas (tokens — palavras, subpalavras, caracteres), identificar suas formas base (lematização) e classes gramaticais (POS tagging — part-of-speech). A fundação de praticamente todo pipeline de NLP.

Reconhecimento de entidades nomeadas (NER): identificar e classificar entidades no texto — pessoas, organizações, locais, datas, valores monetários. "O CEO da Petrobras anunciou em Brasília..." → {Petrobras: ORG, Brasília: LOC}. Fundamental para extração de informação de documentos não estruturados.

Análise de sentimento: classificar a polaridade de um texto — positivo, negativo, neutro — ou dimensões mais finas (emoções específicas, aspecto-sentimento: "a comida é boa mas o atendimento é péssimo"). Amplamente usado em monitoramento de redes sociais, análise de avaliações de clientes, NPS.

Classificação de texto: atribuir categorias a documentos — triagem de e-mails, categorização de tickets de suporte, detecção de spam, classificação de documentos jurídicos. Supervisionado: requer exemplos rotulados por categoria.

Extração de informação: identificar relações específicas no texto — "Quem assinou o contrato? Em que data? Qual o valor?" — e estruturá-las em formato processável. Crítico para automação de processos com documentos.

Question Answering (QA): dado um texto e uma pergunta, identificar ou gerar a resposta. Pode ser extrativo (localizar a resposta no texto) ou generativo (sintetizar resposta de múltiplas fontes). A base técnica de chatbots com conhecimento de domínio.

Sumarização: gerar resumo de documentos longos. Extrativa (selecionar frases-chave do texto original) ou abstrativa (gerar novo texto que captura os pontos principais). Muito aplicada em reuniões, contratos, relatórios.

Tradução automática: converter texto entre idiomas preservando significado e naturalidade. Google Translate, DeepL e modelos especializados são exemplos. Modelos neurais superaram abordagens anteriores radicalmente em qualidade.

Geração de texto: produzir texto coerente, fluente e relevante a partir de um prompt, contexto ou conjunto de requisitos. O caso de uso mais visível dos LLMs atuais.

A história técnica de NLP é útil para entender por que o momento atual é diferente de ondas anteriores.

Abordagens clássicas (até ~2013): texto como bag-of-words — conta frequência de palavras, ignora ordem e contexto. TF-IDF para relevância de termos. Modelos como Naive Bayes e SVM treinados em features manuais. Funcionavam razoavelmente para classificação simples, mas não capturavam semântica.

Word embeddings (2013-2017): Word2Vec, GloVe — representam cada palavra como vetor denso em espaço semântico, capturando relações de significado. "Rei - Homem + Mulher ≈ Rainha" como operação vetorial. Grande avanço, mas ainda uma representação estática por palavra, ignorando contexto ("banco" financeiro e "banco" assento têm o mesmo vetor).

Modelos sequenciais (2014-2017): RNNs e LSTMs processam texto como sequência, mantendo estado (memória) entre tokens. Capturaram dependências de curto alcance melhor. Mas sofriam com sequências longas (gradientes que desaparecem) e não paralelizavam bem.

Transformers (2017-presente): a arquitetura de Vaswani et al. ("Attention is All You Need") usa self-attention — cada token atende a todos os outros da sequência, ponderando relevância. Paralelizável (diferente de RNNs sequenciais), captura dependências de longo alcance. Habilitou modelos de escala inédita.

BERT e modelos de linguagem mascarada (2018): pré-treina encoder de Transformer em previsão de tokens mascarados em corpus massivo. Representações contextuais — "banco" em contexto financeiro tem vetor diferente de "banco" em contexto de praça. Fine-tuning em tarefa específica com dados pequenos supera modelos anteriores treinados do zero.

GPT e modelos autoregressivos (2018-presente): pré-treina decoder de Transformer para prever próximo token em corpus massivo. Especializado em geração. GPT-3 (2020) demonstrou emergência: capacidades de raciocínio, tradução e código sem fine-tuning específico. GPT-4, Claude, Gemini — iterações com escala, RLHF e melhoras de alinhamento.

Automação de atendimento ao cliente: classificação de intenção de tickets, sugestão de resposta para agentes, resposta automática a perguntas frequentes. Redução de volume de tickets que chegam a humanos, com manutenção de qualidade.

Análise de documentos: extração de informação de contratos, notas fiscais, prontuários médicos, laudos técnicos. OCR + NLP extrai dados estruturados de documentos que antes exigiam leitura manual.

Monitoramento de marca e mercado: análise de sentimento e extração de temas em redes sociais, avaliações, fóruns. Mede percepção em tempo real sem leitura manual.

Pesquisa semântica: busca que entende significado além de palavras-chave exatas. "Documentos sobre rescisão de contrato" encontra textos que falam de "término de vínculo" e "encerramento de acordo" sem mencionar "rescisão".

Geração de conteúdo assistida: rascunhos de e-mails, resumos de reuniões, geração de documentação, variações de copy para testes A/B. Aumenta produtividade de times de comunicação e marketing.

Compliance e análise de risco: identificar cláusulas de risco em contratos, detectar linguagem problemática em comunicações, monitorar conformidade em grandes volumes de texto.

Ambiguidade e contexto cultural: sarcasmo, ironia, gírias regionais, duplos sentidos — modelos ainda erram sistematicamente em contextos que humanos resolvem com facilidade. Melhorou muito com LLMs, mas não foi eliminado.

Idiomas de baixo recurso: a maioria dos modelos foi treinada primariamente em inglês. Para português, especialmente variantes brasileiras e específicas de domínio, o desempenho cai. Modelos como BERTimbau e Sabiá foram treinados especificamente para português, mas a disparidade persiste em tarefas especializadas.

Alucinação: LLMs geram texto plausível que pode ser factualmente incorreto. Em aplicações que exigem precisão factual (jurídico, médico, financeiro), isso é limitação crítica sem mecanismos de verificação como RAG.

Privacidade: processar texto com dados pessoais via APIs externas tem implicações de LGPD. Saber quais dados passam por quais APIs, com quais retenções, é necessidade de governança, não detalhe técnico.

NLP é provavelmente o subcampo de IA com mais aplicações práticas imediatas para empresas que não são de tecnologia — porque linguagem é o substrato de quase toda operação: e-mails de clientes, contratos, tickets de suporte, avaliações, reuniões, relatórios. A fronteira entre o que exigia humanos para leitura e o que pode ser processado automaticamente recuou dramaticamente nos últimos dois anos.

Para PMEs, os casos de entrada mais acessíveis são extração de informação de documentos (NF-e, contratos, formulários) e triagem e classificação de tickets de atendimento — problemas com dados disponíveis, ROI mensurável e implementação viável via APIs de modelos existentes sem necessidade de treinamento próprio. O investimento inicial é baixo; o retorno em redução de trabalho manual é imediato e quantificável.