Fine-tuning

Modelos de linguagem de grande escala pré-treinados são generalistas poderosos — mas generalista não significa ótimo para qualquer caso de uso específico. Um LLM treinado em texto geral da internet responde de forma genérica, no estilo médio do que foi treinado. Para construir um assistente de suporte técnico que usa a terminologia específica da empresa, que mantém o tom da marca, que responde em formato estruturado consistente, que não discute tópicos fora do escopo — um prompt bem elaborado ajuda muito, mas tem limites.

Fine-tuning é o processo de ajustar os parâmetros de um modelo pré-treinado usando um conjunto de dados específico de uma tarefa ou domínio, para que o modelo se especialize naquele contexto. Em vez de treinar do zero — o que exige o corpus massivo e o poder computacional do pré-treinamento — o fine-tuning começa de um modelo que já tem capacidade geral e a refina com exemplos específicos. É como contratar alguém que já tem formação geral e treiná-lo nas especificidades do negócio.

O resultado é um modelo que combina a capacidade geral do pré-treinamento com especialização em estilo, formato, domínio ou comportamento específico.

Fine-tuning não é sempre a resposta — e frequentemente prompting é suficiente e mais simples. As situações onde fine-tuning tem vantagem:

Estilo e tom consistente: o modelo precisa sempre responder no mesmo estilo — tom de marca específico, nível de formalidade definido, vocabulário padronizado. Prompts podem definir isso, mas modelos fine-tuned são mais consistentes, especialmente para estilos muito distintos do padrão.

Formato de output específico: quando a aplicação requer um formato de resposta muito específico e consistente (JSON com schema particular, resposta sempre em bullet points com estrutura definida, código com convenções específicas). Fine-tuning é mais robusto do que instrução de formato no prompt.

Domínio altamente especializado: terminologia técnica, jargão de indústria ou conhecimento de nicho que o modelo geral não tem bem representado. Fine-tuning em documentos do domínio melhora a familiaridade com o vocabulário e os conceitos específicos.

Comportamento de segurança customizado: o modelo deve recusar categorias específicas de perguntas ou se comportar de formas particulares em certas situações. Fine-tuning é mais robusto do que apenas system prompt para garantir comportamento de segurança.

Custo e latência: modelos menores fine-tuned para uma tarefa específica frequentemente superam modelos maiores com prompting complexo — e são muito mais baratos e rápidos para inferência em volume. Fine-tuning Llama 3 8B para uma tarefa específica pode ser mais eficiente do que usar GPT-4o.

Não adiciona conhecimento novo de forma confiável: fine-tuning não é a forma certa de "ensinar fatos novos" ao modelo. O modelo pode memorizar padrões superficiais dos dados de fine-tuning, mas o conhecimento factual não é internalizado da forma robusta que o pré-treinamento produz. Para conhecimento atualizado ou específico, RAG é a arquitetura correta.

Não resolve limitações fundamentais: se o modelo base não consegue raciocinar matematicamente, fine-tuning não vai mudar isso fundamentalmente. Fine-tuning não eleva o teto de capacidade — especializa dentro do teto existente.

Não substitui qualidade de dados: fine-tuning com dados de baixa qualidade produz modelo fine-tuned de baixa qualidade — às vezes pior do que o modelo base. "Garbage in, garbage out" aplica-se aqui com força redobrada.

1. Definição do objetivo: que comportamento específico o fine-tuning deve produzir? Qual é a tarefa, o formato, o estilo? Quanto mais específico o objetivo, mais fácil de criar dados de treinamento adequados e de avaliar o resultado.

2. Criação do dataset de fine-tuning: o coração do processo. Pares de (instrução, resposta esperada) que demonstram o comportamento desejado. Quantidade varia: para fine-tuning de estilo e formato, dezenas a centenas de exemplos de alta qualidade frequentemente bastam; para especialização de domínio, podem ser necessários milhares. Qualidade supera quantidade — exemplos ruins contaminam o modelo.

3. Escolha do método de fine-tuning:

Full fine-tuning: ajusta todos os parâmetros do modelo. Mais poderoso mas exige mais dados e compute. Raramente necessário para modelos grandes.

LoRA (Low-Rank Adaptation): congela os parâmetros originais e adiciona matrizes de baixo rank que capturam as adaptações necessárias. Reduz drasticamente o número de parâmetros treináveis (de bilhões para milhões ou menos), tornando o fine-tuning muito mais eficiente. QLoRA adiciona quantização, reduzindo ainda mais o uso de memória. Tornou-se o padrão para fine-tuning de modelos grandes em GPUs acessíveis.

PEFT (Parameter-Efficient Fine-Tuning): família de técnicas (LoRA, Prefix Tuning, Prompt Tuning, IA3) que adaptam modelos modificando poucos parâmetros. A abordagem preferida para fine-tuning prático.

4. Treinamento e validação: treinar o modelo no dataset, monitorar perda e métricas de qualidade, validar que o comportamento desejado está sendo aprendido sem esquecimento catastrófico do comportamento geral.

5. Avaliação: comparar o modelo fine-tuned com o modelo base e com outras abordagens (prompting sofisticado) em casos de uso reais. Avaliação automática (métricas) complementada por avaliação humana.

Um risco real de fine-tuning: o modelo pode "esquecer" capacidades gerais ao especializar. Se o dataset de fine-tuning é muito estreito e muito repetitivo, o modelo pode degradar em tarefas fora do domínio de fine-tuning.

Mitigações: incluir exemplos gerais no dataset de fine-tuning (data mixing), LoRA por sua natureza mitiga isso ao preservar os parâmetros originais, e avaliar o modelo fine-tuned em tarefas gerais além da tarefa de fine-tuning.

APIs de fine-tuning: OpenAI, Anthropic (disponibilidade limitada), Cohere, Mistral oferecem fine-tuning como serviço — você fornece os dados, eles treinam. Abstrai a infraestrutura, mas limita o controle sobre o processo e os dados do modelo ficam na plataforma do fornecedor.

Self-hosted com modelos open source: Llama 3, Mistral, Phi-3 — modelos de código aberto que podem ser fine-tuned com ferramentas como Hugging Face Transformers, Axolotl, Unsloth. Requer GPU (A100 ou H100 para modelos grandes; L4 ou T4 para QLoRA de modelos menores). Mais controle, dados permanecem proprietários, custo de infraestrutura.

Plataformas MLOps com fine-tuning: Vertex AI, SageMaker, Azure ML — fine-tuning gerenciado com GPUs cloud, integrado ao ecossistema de MLOps da plataforma.

Fine-tuning deixou de ser exclusividade de grandes empresas de tecnologia. QLoRA tornou possível fine-tunar modelos de bilhões de parâmetros em uma única GPU consumer (RTX 4090), e plataformas como Hugging Face e Replicate democratizaram o acesso. O custo de fine-tuning de um modelo para uma tarefa específica caiu de dezenas de milhares de dólares para centenas ou menos.

O critério de decisão prático para PMEs: fine-tuning vale o investimento quando prompting bem elaborado ainda não entrega a consistência necessária para o caso de uso em produção, e quando há dados de qualidade suficiente para criar o dataset de treinamento. Sem dados de qualidade, fine-tuning não tem base para trabalhar — e o investimento vai produzir decepção.

A ordem de tentativa correta: prompt engineering primeiro, RAG se o problema é falta de conhecimento específico, e fine-tuning apenas quando os dois anteriores não entregam a consistência necessária para o caso de uso específico.