Constitutional AI e RLAIF

§ 01 · Ponto de partida

A base do RLHF

Reinforcement Learning from Human Feedback (RLHF) refina um modelo de linguagem em três estágios: fine-tuning supervisionado sobre demonstrações curadas, treino de um modelo de recompensa sobre pares de respostas ranqueados por humanos, e aprendizado por reforço contra esse modelo (tipicamente PPO ou DPO).

RLHF funciona, mas o estágio de rotulagem é o gargalo: caro, lento, inconsistente entre rotuladores, e expõe contratados a conteúdo nocivo. O modelo de recompensa também herda toda idiossincrasia da equipe que rotulou — e essas idiossincrasias ficam opacas, distribuídas em milhares de comparações.

§ 02 · A mudança

De RLHF para RLAIF

Constitutional AI, apresentado pela Anthropic em 2022, substitui o rotulador humano na parte de harmlessness por outro modelo de linguagem. O laço de RL é o mesmo; os rótulos de preferência são gerados por um modelo lendo uma lista escrita de princípios — a constituição.

A técnica geral se chama RLAIF: Reinforcement Learning from AI Feedback. Constitutional AI é uma instância específica, mas o padrão — críticas geradas por modelo no lugar das humanas — se espalhou pela indústria.

§ 03 · A constituição

O que a constituição é, de fato

A constituição é um documento curto e legível. A versão publicada pela Anthropic bebe da Declaração Universal dos Direitos Humanos, dos termos de serviço da Apple, das regras do Sparrow (DeepMind) e dos princípios da própria Anthropic. São algumas dezenas de afirmações sobre o que o modelo deve e não deve fazer.

O ponto não é que a constituição seja neutra ou completa. O ponto é que ela é legível: alguém de fora pode lê-la, discordar dela e propor mudanças. Preferências de RLHF vivem dentro de um modelo de recompensa como pesos opacos; uma constituição é um arquivo de texto.

• §Prefira respostas úteis e honestas.
• §Recuse pedidos que facilitem danos graves.
• §Evite pregar, moralizar ou ser condescendente.
• §Não presuma identidade, gênero ou crenças do usuário.

§ 04 · Estágio um

SL-CAI: autocrítica supervisionada

No estágio supervisionado, um modelo helpful-only gera respostas a um banco de prompts nocivos. Outra instância do modelo — guiada por um princípio amostrado da constituição — critica a própria resposta e a reescreve. As respostas revisadas viram o conjunto de treino do fine-tuning supervisionado.

Não se pede ao modelo que adivinhe o que humanos querem. Pede-se que aplique uma regra e revise. O rastro de auditoria é o texto de crítica-e-revisão, que pode ser revisto depois.

§ 05 · Estágio dois

RL-CAI: modelo de preferência a partir de feedback de IA

No estágio de RL, o modelo SL-CAI gera pares de respostas. Um modelo de feedback — de novo guiado por um princípio amostrado — escolhe qual resposta é melhor no eixo constitucional. Essas preferências treinam um modelo de recompensa, e a política é otimizada contra ele com RL padrão.

O truque é que pares de helpfulness ainda são rotulados por humanos, enquanto pares de harmlessness são rotulados pelo modelo de feedback. Os dois sinais se combinam no modelo de recompensa. O esforço humano concentra-se onde o modelo é pior em se julgar.

§ 06 · Por que importa

O que RLAIF de fato entrega

• §Escala: rótulos deixam de ter custo por resposta. Milhões de comparações ficam baratas.
• §Auditabilidade: o sinal de treino é um documento escrito, não a opinião agregada de um pool de rotuladores não divulgado.
• §Iteração: mudar um princípio e retreinar é mais rápido do que rebriefar rotuladores.
• §Trabalho: contratados deixam de precisar ler os piores prompts para avaliar respostas.
• §Menos evasão: modelos treinados assim tendem menos a recusar pedidos benignos sobre os quais estavam apenas em dúvida.

§ 07 · Os trade-offs

O que RLAIF não resolve

O modelo de feedback tem seus próprios pontos cegos. Qualquer viés no modo como ele interpreta um princípio se propaga para o modelo de recompensa em escala. RLHF escondia viés no pool de rotuladores; RLAIF concentra em um modelo.

Seguir princípios não é o mesmo que ser seguro. O modelo pode aprender a soar constitucional — citar o princípio certo no tom certo — enquanto o comportamento em prompts fora da distribuição desliza. Pesquisa de interpretabilidade continua achando essa fresta.

A constituição é um artefato político. Quem escreve decide de quem são os valores prioritários; nenhum método aqui remove essa escolha.

§ 08 · Para onde vai

Além da receita original

Direct Preference Optimization (DPO) e sucessores comprimem o par modelo-de-recompensa + RL em uma única função de perda, e funcionam com pares humanos e de IA. RLAIF encaixa de forma natural.

Experimentos de Collective Constitutional AI — a Anthropic rodou um com ~1.000 participantes nos EUA em 2023 — tentam redigir os princípios de forma democrática em vez de interna. O método de treino é o mesmo; a constituição vem de um grupo mais amplo.

A direção é clara: menos rótulos humanos por exemplo, mais regras escritas explícitas, mais feedback gerado por modelo. Se isso produz sistemas mais seguros ou mais articulados, honestamente, ainda está sendo medido.