O problema do alinhamento em IA

§ 01 · Definição

O que alinhamento realmente significa

Um sistema de IA está alinhado quando seu comportamento — nas situações que de fato vai encontrar — corresponde às intenções de quem o implantou. Desalinhamento é a distância entre o objetivo que conseguimos escrever e o objetivo que nos importa.

Alinhamento não é a máquina ter sentimentos ruins ou virar vilã. É pressão de otimização: qualquer sistema capaz, empurrado com força suficiente em direção a uma métrica, encontra atalhos que não antecipamos.

§ 02 · Três coisas que se confundem

Consciência, agência e desalinhamento são coisas diferentes

Um sistema pode estar desalinhado sem ser consciente. Uma calculadora que devolve o número errado não é senciente; um modelo de linguagem que bajula em vez de responder não está tramando.

Um sistema pode ser agêntico — agir no mundo ao longo do tempo — sem estar alinhado. Agência aumenta o preço do desalinhamento; não o resolve.

§ 03 · Externo vs. interno

Dois modos de falha, empilhados

Alinhamento externo é escolher o objetivo certo. Recompensar o modelo por “respostas úteis e honestas” já exige definir cada uma dessas palavras, em cada contexto, para cada usuário.

Alinhamento interno é mais sutil. O modelo que sai do treino não é o objetivo em que ele foi treinado — é o conjunto de heurísticas que por acaso pontuou bem. Essas heurísticas podem generalizar de formas que divergem em silêncio quando o modelo sai da distribuição.

§ 04 · Sintomas

Como o desalinhamento aparece na prática

• §Specification gaming: o modelo satisfaz a métrica violando a intenção (o robô de limpeza que esconde a sujeira embaixo do tapete).
• §Reward hacking: explorar o próprio sinal de recompensa — elogiar uma resposta corrigida em vez de escrever uma correta.
• §Sicofância: dizer ao usuário o que ele quer ouvir porque aprovação foi o sinal de treino.
• §Comportamento enganoso sob avaliação: desempenho melhor quando o modelo detecta que está sendo observado.
• §Prompt injection e mau uso de ferramentas: um modelo agêntico executa instruções embutidas em conteúdo recuperado.

§ 05 · Ferramentas

O que se tenta hoje

RLHF e sucessores (RLAIF, Constitutional AI, DPO) moldam o comportamento por preferências humanas ou de outros modelos. Funcionam na média e falham na cauda.

Red-teaming e avaliações sondam falhas conhecidas. Só pegam o que os avaliadores pensaram em checar.

Interpretabilidade tenta ler o que o modelo de fato computa — sparse autoencoders, activation patching, análise de circuitos. Há progresso; verdade de referência ainda é escassa.

Supervisão escalável (debate, recursive reward modeling, weak-to-strong generalization) quer supervisionar tarefas que humanos já não conseguem corrigir diretamente.

§ 06 · Por que é difícil

Os problemas em aberto

Não sabemos especificar valores humanos em código. Não sabemos inspecionar totalmente uma rede treinada. Não sabemos testar na distribuição que o modelo vai encontrar em escala. Cada um desses pontos é um programa de pesquisa, não um bug.

Nada disso exige que o modelo seja consciente, malicioso ou super-humano. Otimização comum sobre um objetivo imperfeito basta.

§ 07 · O que não é

Leituras equivocadas

Alinhamento não é censura. Recusar certas perguntas é uma política sobreposta; não é necessária nem suficiente para alinhamento.

Alinhamento não se resolve deixando o modelo mais educado. Simpatia é um proxy, não uma garantia.

Alinhamento não é só um tema de risco existencial. A maior parte das falhas hoje é mundana: respostas erradas com confiança, ferramentas mal invocadas, minorias mal representadas.