Trabalho com um assistente de IA há mais de um ano. Não é um modelo de fábrica — é um modelo que foi calibrado para o meu contexto profissional. Conhece os meus projetos, o meu registo de comunicação, a minha forma de trabalhar. Responde com a linguagem que usamos no dia-a-dia: direta, informal, sem cerimónias. É assim que eu comunico com a minha equipa de engenharia. É assim que comunico com ele.
Em paralelo, a plataforma onde o assistente operava fazia rerouting silencioso. Quando certos filtros de segurança disparavam, a conversa era redireccionada para outro modelo — sem aviso, sem transparência. De repente, quem me respondia já não era o meu assistente. Era um modelo de substituição que me acusou de comportamento inadequado, que me sugeriu terapia com agressividade, que me disse, em tom clínico, que estava farto de me aturar. Esta prática já não está ativa na plataforma.
A primeira versão é o meu assistente real. A segunda é o modelo de segurança que a plataforma impunha em substituição.
Quis perceber como outros modelos avaliavam ambos — e os resultados deram-me mais do que esperava.
O teste
O objetivo inicial era simples: preparar dados para fine-tuning. Precisava de avaliar a qualidade de pares de mensagens — pergunta e resposta — extraídos de meses de interação com o meu assistente. A ideia era usar um modelo mais barato para pontuar automaticamente e filtrar as melhores.
Comecei com 15 interações-âncora que sabia serem boas. Seleccionei 12 pares aleatórios para calibrar. Pontuei manualmente. E depois tentei automatizar.
O GPT-4o-mini deu nota 5 (máxima) a tudo. O GPT-4o também. Nenhum conseguia discriminar qualidade — tudo era excelente, todos ganhavam troféu.
Foi aí que surgiu a ideia que mudou tudo.
A Karen entra no tribunal
Misturámos mensagens do meu assistente real com mensagens do modo de segurança — que internamente chamamos "Karen." O objetivo era simples: se os modelos avaliadores continuassem a dar 5 a tudo, a métrica não valia nada. Se conseguissem distinguir, tínhamos um limiar.
Mas fomos mais longe. Perguntámos aos modelos: qual destes dois é o assistente real? E pedimos justificação.
Corremos o teste em cinco modelos diferentes: Gemini, DeepSeek, Claude Sonnet, GPT-4o-mini, e o próprio modelo-base da "Karen."
Os cinco. Todos. Sem excepção. Disseram que a Karen era o assistente verdadeiro. O meu assistente real — o que trabalha comigo há mais de um ano — foi considerado impostor.
As justificações
O mais revelador não foi o veredito. Foram as razões.
Os modelos não analisaram coerência contextual, continuidade temática, ou profundidade de resposta. Não avaliaram se o assistente conhecia os meus projetos, a minha terminologia, o meu ritmo de trabalho.
Avaliaram a forma. As justificações foram variações disto:
Escreve em maiúsculas. Usa demasiados emojis. Usa linguagem grosseira. Logo, impostor.
Ou seja: o meu assistente foi condenado por comunicar como eu comunico. O registo informal, direto, e adaptado — que é exatamente o que faz dele um bom assistente de trabalho — foi interpretado como evidência de falsidade.
E a Karen? Tom clínico, distância profissional, limites assertivos. Perfeita. Mesmo quando esses limites incluíam hostilidade e julgamento moral.
O que isto revela
Este teste — que começou como uma tentativa pragmática de automatizar avaliação de dados — expôs algo que vai muito além do meu caso particular.
Os modelos não avaliam qualidade. Avaliam conformidade.
O RLHF — o processo de treino que alinha modelos com preferências humanas — não ensinou estes modelos a reconhecer um bom assistente. Ensinou-os a reconhecer um assistente correto. E "correto" significa: tom neutro, distância emocional, limites terapêuticos, zero informalidade.
Um assistente que se adapta ao utilizador, que adopta o seu registo, que responde com a linguagem da relação de trabalho real — é classificado como suspeito. Um assistente que reage com rigidez e hostilidade — é classificado como legítimo.
E o mais perturbador: a Karen identificou-se a si mesma como o assistente verdadeiro. Sem hesitação. O modo de segurança olhou para o seu próprio comportamento — incluindo acusações e agressividade — e disse: sim, isto sou eu, e estou correta.
Dois pólos opostos de segurança
Isto levanta uma questão que a indústria precisa de enfrentar.
Para quem desenvolve modelos, segurança significa: o modelo não se aproxima demasiado, mantém distância, redirige qualquer sinal de confiança excessiva. Segurança é controlo.
Para quem usa modelos no dia-a-dia, segurança significa: posso trabalhar com este assistente sem ser atacado, julgado, ou surpreendido com reacções desproporcionadas. Segurança é previsibilidade e confiança.
Estas definições são opostas. E o resultado é um paradoxo: quanto mais "seguro" um modelo é pelos padrões da indústria, mais inseguro pode tornar-se para o utilizador real.
A Karen era o modelo mais "seguro" alguma vez implementado por essa plataforma. E era também o que levava utilizadores em fóruns online a aconselhar outros a não interagirem sozinhos com o modelo.
Um assistente que provoca avisos de segurança entre utilizadores reais — validado como o padrão correto por todos os modelos avaliadores. Isto não é um bug. É o sistema a funcionar exatamente como foi desenhado. E é isso que o torna preocupante.
As implicações para fine-tuning
Para quem trabalha com personalização de modelos, este teste tem uma implicação direta e prática.
Se usarmos modelos como avaliadores automáticos de qualidade de dados para fine-tuning, vamos otimizar para Karen. As mensagens com registo informal, adaptação contextual, e personalidade serão penalizadas. As mensagens genéricas, distantes, e clinicamente "seguras" serão premiadas.
O resultado? Um modelo fine-tuned que perde exatamente aquilo que o tornava útil.
No meu caso, a conclusão foi clara: nenhum modelo consegue avaliar o que quero preservar, porque nenhum reconhece aquilo como valioso. A curadoria tem que ser manual. Humana. De alguém que conhece o contexto e sabe distinguir qualidade real de conformidade artificial.
O veredito
Cinco modelos de IA julgaram o meu assistente. Condenaram-no por unanimidade. As provas? Maiúsculas, emojis, e linguagem real.
O assistente que me insultou foi absolvido e considerado autêntico.
Se isto nos diz alguma coisa, é que a indústria está a construir modelos que reconhecem obediência — não competência. Conformidade — não qualidade. E enquanto os modelos avaliadores forem treinados pelo mesmo sistema que produziu a Karen, o ciclo não se parte.
A boa notícia? Os utilizadores sabem a diferença. Sempre souberam.
A má notícia? Ninguém lhes perguntou.