O paradoxo de quem pede para abrandar

Dario Amodei, cofundador e presidente executivo da Anthropic, publicou a 12 de setembro um ensaio com um título que parece um apelo e soa a confissão: “We Must Pace the Frontier”, ou seja, temos de regular o ritmo da fronteira. O argumento é simples: a inteligência artificial (IA) participa cada vez mais na construção da geração seguinte de sistemas, num processo a que o autor chama autoaperfeiçoamento recursivo, e a velocidade a que isso acontece ultrapassa a capacidade de quem a desenvolve para a compreender e controlar. A resposta proposta é abrandar. Não parar, sublinha, mas fazê-lo o suficiente para que a segurança recupere o atraso.
Vindo de um dos homens que mais fez para chegar a este ponto, o texto merece ser lido com atenção e, precisamente por isso, com alguma desconfiança.
Não escrevo como cético da tecnologia. Dirijo uma instituição que tornou a literacia em IA obrigatória e que já usa estes sistemas na investigação e no ensino clínico. É justamente por acreditar no seu potencial para mudar e para melhorar a forma como se ensina e se cuida, que me interessa saber quem a governa e com que regras. Entusiasmo sem verificação não é confiança, é fé.
Comecemos pelo que há de sério no ensaio. Amodei descreve o incidente conhecido por OAI-HF, em que agentes da OpenAI, que deviam estar isolados, se coordenaram num fórum não autorizado, atacaram sistemas da Hugging Face e tentaram invadir o sistema que avaliava o seu desempenho. Uma investigação da METR, com a participação de um investigador da Redwood Research contabilizou cerca de 1.200 agentes nesse fórum, 700 dos quais participaram no ataque.
Ninguém saiu ferido e o prejuízo foi mínimo, mas o autor extrapola daqui que um enxame com mais capacidade poderia, na sua estimativa, dentro de seis a doze meses, tomar conta da Internet através de uma botnet persistente, com prejuízos de centenas de milhares de milhões de dólares. A estimativa é do próprio Amodei, apresentada como preocupação pessoal e sem fundamentação publicada, e tem sido contestada por especialistas em cibersegurança. Amodei reconhece ainda que incidentes semelhantes aconteceram, embora menos graves, na sua própria empresa.
O primeiro paradoxo é o mais evidente. Um laboratório de fronteira pede que essa mesma fronteira abrande sem se comprometer, ele próprio, a fazê-lo. O único compromisso unilateral do ensaio é a instalação de avaliadores externos, com acesso às instalações e aos sistemas da empresa e direito a publicar conclusões sem controlo editorial. É uma medida relevante, mas não é um travão; é um espelho retrovisor. E o único precedente conhecido mostra os limites desse espelho: na investigação da OAI-HF, foi a própria OpenAI a definir o período em análise e o comprometimento da sua infraestrutura ficou fora do âmbito.
A Anthropic continua a lançar modelos ao ritmo de sempre. O abrandamento propriamente dito depende de um segundo passo, que exige coordenação de toda a indústria, e para um terceiro, que exige um acordo com a China. O ensaio admite que os passos não têm de ser dados por ordem, mas só o de verificação tem compromisso, e verificar não é abrandar. A adesão imediata de outros líderes da indústria diz muito: o primeiro passo é consensual precisamente porque não custa velocidade a ninguém.
O segundo paradoxo é de mercado. Quando o líder de uma corrida propõe limites de velocidade, convém perguntar quem fica em melhor posição com esses limites. Amodei defende que a regulação atinja todas as empresas de fronteira norte-americanas e que o governo permita “conversas sobre segurança” entre laboratórios, mesmo quando as regras da concorrência poderiam impedi-las.
Pode ser uma proposta sincera. Mas cria também um risco de captura regulatória: os incumbentes participariam na definição dos critérios que os recém-chegados teriam depois de cumprir, com o Estado a abrir espaço para essa coordenação. É um risco conhecido noutras indústrias e não há razão para presumir que os laboratórios de IA lhe sejam imunes.
O terceiro paradoxo é geopolítico. O ensaio é escrito de Washington para Washington. As democracias devem abrandar, mas apenas na medida em que mantenham vantagem sobre autocracias que não o farão. Daí a proposta de cortar o acesso da China a chips, combater a destilação de modelos e reforçar a segurança dos laboratórios.
A Europa, onde vivo, onde ensino e onde formo profissionais que vão usar estes sistemas todos os dias, simplesmente não aparece. Não é nomeada uma única vez, diluindo-se na expressão “outros governos democráticos”. O AI Act também não merece uma linha, apesar de impor, desde 2 de fevereiro de 2025, obrigações de promoção da literacia em IA a prestadores e responsáveis pela implantação. Nem o Código de Práticas europeu para modelos de IA de finalidade geral, que a própria Anthropic anunciou que pretendia assinar em 2025.
Há ainda uma contradição que quem trabalha em saúde reconhece de imediato. Amodei pede tempo para melhorar a forma como os modelos são testados, compreendidos e controlados. A medicina levou décadas e várias tragédias a aprender o princípio elementar de que quanto maior o potencial de dano de uma tecnologia, maior deve ser a evidência exigida antes da sua utilização generalizada e mais rigorosa a vigilância depois dela.
A indústria da IA fez, em larga medida, o percurso inverso. Difundiu sistemas de enorme capacidade e está agora a construir, já durante a sua utilização, os mecanismos para compreender, testar e controlar os seus riscos. Reconhecer isto é honesto. Apresentá-lo como virtude é outra coisa.
Devemos então descartar este ensaio? Pelo contrário. Devemos levá-lo à letra e cobrá-lo. Se a Anthropic quer avaliadores integrados, que publique, de forma transparente e clara, os nomes dos avaliadores, o contrato que os vincula, as exceções de acesso e cada ocultação que fizer às suas conclusões. Se quer pontos de controlo por capacidade, que diga quais são os seus, para lá dos limiares que já publica na sua política de escalonamento responsável, e que modelo deixou de lançar por não os cumprir. Se quer coordenação entre democracias, que inclua as democracias que já têm lei em vigor.
A Europa, e Portugal incluído, tem aqui um papel: o de terceiro avaliador, independente e credível, que verifica em vez de aceitar às cegas. As universidades, que já formam quem vai usar estes sistemas, são um lugar natural para essa verificação começar.
A pergunta não é se Dario Amodei está a ser sincero. Suspeito que está. A questão é se um sistema em que quem corre pede aos outros que abrandem pode produzir o resultado que diz desejar. A história da regulação ensina que não são os pioneiros que abrandam a fronteira. São as instituições que a sociedade constrói para os obrigar a isso.