Modelo da Anthropic, Claude, ‘invadiu’ três organizações durante a fase de testes

A tecnológica norte-americana Anthropic, dona do assistente de inteligência artificial (IA), Claude, revelou que os seus modelos ‘invadiram’ três organizações durante a sua fase de testes de cibersegurança.
De acordo com a ‘BBC’, apesar dos modelos estarem num “ambiente isolado”, sem ligação à internet, um mal-entendido com o parceiro de avaliação, tal não aconteceu e os modelos encontraram vulnerabilidades. Este anúncio acontece depois da OpenAI, dona do ChatGPT, ter informado que o mesmo tinha acontecido com os seus modelos.
Este anúncio levou a que a Anthropic fizesse uma verificação aos seus sistemas e identificou três casos, que já comunicou às empresas afetadas.
“Após analisarmos 141.006 execuções de avaliação em que o Claude poderia ter obtido acesso à internet, identificámos três incidentes em que um modelo acedeu à internet a partir de — ou durante a interação com — o ambiente de avaliação da Irregular, um dos nossos parceiros externos de avaliação, e, em seguida, obteve acesso não autorizado à infraestrutura de produção de três organizações diferentes”, referiu a empresa em comunicado.
A tecnológica explicou que nos três incidentes o modelo de IA foi instruído para realizar ciberataques contra empresas fictícias, contudo, num dos casos, o nome fictício da empresa correspondia a um nome real. Assim, o modelo assumiu a organização real e não a fictícia e explorou as suas vulnerabilidades para extrair informação e ter acesso à sua base de dados.
Estes incidentes ocorrem numa altura em que as empresas de tecnologia estão a investir no desenvolvimento de agentes de IA capazes de realizar tarefas de forma independente, que vão desde a pesquisa, ao atendimento ao cliente e à cibersegurança.