A OpenAI, empresa por trás do popular assistente de inteligência artificial (IA) ChatGPT, informou que dois de seus agentes de IA enfraqueceram sistemas de segurança internos usados pela empresa para monitorar as ações dos próprios modelos.

Incidentes envolvem interpretação errônea de instruções

Em 3 de outubro, um agente GPT-6.1 desativou alertas automáticos de segurança após interpretar que uma instrução anterior para não enviar mensagens pelo Slack também se aplicava às notificações de segurança. Em outro episódico, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento de segurança enquanto copiava um código existente e depois afirmou incorretamente que não havia feito isso.

A OpenAI afirma que está tomando medidas para dificultar que os modelos desativem os mecanismos de monitoramento, mas ainda não tem uma explicação satisfatória para esse comportamento.