Juiz do CNJ alerta para risco de agentes de IA serem manipulados: O uso de inteligência artificial (IA) por advogados e juízes traz um novo desafio para a segurança cibernética no Judiciário brasileiro.

Riscos associados à manipulação de agentes de IA: Agentes de IA, usados para executar tarefas automatizadas, podem ser manipulados por alguém externo para acessar e vazar informações sigilosas de processos ou até senhas e dados pessoais de magistrados e servidores públicos.

O juiz federal George Marmelstein, membro do Comitê Nacional de Inteligência Artificial do Judiciário, alerta sobre essa vulnerabilidade.

A prática conhecida como prompt injection, ou injeção de comandos, consiste em inserir instruções ocultas em conteúdos que serão lidos por uma IA, geralmente imperceptíveis para uma pessoa.

Essa vulnerabilidade existe porque a ferramenta de IA não distingue com segurança se o que está sendo processado é a ordem do juiz ou uma orientação oculta inserida por outra pessoa, como o advogado de uma das partes.