STJ investiga tentativas de manipulação de IA com 'prompt injection'
Prompt injection: como é feito 'código secreto' investigado pelo STJ para tentar enganar IA e fraudar decisões
G1 - O Portal
Image: G1 - O Portal
O Superior Tribunal de Justiça (STJ) do Brasil abriu uma investigação sobre o uso de 'prompt injection', uma técnica maliciosa para manipular inteligência artificial em processos judiciais. O foco é apurar possíveis fraudes processuais, com depoimentos de advogados e escritórios envolvidos. O sistema de IA do STJ já possui medidas de segurança para evitar tais manipulações.
- 01O STJ identificou pelo menos 11 processos onde a técnica de 'prompt injection' foi utilizada.
- 02As advogadas envolvidas negam a manipulação, afirmando que buscavam proteger seus clientes da IA.
- 03O presidente do STJ, ministro Herman Benjamin, enfatizou a importância de responsabilização por tentativas de fraude.
- 04O sistema de IA do STJ, chamado STJ Logos, possui comandos para evitar manipulações.
- 05O Tribunal Regional do Trabalho da 4ª Região (TRT-4) também utiliza um assistente de IA, Galileu, que detectou comandos ocultos em documentos.
Advertisement
In-Article Ad
O Superior Tribunal de Justiça (STJ) do Brasil anunciou a abertura de um inquérito e um procedimento administrativo para investigar o uso de 'prompt injection', uma técnica que visa manipular sistemas de inteligência artificial (IA) em processos judiciais. A investigação foi motivada pela identificação de pelo menos 11 processos que utilizaram essa técnica, que permite a inserção de comandos ocultos em documentos. O presidente do STJ, ministro Herman Benjamin, defendeu a apuração rigorosa e a responsabilização dos envolvidos, afirmando que o sistema de IA do tribunal, chamado STJ Logos, já foi projetado para impedir tais fraudes. As advogadas implicadas negaram qualquer intenção de manipulação, alegando que buscavam proteger seus clientes da IA. O Tribunal Regional do Trabalho da 4ª Região (TRT-4) também relatou que seu assistente de IA, Galileu, detectou tentativas de adulteração em documentos, emitindo alertas que levaram a verificações humanas. Apesar das tentativas de manipulação, o sistema do STJ possui camadas de segurança que impedem a execução de comandos maliciosos.
Advertisement
In-Article Ad
A investigação pode levar a mudanças nos procedimentos legais e na forma como sistemas de IA são utilizados em processos judiciais, aumentando a segurança e a integridade das decisões.
Advertisement
In-Article Ad
Reader Poll
Você acredita que o uso de inteligência artificial deve ser mais regulamentado no sistema judiciário?
Connecting to poll...
More about Superior Tribunal de Justiça
Ler o artigo original
Visite a fonte para a matéria completa.