Justiça de Goiás enfrenta primeira tentativa de manipulação de IA em processo judicial

A Justiça goiana foi vítima de uma tentativa recente de fraude dentro de um processo judicial que tramita no Tribunal de Justiça de Goiás (TJGO). As travas de segurança da inteligência artificial do TJGO identificaram comandos ocultos, chamados de ‘prompt injection‘, que buscavam direcionar a análise dos argumentos apresentados na peça processual.

A técnica utilizada no processo, os prompt injections, consistem na inserção de instruções ocultas em documentos, textos ou arquivos analisados por sistema de Inteligência Artificial. Imperceptíveis aos olhos humanos, os comandos são escondidos através da formatação do texto em cor semelhante ao fundo da imagem ou com a redução do tamanho da fonte que sequer aparece para quem vê. No entanto, como as IAs não ‘leem com os olhos’, o sistema pode coleta a informação e pode ter a resposta influenciada ou com priorizações específicas.

Depois da identificação, os alertas das áreas técnicas do TJGO encaminharam a documentação para o relator do processo, que ainda não decidiu sobre o caso. O risco é que comandos ocultos consigam influenciar sistemas automatizados responsáveis por organizar, resumir ou interpretar documentos judiciais.

Supervisão indispensável

Segundo o juiz auxiliar da Presidência e responsável técnico pela área de tecnologia da informação do tribunal, Gustavo Assis Garcia, em entrevista ao Jornal Opção, a Agaia, IA do TJGO, foi desenvolvida pelo próprio Tribunal para auxiliar magistrados e servidores em atividades relacionadas à gestão e análise processual.

O sistema funciona como ferramenta de apoio, mas sem substituir a decisão humana. “Não podemos deixar ao cargo da inteligência artificial definir o resultado do processo. Ela não foi feita para isso. A decisão é do magistrado”, diz Garcia.

TJGO tem duas gerações de IA

Essa é a segunda geração de IA do TJGO. A primeira delas foi desenvolvida antes da explosão das chamadas IAs generativas, como o ChatGPT, popularizado a partir de 2022. Segundo o juiz auxiliar da Presidência Gustavo Assis Garcia, trata-se de uma IA preditiva, criada para identificar padrões processuais, agrupar ações semelhantes e auxiliar no combate à litigância predatória e ao ajuizamento massivo de processos.

Já a Agaia surgiu em um segundo momento, dentro da nova geração de ferramentas generativas. Diferentemente da primeira IA, que atua principalmente na análise estatística e identificação de padrões, a Agaia foi desenvolvida para interagir diretamente com os processos eletrônicos, ler documentos e auxiliar magistrados na elaboração de minutas e análises processuais.

De acordo com Gustavo Assis Garcia, justamente por ter sido criada já no contexto da popularização das inteligências artificiais generativas, a Agaia incorporou desde o início mecanismos de proteção contra manipulação algorítmica, incluindo filtros capazes de ignorar comandos ocultos inseridos em petições e documentos.

‘Ela já foi inserida desde o início com essa questão de segurança absoluta para impedir justamente esse tipo de interferência’, afirmou o magistrado.

Segundo ele, enquanto ferramentas genéricas de mercado podem interpretar comandos escondidos em documentos, a Agaia trata os arquivos processuais apenas como fonte de dados, desconsiderando instruções embutidas que tentem influenciar a análise da IA.”

No Pará, duas advogadas foram multadas depois que o Tribunal Regional do Trabalho da 8ª Região identificou uma tentativa de uso de prompt injection em um processo. O caso segue sob apuração para identificar quem foi o responsável pela inserção do comando oculto.

Leia também:

Entre a automação e a má-fé: os limites éticos dos prompts ocultos na advocacia digital