Comando escondido em laudo pericial para influenciar IA é descoberto em processo no TJRN

Sede do Tribunal de Justiça do Rio Grande do Norte Sérgio Henrique Santos/Inter TV Cabugi Um comando escondido em um laudo pericial chamou a atenção de um g...

Sede do Tribunal de Justiça do Rio Grande do Norte Sérgio Henrique Santos/Inter TV Cabugi Um comando escondido em um laudo pericial chamou a atenção de um gabinete do Tribunal de Justiça do Rio Grande do Norte (TJRN) durante um julgamento. O texto, escrito em branco sobre um fundo também branco, não aparecia na leitura convencional do documento, mas podia ser identificado quando o arquivo era copiado para outro programa. Segundo o relato feito durante o julgamento, o conteúdo trazia uma instrução direcionada a ferramentas de inteligência artificial para que elas concordassem com as conclusões apresentadas pelo perito. O caso foi identificado pela 3ª Câmara Cível do TJRN e deverá ser apurado. 📳 Clique aqui para seguir o canal do g1 RN no WhatsApp A descoberta ocorreu depois que um advogado chamou a atenção do gabinete da juíza Érika Tinôco para a existência da instrução escondida no arquivo. “Você olha o laudo, ele tá lá tudo bonitinho. Se você copiar isso e jogar no Word que eu fiz, e todo o gabinete fez para confirmar, está lá um prompt indicando para a IA a ordem com as conclusões. Nesse caso quando contém um comando para a IA concordar, isso desvirtua completamente o trabalho do julgador”, disse. Comando escondido no documento O conteúdo identificado no laudo é um exemplo do que especialistas chamam de prompt injection, técnica que consiste na inserção de uma instrução em um conteúdo para tentar influenciar a resposta de um sistema de inteligência artificial. Neste caso, o comando estava inserido no próprio documento do processo e utilizava uma formatação que dificultava identificação por uma pessoa que fizesse apenas a leitura visual do arquivo. Segundo o especialista em inteligência artificial Victor Ferreira, enquanto o texto não era perceptível ao olho humano, a ferramenta de IA poderia interpretar o conteúdo e seguir a instrução. “A fonte com letras brancas em um fundo branco onde o olho humano não consegue identificar que existe aquele comando ali que existe aquele prompt direcionando a inteligência artificial. Mas a inteligência artificial ela consegue ler esse arquivo em texto e responde àquele comando”, explicou. Agora no g1 Uso de inteligência artificial no Judiciário O episódio ocorre em um contexto de expansão do uso de ferramentas de inteligência artificial como apoio ao trabalho no Poder Judiciário. O Conselho Nacional de Justiça (CNJ) já reconheceu o risco de comandos escondidos em documentos processuais e aprovou, em junho deste ano, orientações para reduzir a possibilidade de ataques do tipo prompt injection. As regras estabelecem que o uso de inteligência artificial no Judiciário deve contar com supervisão humana, transparência e mecanismos de segurança. Para Victor Ferreira, a adoção dessas ferramentas precisa ser acompanhada de capacitação dos profissionais que vão utilizá-las. “Algumas instituições têm acelerado a adoção dessas novas tecnologias, licenças de IA mas não têm investido no principal que é a educação e capacitação dos seus colaboradores das pessoas que estão usando essa ferramenta pra utilização”, acrescenta Ferreira. Laudo não foi usado como base do voto No caso analisado pelo TJRN, a descoberta do comando levou o gabinete a realizar testes para confirmar a existência da instrução escondida. De acordo com o relato feito durante o julgamento, o colegiado não utilizou o laudo questionado como base para o voto. A convicção dos julgadores já havia sido formada a partir de outra perícia que também fazia parte do processo. Agora, a apuração deve buscar esclarecer como o comando foi inserido no documento, quem o inseriu e quais consequências poderão ser adotadas.