Lição da
Ciência
"Quando
a Justiça começa a prever o futuro, a primeira pergunta deveria ser: quem será
julgado pelo que fez — e quem será julgado pelo que talvez faça?"
O crime antes do crime
Durante
milhares de anos, a Justiça esperou que o crime acontecesse.
Depois
procurou testemunhas.
Procurou
vestígios.
Procurou
impressões digitais.
Procurou
sangue.
Procurou
DNA.
A lógica
era simples:
primeiro
acontecia o fato; depois começava a investigação.
Mas a
revolução digital trouxe uma ideia perturbadora.
E se fosse
possível analisar milhares ou milhões de informações e descobrir padrões
capazes de indicar onde um crime poderia acontecer?
E se os
dados permitissem antecipar determinados riscos?
E se uma
máquina conseguisse dizer onde a polícia deveria estar antes que o crime
acontecesse?
Nascia o
sonho da polícia preditiva.
A matemática entrou na delegacia
A ideia não
surgiu com a inteligência artificial moderna.
Policiais e
pesquisadores já utilizavam estatísticas, mapas criminais e análise de padrões
muito antes dos algoritmos atuais.
A novidade
estava na quantidade de dados disponível.
Ocorrências.
Horários.
Locais.
Chamadas de
emergência.
Características
geográficas.
Padrões
históricos.
Informações
sociais.
Tudo
poderia ser transformado em dados.
E dados
poderiam ser comparados.
O
computador conseguia fazer em segundos aquilo que seria impossível para uma
equipe humana realizar manualmente.
A polícia
começava a deixar de perguntar apenas:
“Onde
aconteceu o crime?”
E passava a
perguntar:
“Onde
existe maior probabilidade de acontecer outro?”
O mapa que tenta enxergar o amanhã
Imagine uma
cidade dividida em milhares de pequenas áreas.
Durante
anos, determinados tipos de ocorrência aparecem com maior frequência em algumas
regiões.
O sistema
identifica os padrões.
Cruza
horários.
Dias.
Locais.
Tipos de
ocorrência.
E produz um
mapa.
Algumas
áreas aparecem destacadas.
Não
significa que um crime acontecerá ali.
Significa
apenas que, segundo determinados dados e modelos, o risco estatístico pode
ser maior.
A polícia
então pode concentrar recursos nesses locais.
Essa é uma
das formas mais simples de compreender a polícia preditiva.
O objetivo
inicial não é necessariamente descobrir quem cometerá o crime.
É tentar
descobrir onde e quando determinados padrões podem se repetir.
A promessa era sedutora
A proposta
parecia quase irresistível.
Se sabemos
onde determinados crimes acontecem com maior frequência, podemos colocar
policiais nesses lugares.
Se sabemos
os horários de maior ocorrência, podemos reforçar o patrulhamento.
Se
conseguimos identificar padrões, podemos tentar interrompê-los.
Em tese,
todos ganhariam.
Menos
crimes.
Melhor
utilização dos recursos.
Policiamento
mais eficiente.
Prevenção
em vez de reação.
O problema
começa quando a pergunta muda.
E se a máquina apontar uma pessoa?
Prever um
local é uma coisa.
Prever uma
pessoa é outra completamente diferente.
Um mapa
pode indicar:
“Nesta
região existe maior probabilidade de determinados crimes.”
Mas imagine
agora um sistema dizendo:
“Esta
pessoa apresenta maior risco de cometer um crime.”
A frase
muda tudo.
Porque
agora não estamos mais falando apenas de geografia.
Estamos
falando de liberdade.
Reputação.
Privacidade.
Presunção
de inocência.
E dignidade
humana.
O passado alimenta o algoritmo
Existe uma
questão que parece técnica, mas é profundamente jurídica.
De onde vêm
os dados?
Um
algoritmo aprende com informações do passado.
Mas o
passado não é uma fotografia perfeita da criminalidade.
Ele também
registra aquilo que foi investigado.
Aquilo que
foi denunciado.
Aquilo que
recebeu atenção policial.
Aquilo que
foi registrado pelas instituições.
E aqui
aparece um problema circular.
Se
determinada região foi historicamente mais policiada, pode ter produzido mais
registros policiais.
Mais
registros alimentam o sistema.
O sistema
identifica aquela região como de maior risco.
A polícia
retorna para aquela região.
Mais
ocorrências são encontradas ou registradas.
Esses novos
dados alimentam novamente o sistema.
O passado
começa a ensinar o futuro a repetir o passado.
A máquina pode aprender nossos erros
É tentador
imaginar que o computador seja neutro.
Ele
calcula.
Não sente.
Não tem
preconceitos.
Não possui
emoções.
Mas existe
uma verdade fundamental:
o algoritmo
aprende a partir dos dados que recebe.
Se os dados
carregam distorções, o sistema pode reproduzir essas distorções.
Se
determinados grupos foram historicamente mais abordados, investigados ou
registrados, esses padrões podem aparecer nos dados.
A máquina
não precisa ter preconceito para produzir resultados problemáticos.
Basta
aprender com informações desequilibradas.
O passado como profecia
Aqui
encontramos uma das grandes contradições da polícia preditiva.
Ela
pretende prever o futuro.
Mas utiliza
o passado para fazê-lo.
Isso pode
ser extremamente útil quando os padrões realmente possuem capacidade de
antecipação.
Mas pode
ser perigoso quando confundimos repetição estatística com necessidade
histórica.
O fato de
algo ter acontecido muitas vezes em determinado lugar não significa que
obrigatoriamente acontecerá novamente.
Probabilidade
não é destino.
O computador não conhece o futuro
Essa talvez
seja a frase mais importante deste capítulo.
O
computador não conhece o futuro.
Ele calcula
probabilidades.
Pesquisas
do próprio National Institute of Justice chamam atenção para esse problema e
registram como um dos mitos da polícia preditiva a ideia de que “o computador
sabe o futuro”. (National Institute of Justice)
Uma
previsão estatística não é uma profecia.
Ela é uma
estimativa baseada em determinados dados e pressupostos.
Se os dados
mudarem, o resultado pode mudar.
Se o
comportamento humano mudar, o modelo pode falhar.
Se o
próprio policiamento modificar o comportamento da população, os dados futuros
também serão diferentes.
O futuro
não é uma planilha.
O problema da profecia que se realiza
Existe
ainda um fenômeno particularmente inquietante.
Imagine que
o algoritmo indique determinada região como de alto risco.
A polícia
aumenta o patrulhamento.
Com mais
policiais presentes, mais abordagens acontecem.
Mais
ocorrências são descobertas.
Mais
registros são produzidos.
O sistema
recebe os novos dados.
E conclui:
“Eu estava
certo. A região realmente tinha mais ocorrências.”
Mas talvez
uma parte do resultado tenha sido produzida pelo próprio policiamento.
A previsão
influenciou a ação.
A ação
alterou os dados.
E os novos
dados parecem confirmar a previsão.
A máquina
pode acabar encontrando aquilo que foi parcialmente produzido pela própria
previsão.
E se o suspeito nascer antes do crime?
Agora
chegamos ao território mais perigoso.
Durante
muito tempo, a ideia de prever criminosos antes que cometessem crimes pertencia
à ficção.
O problema
é que a tecnologia contemporânea tornou possível produzir avaliações de risco
envolvendo pessoas.
Alguns
sistemas procuram estimar probabilidades relacionadas à reincidência ou a
outros comportamentos.
Algoritmos
também são utilizados para auxiliar decisões humanas em diferentes etapas do
sistema de Justiça. (GAO)
Mas existe
uma diferença fundamental entre duas frases:
“Essa
pessoa cometeu um crime.”
e
“Essa
pessoa apresenta maior probabilidade de cometer um crime.”
A primeira
é uma afirmação sobre um fato.
A segunda é
uma previsão.
E previsões
podem estar erradas.
A Justiça pode punir uma probabilidade?
Essa é uma
das perguntas filosóficas mais importantes da era algorítmica.
Imagine uma
pessoa que nunca cometeu determinado crime.
Não existe
vítima.
Não existe
fato.
Não existe
objeto material relacionado àquele crime.
Existe
apenas uma avaliação indicando:
“risco
elevado.”
O que fazer
com essa informação?
Pode
justificar investigação?
Pode
justificar vigilância?
Pode
justificar abordagem?
Pode
influenciar uma decisão judicial?
Pode
influenciar a liberdade de alguém?
A resposta
não é apenas tecnológica.
É
constitucional.
É ética.
É
filosófica.
O nascimento de um novo tipo de suspeito
Durante
séculos, o suspeito era alguém relacionado a um fato.
Uma
testemunha o apontava.
Um vestígio
o conectava.
Uma
investigação encontrava elementos contra ele.
A era
algorítmica introduz uma possibilidade diferente:
o suspeito
estatístico.
Ele pode
não ter cometido nada.
Pode não
ter sido visto.
Pode não
ter deixado vestígio.
Pode
simplesmente apresentar características que um modelo associa a determinado
risco.
Isso
representa uma mudança profunda na história da investigação.
A suspeita
deixa de depender exclusivamente do acontecimento.
Pode
começar a depender da previsão.
O perigo da caixa-preta
Outro
problema aparece quando ninguém consegue explicar adequadamente por que
determinado sistema chegou a determinada conclusão.
O resultado
aparece.
Mas a
lógica interna permanece obscura.
Para o
cidadão, surge uma pergunta legítima:
“Por que a
máquina me considerou de risco?”
Se ninguém
consegue explicar, como contestar?
Como
corrigir?
Como provar
que o sistema errou?
Como
responsabilizar alguém?
Uma Justiça
baseada em decisões que não podem ser minimamente compreendidas corre o risco
de transformar a tecnologia em autoridade.
E
autoridade sem possibilidade de contestação é perigosa.
A ciência também precisa ser questionada
Isso não
significa rejeitar a inteligência artificial.
Significa
exigir ciência.
Um modelo
precisa ser testado.
Comparado.
Auditado.
Avaliado.
Precisamos
saber quando funciona.
Quando
falha.
Qual é sua
margem de erro.
Quais dados
utiliza.
Quais
variáveis considera.
E quais
consequências surgem quando sua previsão está errada.
A ciência
não pede fé.
Pede
verificação.
O algoritmo diante do princípio da inocência
Talvez aqui
esteja o coração jurídico do problema.
O Direito
moderno construiu uma das suas maiores conquistas sobre uma ideia simples:
ninguém
deve ser tratado como culpado sem que exista fundamento jurídico para isso.
A
inteligência artificial não pode simplesmente transformar probabilidade em
culpa.
Um risco
calculado não é uma condenação.
Uma
previsão não é um fato.
Uma
correlação não é necessariamente uma causa.
E uma
semelhança estatística não transforma uma pessoa em criminoso.
O paradoxo da prevenção
Prevenir
crimes é uma das funções mais nobres do Estado.
Ninguém
deseja esperar que uma tragédia aconteça para depois agir.
A questão
é:
até onde
podemos ir para impedir aquilo que ainda não aconteceu?
Se
soubéssemos que determinada pessoa realmente cometeria um crime amanhã, seria
moralmente aceitável impedi-la hoje?
Provavelmente
muitos responderiam que sim.
Mas a
inteligência artificial não oferece certeza.
Oferece
probabilidade.
E entre
certeza e probabilidade existe um território enorme.
É
justamente nesse território que vivem os direitos fundamentais.
A máquina que pode salvar vidas
Seria
injusto transformar essa história apenas em uma condenação da tecnologia.
Algoritmos
podem ajudar a identificar padrões.
Podem
organizar enormes volumes de informação.
Podem
auxiliar investigações.
Podem
melhorar a distribuição de recursos.
Podem
revelar relações que seriam difíceis de perceber manualmente.
A própria
pesquisa oficial sobre polícia preditiva reconhece aplicações voltadas à
identificação de padrões, locais de maior concentração de crimes e melhor
distribuição de recursos. (National Institute of Justice)
A questão
não é:
“Máquinas
ou humanos?”
A pergunta
correta é:
“Como
utilizar máquinas sem abandonar a responsabilidade humana?”
O juiz diante da tela
Imagine o
futuro.
Um juiz
recebe um relatório.
Não são
apenas depoimentos.
Não são
apenas documentos.
Há
gráficos.
Probabilidades.
Modelos.
Indicadores.
Pontuações.
O sistema
recomenda determinado nível de risco.
A tela
parece precisa.
Mas o juiz
precisa lembrar de uma coisa:
o número
não conhece o acusado.
Conhece os
dados utilizados para produzi-lo.
Essa
diferença é gigantesca.
O Direito precisa aprender a perguntar à máquina
Durante
séculos, advogados aprenderam a interrogar testemunhas.
Agora terão
que aprender a interrogar sistemas.
Qual foi a
fonte dos dados?
Qual foi o
período analisado?
Qual foi o
método utilizado?
Qual a taxa
de erro?
Qual o
intervalo de confiança?
Houve
auditoria independente?
O sistema
foi validado para aquela população?
Existem
alternativas?
O resultado
pode ser contestado?
Quem é
responsável pela decisão final?
São
perguntas que poderão se tornar tão importantes quanto aquelas feitas a uma
testemunha.
A nova fronteira da prova
A história
da investigação foi, em grande medida, a história da transformação de vestígios
em conhecimento.
A impressão
digital.
A
fotografia.
O sangue.
O DNA.
A
toxicologia.
Agora surge
uma nova espécie de evidência:
o dado.
Mas existe
uma diferença.
Uma
impressão digital pertence a um acontecimento passado.
Um
algoritmo trabalha com padrões.
Ele pode
tentar dizer algo sobre aquilo que ainda não aconteceu.
Estamos
diante de uma mudança conceitual extraordinária.
A prova
começa a dialogar com a previsão.
O olhar do autor
Talvez o
maior risco da inteligência artificial na Justiça não seja ela errar.
Nós sabemos
que seres humanos erram.
Máquinas
também podem errar.
O perigo
maior seria acreditarmos que a máquina não pode errar.
Porque
aquilo que vem acompanhado de números parece mais verdadeiro.
Aquilo que
aparece em uma tela parece mais científico.
Aquilo que
é produzido por um algoritmo parece mais imparcial.
Mas
tecnologia não transforma incerteza em certeza.
Ela apenas
pode tornar a incerteza mais sofisticada.
O futuro da investigação
Talvez a
investigação criminal do futuro não comece mais com uma pergunta:
“Quem fez
isso?”
Talvez
comece com:
“Quais
padrões indicam que isso pode acontecer?”
Essa
mudança pode salvar vidas.
Mas também
pode criar uma sociedade na qual pessoas sejam observadas não apenas pelo que
fizeram, mas pelo que os algoritmos acreditam que poderão fazer.
E então a
velha pergunta da Justiça precisará ser refeita.
Não apenas:
“Quem é o
culpado?”
Mas:
“Quanto
poder estamos dispostos a entregar a uma previsão?”
Legado para a Justiça
A
inteligência artificial pode ser uma extraordinária ferramenta de investigação.
Mas não
deve se transformar em uma nova forma de autoridade incontestável.
O algoritmo
pode apontar.
Pode
sugerir.
Pode
comparar.
Pode
calcular.
Pode
alertar.
Mas a
decisão que afeta a liberdade humana precisa permanecer submetida ao Direito, à
transparência, à possibilidade de contestação e à responsabilidade humana.
Porque uma
coisa é prever um risco.
Outra,
completamente diferente, é transformar uma previsão em condenação.
Para refletir
“O futuro
pode ser calculado em probabilidades. Mas ninguém deveria perder a liberdade
por causa de uma possibilidade.”
EPÍLOGO DO CAPÍTULO
A
investigação começou olhando para o cadáver.
Depois
aprendeu a ouvir testemunhas.
Aprendeu a
medir corpos.
Aprendeu a
fotografar.
Aprendeu a
encontrar impressões digitais.
Aprendeu a
ler o sangue.
Aprendeu a
decifrar o DNA.
Agora
aprendeu a conversar com máquinas.
E talvez
essa seja a maior transformação de todas.
Porque a
máquina não pergunta apenas:
“O que
aconteceu?”
Ela começa
a perguntar:
“O que
provavelmente acontecerá?”
E quando a
Justiça começa a olhar para o futuro, uma questão inevitavelmente surge:
quem
controla aqueles que controlam os algoritmos?
Talvez o
próximo capítulo não precise mais investigar criminosos.
Talvez
precise investigar a própria máquina.
Elson
Mesquita de Araujo
Advogado,
jornalista, escritor, pesquisador
