A IA tenta as pessoas a abandonar o julgamento e a responsabilidade moral da mesma maneira. Ao remover uma série de decisões de nossas mentes conscientes, elimina o julgamento de uma gama desconcertante de atividades humanas. Além disso, sem uma compreensão adequada de como ele faz isso, não podemos contornar seus efeitos negativos.

O papel da IA ​​é tão amplamente aceito em 2020 que a maioria das pessoas está, em essência, completamente inconsciente dele. Entre outras coisas, os algoritmos de IA de hoje ajudam a determinar quem namoramos , nossos diagnósticos médicos , nossas estratégias de investimento e quais notas nos exames obtemos.

Vantagens sérias, efeitos insidiosos

Com amplo acesso a dados granulares sobre o comportamento humano coletados nas redes sociais, a IA tem permeado os principais setores da maioria das economias desenvolvidas. Para problemas tratáveis, como a análise de documentos, geralmente se compara favoravelmente com alternativas humanas que são mais lentas e mais sujeitas a erros, levando a enormes ganhos de eficiência e redução de custos para aqueles que o adotam. Para problemas mais complexos, como a escolha de um parceiro de vida, o papel da IA ​​é mais insidioso: ele enquadra as escolhas e “cutuca” os selecionadores.

É para esses problemas mais complexos que vemos o risco substancial associado ao aumento da IA ​​na tomada de decisões. Cada escolha humana envolve necessariamente a transformação de entradas (informações relevantes, sentimentos, etc.) em saídas (decisões). No entanto, toda escolha inevitavelmente também envolve um julgamento - sem julgamento, podemos falar de uma reação ao invés de uma escolha. O aspecto de julgamento da escolha é o que permite aos humanos atribuir responsabilidades. Mas, à medida que escolhas mais complexas e importantes são feitas, ou pelo menos conduzidas, pela IA, a atribuição de responsabilidade se torna mais difícil. E há o risco de que atores do setor público e privado adotem essa erosão de julgamento e adotem algoritmos de IA precisamente para se isolar da culpa.

Em um artigo de pesquisa recente, examinamos como a confiança na IA nas políticas de saúde pode ofuscar discussões morais importantes e, assim, “desresponsabilizar” os atores do setor da saúde. (Ver “Caixas pretas anormativas: inteligência artificial e política de saúde”, Instituições e Organizações Pós-Humanas: Confrontando a Matriz.)

Erroa de julgamento e responsabilidade

Os principais insights de nossa pesquisa são válidos para uma ampla variedade de atividades. Argumentamos que a erosão do julgamento gerado pela IA confunde - ou mesmo remove - nosso senso de responsabilidade. Os motivos são:

Os sistemas de IA funcionam como caixas pretas . Podemos saber a entrada e a saída de um sistema de IA, mas é extraordinariamente complicado rastrear como as saídas foram deduzidas das entradas . Essa opacidade aparentemente intratável gera uma série de problemas morais. Uma caixa preta pode ser causalmente responsável por uma decisão ou ação, mas não pode explicar como chegou a essa decisão ou recomendou essa ação. Mesmo que os especialistas abram a caixa preta e analisem as longas sequências de cálculos que ela contém, eles não podem ser traduzidos em nada que se pareça com uma justificativa ou explicação humana.

Culpar sistemas de regras impessoais

Acadêmicos organizacionais há muito estudam como as burocracias podem absolver indivíduos dos piores crimes. Textos clássicos incluem Modernidade e o Holocausto, de Zygmunt Bauman, e Eichmann em Jerusalém, de Hannah Arendt. Ambos ficaram intrigados em como pessoas decentes poderiam participar de atrocidades sem se sentirem culpadas. Esse fenômeno foi possível porque os indivíduos transferiram a responsabilidade e a culpa para as burocracias impessoais e seus líderes. A introdução da IA ​​intensifica esse fenômeno porque agora até mesmo os líderes podem transferir a responsabilidade para os sistemas de IA que emitiram recomendações de políticas e escolhas políticas estruturadas.

Atribuindo responsabilidade a artefatos, em vez de causas raízes

Os sistemas de IA são projetados para reconhecer padrões. Mas, ao contrário dos seres humanos, eles não entendem o significado desses padrões. Portanto, se a maioria dos crimes em uma cidade for cometida por um determinado grupo étnico, o sistema de IA identificará rapidamente essa correlação . No entanto, ele não levará em consideração se essa correlação é um artefato de causas mais profundas e complexas. Assim, um sistema de IA pode instruir a polícia a discriminar entre criminosos em potencial com base na cor da pele, mas não pode compreender o papel desempenhado pelo racismo, brutalidade policial e pobreza em causar comportamento criminoso em primeiro lugar.

Profecias autorrealizáveis ​​que não podem ser responsabilizadas por ninguém . Os IAs mais amplamente usados ​​são alimentados por dados históricos. Isso pode funcionar no caso de detecção de condições fisiológicas, como câncer de pele. O problema, entretanto, é que a classificação IA de categorias sociais pode operar como uma profecia autorrealizável a longo prazo. Por exemplo, pesquisadores sobre discriminação de gênero baseada em IA reconhecem a intratabilidade de algoritmos que acabam exagerando, sem nunca introduzir, preconceitos sociais pré-existentes contra mulheres, pessoas transgênero e não binárias.

O que podemos fazer?

Não há solução mágica contra as tendências desresponsabilizadoras da IA ​​e não é nosso papel, como acadêmicos e cientistas, decidir quando as informações baseadas em IA devem ser consideradas certas e quando devem ser contestadas. Esta é uma decisão que é melhor deixar para uma deliberação democrática. (Ver “Matriz tecno-totalitária da sociedade digital” em Instituições e Organizações Pós-Humanas: Confrontando a Matriz .) É, entretanto, nosso papel enfatizar que, no estado da arte atual, os cálculos baseados em IA operam como caixas pretas que tornam a tomada de decisão moral mais, ao invés de menos, difícil.