Você gostaria que um aplicativo com tecnologia de IA fosse seu mentor e conselheiro? O Gaggle é uma ferramenta que salva vidas ou apenas mais uma ameaça à nossa privacidade?

O que é Gaggle

Gaggle é um software de monitoramento escolar com tecnologia de IA que analisa a comunicação dos alunos a partir de contas do Google e da Microsoft emitidas pela escola. Seu objetivo principal é informar as autoridades escolares em tempo hábil se houver uma ameaça ao bem-estar físico ou mental dos alunos e protegê-los de conteúdo prejudicial. Seu objetivo final é prevenir possíveis eventos trágicos.

O Gaggle alerta imediatamente os funcionários da escola quando palavras-chave preocupantes aparecem em seus sistemas (por exemplo, indica evidências de comportamento ilícito, linguagem forte, potencial cyberbullying e menções de automutilação). A presença de tais dados permite às autoridades escolares intervir e mitigar possíveis consequências.

Muitas escolas pagam muito por seus serviços. O Gaggle monitora cerca de 5 milhões de alunos nos Estados Unidos. Embora possa potencialmente “parar tragédias com sua análise de conteúdo em tempo real”, ele apresenta uma escala sem precedentes de monitoramento escolar e levanta questões de privacidade . Ele lida com questões particularmente delicadas, como saúde mental, e pode potencialmente expô-las ao público.

Como o Gaggle funciona

O Gaggle examina todo o conteúdo dos alunos da Microsoft e do Google, incluindo slides, planilhas e Hangouts, e procura palavras-chave que possam indicar possíveis problemas. Esse trabalho é feito por inteligência artificial e moderadores, que avisam imediatamente as autoridades caso encontrem algo suspeito. Frases comumente sinalizadas incluem palavras como "suicídio", "heroína", "matar você" ou "me matar".

Gaggle também categoriza frases de acordo com a natureza da gravidade. Sua equipe de gerenciamento de segurança determina a rubrica em que o conteúdo se enquadra e toma as medidas adequadas. Pode simplesmente apagar o conteúdo, dar avisos aos alunos ou, em casos mais graves (por exemplo, quando há uma ameaça ao bem-estar físico ou mental de uma pessoa), alertar as autoridades da escola.

Ameaças potenciais

Qualificações dos funcionários

A falta de transparência no modo de operação do Gaggle e as qualificações de sua equipe levantam questões. Embora a empresa se orgulhe de que seus funcionários “têm formação em áreas como justiça criminal, psicologia, comunicações, administração de saúde e educação”, não está claro se essas informações se aplicam a todos os níveis de funcionários. Também sabemos pouco sobre os treinamentos e certificações que a Gaggle oferece aos seus funcionários.

O que causa mais preocupação é o fato de que os anúncios de emprego de Gaggle para funcionários de Nível 1 não pedem experiência em áreas relacionadas à saúde mental ou aconselhamento de jovens adultos, mas os candidatos precisam conhecer gírias de mídia social. Também não está claro se eles recebem algum benefício ou seguro. Esses fatores levantam preocupações sobre se esses dados confidenciais são tratados de forma adequada.

Violações de privacidade

Embora o Gaggle afirme que salvou centenas de vidas do suicídio e assinalou 722 referências muito específicas relacionadas ao suicídio, é difícil verificar se o Gaggle desempenhou um papel importante nessa prevenção. Seus críticos afirmam que sua vigilância aguda não se justifica e é prejudicial aos alunos. Pais e alunos também expressaram preocupação com o monitoramento de terceiros de tais questões confidenciais.

Vazamentos de dados

Como acontece com a maioria dos serviços, o Gaggle não está imune a vazamento de dados. As consequências podem ser trágicas se esses dados confidenciais caírem em mãos erradas e forem expostos ao público. Tendo em mente que o mundo enfrenta toneladas de violações de dados a cada dia, essa possibilidade não é irreal.

Possíveis imprecisões

Embora os procedimentos de contratação de Gaggle levantem questões, seu uso de inteligência artificial também pode levar a imprecisões que causariam angústia adicional para as pessoas envolvidas. Os algoritmos de IA não são perfeitos e podem interpretar mal frases sem avaliar seu contexto.

Implicações futuras

Para que ferramentas como o Gaggle funcionem como deveriam, as escolas devem sempre cooperar com especialistas em saúde mental e médicos treinados para fornecer ajuda profissional aos alunos. Além disso, o Gaggle deve apenas contratar pessoal altamente treinado e dar-lhes as condições necessárias para fazer seu trabalho adequadamente.

No momento, os processos do Gaggle não estão claramente definidos e ainda é uma questão em aberto se a ferramenta faz mais mal do que bem.