O’NEIL, Cathy — Algoritmos de Destruição em Massa [Resumo Completo]

Resumo do livro Algoritmos de Destruição em Massa, escrito por Cathy O’Neil, publicado originalmente em 2016 e traduzido em 2021. O livro aborda os problemas gerados pelo uso irresponsável ou malicioso de algoritmos para perfilar a população e automatizar decisões. A autora denuncia o uso da matemática e estatística, por vezes munida com aprendizado de máquina, para fabricar controles baratos contra populações mais vulneráveis e exploráveis, por meio de modelos amplamente baseados em proxies — indicadores aproximados — no lugar de dados pertinentes.

Introdução

O’Neil define grande parte dos modelos matemáticos de análise de big data por algoritmos como Armas de Destruição Matemáticas.

Ela largou um emprego como professora titular e entrou para o mercado financeiro, adotando uma visão crítica do uso da matemática na sociedade após a crise de 2008.

Para exemplificar, ela relata o caso, em Washington, onde um algoritmo avaliativo de uma empresa chamada Mathematica Policy Research, demitiu 206 professores, em seu segundo ano de operação, incluindo, a professora Sarah Wysocki, considerada muito boa em sua escola. Entre os problemas do modelo matemático figuram: (1) a falta de grandeza estatística, uma vez que se tratavam de resultados acerca de 25 ou 30 alunos e a relação entre o desempenho da professora e o da turma; (2) como de costume, o modelo carecia de um feedback que apontasse erros em seus resultados, o que permitiria o aprimoramento do algoritmo, ao contrário, a autoperpetuação — pela ausência de retorno — tente a gerar um círculo vicioso, onde alguém com avaliação negativa será rebaixado em sua situação social (por exemplo, com demissão) e tal punição colocará a pessoa em condições de ter um resultado piorado em futuras avaliações.

“Elas [as ADMs] tendem a punir os pobres. Isto porque, em parte, são projetadas para avaliar grandes números de pessoas. São especializadas em volumes massivos, e baratas […] Os privilegiados, veremos vez após outra, são processados mais pelas pessoas; as massas, pelas máquinas.”

Um quarto problema — para além da irrelevância estatística, falta de retorno e desigualdade de aplicação — é a falta de explicabilidade. Quer dizer, ninguém sabe explicar como o algoritmo toma determinada decisão, isso porque: (1) o segredo corporativo visa preservar a propriedade intelectual sobre o algoritmo; (2) embora uma explicação seja elementar para justificar os resultados, existe o argumento de que, uma vez que o modelo analítico visa alterar comportamentos, compreendê-lo permitiria burlar seus critérios, ao passo que o desconhecimento levaria a um esforço mais generalizado por parte do avaliado.

“O problema é que os lucros terminam por se prestar como substituto ou proxy — indicador aproximado — da verdade.”

Se o ganho no emprego escolar de um algoritmo é capital político, vindo do aparente enfrentamento de um problema, diversamente, a maior parte das aplicações de ADMs visa o lucro de empresas, desenvolvedores e investidores.

Capítulo 1 — Componentes da Bomba: O que é um modelo?

“Teria transformado o controle de comida que tenho na cabeça, meu modelo interno informal, em um modelo externo formal. Ao criar meu modelo, estenderia meu poder e influência sobre o mundo. Estaria criando um eu automatizado que pode ser implementado pelos outros, mesmo que eu não esteja aqui.”

Para formalizar um bom modelo de tomadas de decisão e previsões é preciso abarcar as variáveis pertinentes, que podem ser muitas, de modo a ser mais viável testar e atualizar o modelo, antes de o considerar pronto ou aplicável. Dentre as vantagens de externalizar formalmente um modelo é que este — trate-se de beisebol ou gerenciamento de alimentação — pode, então, ser aplicado por terceiros. Contudo, essa inevitável simplificação do mundo terá, necessariamente, um forte viés das preferências e ideologia dos desenvolvedores, ou das limitações de dados disponíveis — que podem implicar no uso de substitutos ou proxies — e quanto menos atualizado, maior a provável obsolescência.

“A questão, no entanto, é se de fato eliminamos o viés humano ou simplesmente o camuflamos com tecnologia.”

Um modelo de reincidência criminal (modelo LSI-R) que inclui variáveis como histórico familiar, abordagens policiais (mais frequentes em negros) e histórico local, por exemplo, estabelece uma previsão com base em padrões injustos e, assim, baseia uma decisão com grande potencial de reafirmar os padrões de marginalização — ainda que explicitar uma variável tal qual “raça” seja ilegal.

O’Neil destaca os fatores da opacidade ou transparência dos algoritmos, na medida que antes mesmos de serem justos ou não, precisam ser compreensíveis para poderem ser avaliados. Em segundo lugar, a autora se preocupa com o potencial de crescimento exponencial na aplicação dos modelos, no ganho de escala. Então, entra o dano causado, muitas vezes entendido como efeito colateral do benefício proporcionado a alguns em detrimento de outros. Ademais, a matemática aplicada em determinados processos pode saltar para outros usos — generalização — , assim, algoritmos sem escala, ou com resultados benéficos, podem embasar outras aplicações problemáticas.

Capítulo 2 — Abalo Chocante (ou: Trauma Pós-Guerra): Minha Jornada de Desilusão

“A busca pelo que os analistas chamam de ineficiências de mercado é como uma caça ao tesouro.”

O’Neil deixou de ser professora para trabalhar no fundo multimercado D. E. Shaw. Basicamente, tratava-se de identificar perturbações nos padrões e transformar em dinheiro uma correção das previsões. O fundo, dominado por matemáticos, analistas quantitativos, operava via equipes de especialistas cindidas, a fim de preservar a informação produzia pelo conjunto. As oportunidades encontradas eram fonte de “dinheiro de burro”, quer dizer, pequenos lucros com transações diversas, baseadas nos modelos.

Após a baixa econômica que se seguiu a 2001, os juros foram abaixados e o crédito viabilizou o consumo, mais tarde convertido em aposentadorias e hipotecas comprometidas. Em 2007, o pico de juros interbancário é atingido, um indicador da baixa confiança dos bancos quanto a liquides dos demais. Para um fundo multimercado, baixas podem ser lucrativas, o lucro emerge da capacidade de prever melhor que a concorrência, logo, a instabilidade pode ser uma oportunidade para tais fundos que investem não no crescimento ou na queda econômicos e sim numa infinidade de movimentações diversas entre os inúmeros produtos financeiros.

“Fundos multimercado, afinal, não criavam esses mercados. Apenas agiam neles. Isso significava que quando um mercado quebrava, como acontecia, oportunidades valiosas surgiam dos destroços. A jogada dos fundos não era tanto levantar os mercados, mas prever os movimentos dentro deles. As baixas poderiam ser tão lucrativas quanto.”

Central para a crise de 2008 foi a quebra da parede fina entre o sistema bancário e as instituições de investimento, isso no final dos anos 90.

“[…] modelos matemáticos, por natureza, são baseados no passado, e no pressuposto que padrões irão se repetir.”

O risco das hipotecas e produtos derivados deveria ser avaliado por seguradoras, contudo, fora mais lucrativo para estas últimas fornecer respaldo matemático para títulos podres do que avaliar adequadamente. Além do mais, fora subestimado o risco de ampla inadimplência, ou seja, o risco do fenômeno que era tido como aleatório e pontual de se massificar. O ciclo vicioso consistiu no incentivo para fraudar avaliações de risco, viabilizando a operação de muitos mais produtos financeiros alavancados a partir de hipotecas, por sua vez, com mais produtos fraudados, muito mais exposto se tornava o mercado pelo risco mascarado e multiplicado.

“Fui forçada a confrontar a verdade nua e crua: pessoas haviam de forma deliberada brandido fórmulas para impressionar ao invés de esclarecer.”

Cathy O’Neil trabalhou, na sequência, na RiskMetrics Group, uma agência independente de avaliação de riscos. O problema é que quanto maior o risco, mais comprometido é o lucro entregue por um trader, assim, na prática, a pressão contra essas avaliações externas convertia as mesmas em mera burocracia. Depois a autora trabalhou com anúncios.

Capítulo 3 — Corrida Armamentista: Indo à Universidade

A autora argumenta que a implementação de um ranqueamento universitário nos EUA, pela revista U. S. News, se caracteriza como uma arma de destruição matemática (ADM) porque, primeiro, dada a dificuldade de mensurar a diversidade e complexidade daquilo que compõe a experiência universitária e o rendimento educacional, o ranque se estabeleceu por meio de proxies — indicadores aproximados; na sequência, o sucesso do ranque implicou em impactos diretos na reputação e saúde das universidades, que em resposta buscaram perseguir os indicadores mensurados no ranque (dentre eles, relação candidato e vaga, doações de ex-alunos, número de docentes por discentes) [espiral de autoconfirmação]. Assim, em terceiro lugar, a escala do impacto do modelo impôs uma forte competição e padronização no ensino superior estadunidense, que embora possa incluir certos incentivos positivos, também induz a práticas danosas — um exemplo são as “faculdades de segurança”, opções secundárias de bons alunos, que passam a rejeitar alunos acima da média, por medo de que tais candidatos escolham as universidades melhores e prejudiquem as secundárias no ranque ao não efetivar a matrícula. Novamente, portanto, entra em jogo uma espiral danosa de feedback, onde as universidades pior avaliadas irão ser punidas por tal avaliação e ter menos condições de reverter seu prejuízo, mais facilmente declinando ainda mais.

O’Neil destaca que o maior problema com as métricas adotadas pelo ranqueamento da U. S. News é ignorar a acessibilidade de preços, ao passo que induz um maior investimento por parte das universidades que desejam se aprimorar nos indicadores do ranque. Isso levou a um aumento no custo do ensino superior muito maior do que a taxa de inflação. Outro efeito foi criar todo um complexo mercado para otimizar o recrutamento, impondo onerosos processos e investimentos a estudantes, em um sistema que em nada serve à educação e, também, reforça a exclusão de potenciais alunos que não podem custear o mesmo.

Um bom exemplo de como burlar e inflar números foi o caso de uma universidade saudita que elevou seu departamento de matemática ao sétimo lugar do mundo. Para tanto, contratou inúmeros professores, que publicavam muito, e exigiu apenas que eles trabalhassem uns poucos dias anualmente no país, desde que as publicações dos professores fossem creditadas à universidade.

O problema da manipulação dos indicadores e espirais nocivas de feedback é que abrem inúmeras margens para novas condutas problemáticas. Dessarte, quando o presidente Obama buscou substituir o rank da U. S. News, incluindo novas métricas: indicadores como empregabilidade e renda de formados foram apontados como incentivos a cortes de cursos com profissionais pior remunerados e a práticas maliciosas como a de contratar temporariamente alunos recém-formados para inflar os resultados. No lugar de um novo ranqueamento, um sistema de informações foi elaborado, de modo que cada estudante poderia receber informações e indicações personalizadas por filtros de sua escolha: “transparente, controlado pelo usuário, e personalizado. Podemos chamar isso de o oposto de uma ADM”.

Capítulo 4 — Máquina de Propaganda: Publicidade Online

Anúncios personalizados, para O’Neil, estão muito longe de serem benéficos e desejáveis, na qualidade de meros serviços que aproximam com precisão bens e serviços e interessados. Ao contrário, as ADMs no setor munem-se de anúncios predatórios, que apelam para a ignorância e vulnerabilidade social, com o objetivo de atingir ou criar potenciais clientes, vendendo produtos que, muitas vezes, não passam de fraudes.

Devido a escala e a riqueza de dados quanto ao perfil dos usuários e retorno dos investimentos em publicidade, o meio virtual se torna terreno preferencial para anúncios predatórios. São inúmeras as táticas de obter, comprar e vender dados pessoais, que, por sua vez, podem relevar informações como a do “ponto de dor” de determinada vítima, isto é, a fonte de maior preocupação e vulnerabilidade, a qual indica que tipo de isca funcionará com a presa em questão. Nesse sentido, a autora focaliza as universidades com fins lucrativos que investem pesado em recrutamento de pessoas vulneráveis, aptas a obter um financiamento estudantil do governo, para buscar um diploma que, na verdade, não oferece oportunidade alguma de mobilidade social, ao contrário, mais provavelmente endividará a clientela carente.

A abordagem Bayesiana consiste em identificar variáveis de maior impacto, quer dizer, os métodos publicitários, em suas menores variações, que separadamente mais colaboraram para os objetivos dos anunciantes. O problema é a interação entre estratégias de marketing distintas, algo que torna de difícil determinação a performance individual dos anúncios. Por isso, é justamente a possibilidade de monitoramento dinâmico, ágil e minucioso dos retornos, além da segmentação do público-alvo, que torna os anúncios onlines tão atraentes.

A publicidade virtual também permite um largo emprego do teste A/B, no qual, diversos anúncios competem entre si para avaliar quais performam melhor e lapidar as variações até aperfeiçoar as estratégias.

Uma vez que entre em cena o machine learning, o reconhecimento de correlações se autonomiza e se intensifica para além dos limites de uma programação prévia e voltada à padrões explicitamente reconhecidos pelos desenvolvedores. A linguagem natural, nesse mesmo sentido, automatiza e aprofunda a capacidade de monitorar, interagir e induzir comportamentos, aprimorando enormemente o poder destrutivo do marketing predatório. A questão é que, embora a inteligência artificial de tais tecnologias demande muito treino para funcionar, a nova realidade social virtualizada oferece peta bytes de oportunidades.

A geração de lead, que são listas de clientes em potencial, absorve grande parte do investimento publicitário de empresas como as faculdades com fins lucrativos. Ainda que tais empresas possam produzir suas próprias listas, usando de diversas táticas para obter dados de clientes promissores, diversamente, a compra de listas produzidas por empresas especializadas, na prática, possibilita o emprego de métodos fraudulentos, imortais, senão criminosos, para enganar e surrupiar os valiosos dados.

“O recrutamento, em todas as suas formas, é o coração do modelo de negócio dessas faculdades [com fins lucrativos] e é responsável por muito mais gastos, na maioria dos casos, do que a educação.”

O dano provocado pelas faculdades com fins lucrativos que adotam publicidade predatória pode ser constatado pelo fato de que o desempenho no mercado de trabalho de quem nelas se forma é pior do que aquele dos formados em faculdades comunitárias e semelhante ao dos que possuem apenas o ensino médio.

A autora também cita o ramo de empréstimos, como um locus de amplo uso de ADMs, igualmente voltado a explorar pessoas vulneráveis e endividá-las.

Capítulo 5 — Baixas Civis: Justiça na Era do Big Data

Na empobrecida cidade de Reading, Pensilvânia, a força policial adotou o PredPol, um sistema de predição de risco por território, com base em características dos locais, como a existência de caixas eletrônicos e lojas de conveniência, e do histórico de crimes, computados por tipo e local. A vantagem é que o foco não são em indivíduos, mas territórios. O PredPol, além disso, é um software sísmico, por ter um histórico atualizável pelas novas ocorrências, o que reclassifica constantemente de risco das localidades. Esse é apenas um exemplo, usado em diversas cidades, desse tipo de algoritmo de patrulhamento orientado, entre outros modelos, a exemplo do HunchLab.

O problema, argumenta O’Neil, está na inclusão dos crimes leves de perturbação — tais quais crimes de vadiagem, importunação, consumo de drogas e outras infrações menores. A justificativa seria de que, em tese, crimes leves produziriam uma atmosfera de licenciosidade nos bairros, criando um ambiente convidativo à prática de crimes pesados. Essa linha de raciocínio levou, nos aos 90, à política de tolerância zero, que encarcerou massas de pessoas por delitos leves. O curioso seria que, mesmo o estudo de caso que embasou tal teria, se referia a um patrulhamento que objetivava manter os padrões relativos de ordem próprios do bairro em questão, quer dizer, as próprias infrações eram negociadas para que sua ocorrência respeitasse certos costumes de sociabilidades da localidade. Portanto, não se tratava de uma imposição intransigente de parâmetros universais contra janelas quebradas, muros grafitados e qualquer “delinquência”.

A despeito disso, mais do que a cultura de tolerância zero, a inclusão dos crimes de perturbação nos modelos de predição de risco se deve: (1) à maior abundância de dados sobre crimes de maior ocorrência; (2) a maior homogeneidade entre os delitos leves, enquanto que crimes mais graves tendem a contar com melhores artimanhas por parte dos criminosos; e (3), dados os fatores anteriores, a inclusão de tais crimes leves melhora as previsões de risco de crime nos territórios elaboradas pelos modelos.

“Imagine se a polícia forçasse sua estratégia de tolerância zero no mercado financeiro. Pessoas seriam presas mesmo pelas menores infrações, seja tapeando investidores em planos de aposentadoria, fornecendo orientações enganosas ou cometendo fraudes menores. Talvez equipes da SWAT desceriam sobre Greenwich, Connecticut. Trabalhariam disfarçados em tabernas no entorno da Bolsa de Mercadorias de Chicago.”

Em contraste, a autora argumenta que os crimes de maior ocorrência, na verdade, não necessariamente são aqueles que estão no radar da polícia. Se a ocorrência não for registrada, com efeito, delitos leves e mais frequentes bem poderiam passar desapercebidos. O reforço tecnológico, dado por tais algoritmos, à criminalização da pobreza se relaciona diretamente com o fato da polícia não se ocupar, nem estar capacitada para tanto, com crimes de colarinho branco, a exemplo dos que ocorrem no mercado financeiro.

Cathy O’Neil se ocupa com a política de parar e revistar, de Nova Iorque, adotada como forma de reduzir crimes: prendendo criminosos ou inibindo crimes potenciais. Evidentemente, o problema é que a vasta maioria dos alvos são inocentes, pobres e racializados. Logo, a principal questão gira em torno da oposição entre eficiência contra justiça, ou seja, mesmo que na prática a política de parar e revistar seja apontada como responsável pela redução dos crimes, quão justo pode ser parar pessoas inocentes ou autuar desigualmente pessoas mais visadas por infrações que passam desapercebidas em áreas mais nobres?

Se incluir dados comportamentais e perfis detalhados pode aprimorar a predição de tais modelos, ao mesmo tempo reforça ciclos nocivos de feedback, que punem população já marginalizadas, marginalizando ainda mais as mesmas. Por isso, argumenta a autora, que a falta de causalidade entre crime e motivação para realizar abordagens é desigual e inconstitucional. Fora que, além de mais detidos, as populações pobres e racializadas sofrem, adicionalmente, com o emprego dos já abordados algoritmos de predição de reincidência, adotados para cálculo de sentenças.

Responder crimes mais graves com períodos mais longos de reclusão seria uma solução?

Ao contrário, O’Neil explica que, via de regra, quanto mais tempo dentro de prisões, maior o risco de reincidência. O problema é que não existe o interesse, por parte da máquina prisional, em computar dados e aplicar a análise dos mesmos no sentido de questionar o sistema vivente, pelo contrário, a tecnologia acaba mobilizada apenas para reforçar as engrenagens.

Em comparação, a Amazon se ocupa não apenas de perfis de clientes — com informações como CEP e escolaridade — , mas sim incorpora dados sobre a experiência de uso dos clientes reincidências. De modo análogo, para medir a eficácia das prisões, seria necessário analisar, de um lado, os efeitos negativos das solitárias, dos estupros, entre outras coisas, e de outro lado, os efeitos positivos de possibilidades de estudos, melhora na comida e afins.

As revistas preventivas, contudo, podem se tornar obsoletas, frente às tecnologias de reconhecimento facial, bancos de dados com DNA e afins, que vêm ganhando terreno na busca de criminosos e, até mesmo, na prevenção de crimes por propensão. Assim, pessoas não apenas estão mais vigiadas, como seus dados podem embasar análises de risco que as classificam como suscetíveis a condutas ilegais e as incluem em listas de grupos perigosos, que devem receber especial atenção da força policial.

Em contraposição, O’Neil argumenta que, embora seja mais fácil tomar como indicador de sucesso o número de detenções, seria possível estabelecer parâmetros alternativos, como o de políticas que visem o aumento da confiança nas relações entre o aparato de segurança e a população.

Capítulo 6 — Inapto para Servir: Conseguindo um Emprego

A empresa Kronos aplica testes de personalidade no processe seletivo para vagas de emprego das empresas contratantes. O problema é que tais testes podem servir para barrar, de modo padronizado e generalizado, pessoas com determinadas dificuldades ou, mesmo, neurodivergências. O’Neil explica que esses testes podem ter efeitos positivos no trabalho em equipe ou autopercepção de funcionários, auxiliando na construção de relações de trabalho mais harmoniosas, entretanto, são comprovadamente menos eficientes em identificar candidatos produtivos do que outros métodos como exames cognitivos e checagem de referências. Além disso, são severamente opacos, adotando nos formulários, por exemplo, opções excludentes e mutuamente problemáticas, onde é preciso escolher entre um “defeito” ou outro.

Não existe monitoramento real da produtividade após a contratação, logo, falta um retorno capaz de aprimorar a ferramenta. Então, se comparado aos esportes, no lugar de avaliar as contratações pelo desempenho e reavaliar, constantemente, os processos seletivos, as grandes empresas, que empregam modelos como o da Kronos, não procuram grandes estrelas, na verdade, estão confortáveis com o atual status quo de produtividade e, a menos que surja uma grande anomalia de queda produtiva, não há problemas em injustiçar candidatos com alguma divergência — que podem ser sistematicamente excluídos, a despeito de seus reais potenciais.

Outro exemplo de injustiça, apresentado por O’Neil, foi de uma pesquisa, de pesquisadores da Universidade de Chicago e do MIT, que criando currículos falsos constataram que nomes tradicionalmente de brancos eram melhor avaliados que os nomes supostamente de negros e que as qualidades dos currículos contavam mais entre candidatos brancos do que entre negros (mais indistintos).

Se, de fato, seleções já são problemáticas, ter que otimizar perfis de trabalhadores para máquinas atualiza novas desigualdades, até mesmo em relação ao conhecimento para compatibilizar os currículos com os parâmetros valorizados pelas máquinas.

No final dos anos 70, o St. George’s Hospital, de Londres, produziu de modo pioneiro no setor um sistema automático de filtragem de candidaturas e treinou o mesmo com os dados dos processos seletivos de anos anteriores. Como resultado, a típica falta de pleno domínio do inglês, por parte de candidatos estrangeiros, se converteu — uma vez que o próprio sistema não tinha domínio do idioma — em uma correlação que excluía diretamente os candidatos com base na nacionalidade, ou nos sobrenomes, o que implicou em xenofobia e racismo. De modo semelhante, o sistema excluiu de forma muito mais sistemática as candidaturas de mulheres.

Ambos os problemas poderiam ter sido enfrentados com maiores atenções para tais parcelas da população, contudo, o próprio hospital já tinha o hábito de as eliminar do processo, no lugar de apoiar quem passava por maiores desafios, por exemplo, com o oferecimento de cursos de idioma e creches.

“[…] vimos repetidamente que modelos matemáticos podem examinar dados para localizar pessoas que provavelmente enfrentarão grandes desafios, como o crime, pobreza ou educação. Cabe à sociedade escolher usar essa inteligência para rejeitá-los e puni-los — ou oferecer a ajuda e recursos de que precisam.”

Um exemplo positivo, citado por O’Neil, é o da empresa Xerox, que removeu do seu modelo de rotatividade no emprego a variável geográfica. O modelo ao correlacionar distância, da residência até o trabalho, com as chances de um funcionário largar o emprego, acabava punindo àqueles que moravam mais longe, em geral, em bairros mais pobres.

O Gild é um minerador de talentos, um modelo que vai além da análise de currículo e formação para incluir dados da presença nas redes e determinar o capital social dos candidatos. Trata-se de um sistema voltado para programadores e, como o currículo e a formação tendem a ser insuficientes na área, avaliar a relevância de dado programador na comunidade de pares é um método bastante potente.

Entre as dificuldades, porém, está a exclusão de atividades offlines, que podem enriquecer muito mais a rotina de um potencial colaborador, ou o caráter eventualmente machista ou racista de um ambiente virtual, o que excluiria programadores com determinados perfis de tais espaços. Apesar disso, a autora não considera a ferramenta um ADM, embora aponte para um ambivalente cenário de cruzamento generalizado de informações virtuais de candidatos para recrutamentos.

Capítulo 7 — Bucha de Canhão: Em Serviço

Sobre os softwares de escala de horário, eles produzem uma oferta responsiva e jornadas irregulares, gerando lucros ao viabilizar que empresas operem com equipes reduzidas ou mínimas e com reforços precisamente alocados, de modo a não ofertar mais do que o necessário a uma demanda flutuante. Não apenas oscilações semanais fixas são consideradas, mas variações no clima, no calendário, a realização de eventos nas redondezas ou a expectativa de vendas em épocas especiais, tudo isso é digerido pelo modelo como variáveis.

Um exemplo prático é o Starbucks, que após denunciado na imprensa, buscou moderar sua eficiente política de equipes mínimas, todavia, sem obter sucesso, um ano depois, dada a cultura da empresa e os incentivos aos gerentes para racionar a força de trabalho ao máximo.

A pesquisa operacional, ramo da matemática aplicada, ganha relevância na Segunda Guerra Mundial, quando o racionamento dos recursos passa a respeitar uma “razão de troca” entre recursos empregados de um lado e danos infligidos ao outro lado. Dessa lógica responsiva surge o just in time japonês, que troca estoques e ociosidade por prontidão e fluxos precisos. As escalas automatizadas apenas estendem a lógica para os recursos humanos.

Evidentemente, não é de interesse das empresas ter custos com rotatividade causa por condições de trabalho infernais, ainda assim, por outro lado, argumenta O’Neil, o excesso de mão de obra de reserva e a generalização entre as empresas das mesmas práticas degradantes funcionam como inibidores de rotatividade, para além de restrições na exploração.

Uma empresa pode reduzir a jornada semanal para menos de 30 horas, apenas para evitar que o funcionário tenha direito a um plano de saúde, ao mesmo tempo que a irregularidade da escala impossibilita que este mesmo funcionário tenha um segundo emprego.

Contra essas ADMs a autora defende uma imprensa comprometida, regulamentações e sindicatos.

A empresa Cataphora, de pequeno porte, se propôs a criar um modelo que identificasse pessoas criativas. A estratégia foi identificar conjuntos de palavras, que fossem potencialmente ideias, e avaliar o nível de propagação das mesmas — com alguns filtros que excluíssem piadas e fofocas disseminadas no ambiente de trabalho. O resultado foi que a empresa identificou criadores de ideias e conectores, ranqueando ambos, a fim de identificar as pessoas mais criativas e àquelas que melhor ajudavam a propagar as ideias que melhor se popularizavam.

Apesar de interessante, esse sistema de avaliação, um tanto vago e impreciso, acabou direcionado como fator de demissões, na esteira da crise de 2008, e isso sem que uma dinâmica de feedback pudesse avaliar os níveis de inventividade das empresas após tais decisões — quer dizer, e se certas pessoas não compartilhassem ideias virtualmente, ou o fizessem de qualquer outro modo imperceptível ou de difícil mensuração pelo modelo?

Pesquisadores do MIT, estudando call centers do Bank of America, implementaram alguns crachás em certas equipes, num total de 80 funcionários, com tais acessórios munidos da capacidade de identificar a localização e aspectos comunicacionais dos funcionários. A surpresa foi descobrir que as equipes que socializavam mais entre si, no lugar daqueles que conversavam menos, eram mais produtivas.

Os exemplos supracitados, afirma O’Neil, apontam para um futuro próximo onde, também, o trabalho intelectual estará visado e regrado por algoritmos de otimização. Os trabalhadores de colarinho branco, iguais à autora, não estarão a salvo das ADMs por muito tempo.

Voltando ao caso dos professores, no governo Reagan, um relatório alarmista chamado Nação em Risco iniciou uma cruzada contra os professores com baixa performance, responsabilizados por uma suposta piora no ensino estadunidense — segundo a queda média das notas no exame nacional padronizado (SAT). Quando a isso, O’Neil explica o Paradoxo de Simpson: quando a tendência do todo é oposta a tendência das partes desagregadas. Ou seja, embora a média nacional, realmente, tivesse declinado, isso se deu pela ampla inclusão de mais parcelas da população nos exames, contudo, avaliando separadamente os diferentes estratos sociais, dos mais pobres aos mais ricos, todos eles tinham uma trajetória ascendente nas notas. Apesar disso, a cultura de avaliação de professores prosperou.

Entre os critérios de avaliação, no lugar de estabelecer comparações entre o resultado de diferentes escolas, a opção adotada, com o objetivo de evitar a desigualdade de comparar classes sociais e alunos de desempenho distintos, foi a questionável escolha de comparar os resultados obtidos com os resultados esperados. Só que os valores esperados eram, eles próprios, baseados em mais estatísticas problemáticas — por falta de escala e indicadores diretos — , ao ponto das pontuações finais serem completamente aleatórias e não confiáveis. Embora opaco, professores, que eram miseravelmente avaliados em um ano e avaliados com excelência no ano seguinte, passaram a desconfiar que o problema era que em turmas repletas de alunos em ambos os extremos — muito ruins e muito bons — era difícil melhorar os resultados dos testes, ao passo que turmas medianas apresentavam maior melhora nos resultados de um ano ao outro.

Existem medidas para lidar com o atual problema de mensuração de professores, a exemplo da ampliação dos critérios avaliativos, para além dos resultados da SAT. Outras ações partem da sociedade civil, como o boicote às provas — que tomam cada vez mais espaço e energias do ano letivo. E isso levou, inclusive, a uma suspensão das avaliações pelo governador de Nova Iorque.

[A imprecisão das ferramentas avaliativas é um ponto. Outra ressalva, sem dúvida, é contra formas de avaliação que onerem o processo educacional com exames. Não obstante, é preciso questionar a lógica do ranqueamento, na medida em que não necessariamente os piores colocados serão sempre exemplos de desempenho insuficiente, isto é, e se todos forem razoavelmente bons? A lógica comparativa e competitiva, somada à ideia de perpétuo aprimoramento, extrapola situações problemáticas onde melhoras são vitais para estressar qualquer contexto com suas expectativas. Justamente, se um determinado grupo avaliado possui um desempenho elevado, poderá ele estar em piores condições para melhorar ainda mais os seus resultados.]

Capítulo 8 — Danos Colaterais: Obtendo Crédito

O escore FICO para análise de crédito foi um avanço em relação à discricionariedade dos agentes bancários do passado. Esse escore se alimenta de dados relevantes sobre o comportamento financeiro individual dos avaliados. Funciona com um feedback saudável, onde as avaliações são corrigidas de acordo com o comportamento posterior dos tomadores de crédito. Além do mais, existe transparência sobre os critérios adotados, bem como o sistema possui explicabilidade e orienta as pessoas sobre formas de melhorar seus escores. O escore FICO é regulado e seu emprego é controlado [isso não significa que problemas sociais deixem de ser reproduzidos, mas existe uma diferença entre reproduzir e multiplicar problemas. O maior problema da ampliação do crédito, que acompanhou tal tecnologia, parece ter sido os próprios efeitos da ampliação do consumo via crédito, a partir dos anos 70, o que mascarou a própria deterioração do Estado de Bem-Estar Social e do mundo do trabalho].

Os e-escores, como o da Neustar, diferentemente do FICO, são opacos, desregulados e alimentados com proxies. A partir desse mercado de dados paralelo, diversas empresas classificam e hierarquizam clientes, com base em históricos de navegação virtual e compras, ou de localização. A partir desses ranques, clientes podem ser desigualmente tratados e receberem ofertas diferenciadas.

O pior de tudo é que, com o uso de indicadores aproximados (proxies) para determinar as variáveis de interesse, a classificação não é exatamente sobre o padrão individual do cliente e sim sobre a semelhança do mesmo para com determinados grupos de clientes, “baldes”. Nesse sentido, não existe um feedback que avalie individualmente a precisão das avaliações, pois desde que no agregado a eficiência, fluxo e lucratividade das operações seja atingida, qualquer injustiça — pessoa alocado no “balde” errado — será um mero dano colateral.

Infelizmente, mesmo exigindo permissão, o uso de escores de crédito para outros fins — convertendo os mesmos em proxies — se generalizou. Assim, uma pessoa com uma pontuação ruim em seu histórico de crédito poderá perder a oportunidade de um novo emprego ou ser afetada em outros âmbitos da sua vida sem nenhuma relação com o histórico financeiro. A justificativa é que correlações entre o histórico de crédito e diversos outros atributos desejáveis tendem a funcionar — para as empresas. Todavia, esse critério prejudica desproporcionalmente pessoas pobres e racializadas, fato que inclusive já havia levado à proibição de seu uso em contratações em 10 estados dos EUA.

“Alguns vendedores de dados, sem dúvida, são mais confiáveis que outros. Mas qualquer operação que tente perfilar centenas de milhões de pessoas a partir de milhares de fontes diferentes terá muitos fatos errados.”

Outro problema comum nesses bancos de dado e escores é que muitas confusões ou erros podem alimentar resultados injustos: “entra lixo, sai lixo”. Por exemplo, é fácil confundir pessoas com nomes parecidos e injustiçar alguém pelos antecedentes criminais de outros, ou até situações mais graves como confundir pessoas listadas como terroristas.

Devido à lógica de cortar custos, a automação dessas avaliações compreende as pessoas avaliadas como produtos e almeja produzir de forma barata, assim, não existem grandes incentivos para verificar ou atualizar dados. Um exemplo é o ranqueamento da RealPage, uma empresa que não tem o menor interesse em gastar dinheiro com a verificação de dados e, ao mesmo tempo, fornece seus serviços para as finalidades mais diversas e de modo nada transparente. Sem contar que, mesmo quando as informações são disponibilizadas para os avaliados, não adianta apenas questionar erros de entrada, se as avaliações e o funcionamento dos modelos que as fazem são sigilosos. Pois assim, as saídas, os resultados, seguem nebulosos ou invisíveis.

“Quando sistemas automáticos analisam nossos dados para nos medir e dar um e-escore, eles naturalmente projetam o passado no futuro.”

Por mais paradoxal que possa parecer, a automação utilizada para superar vieses humanos [ou simplesmente baratear e acelerar processos] demandaria a supervisão atenta desses mesmos humanos.

O caso da American Express ilustra os inconvenientes da regulamentação, do ponto de vista dos bancos. Em 2009, com o objetivo de reavaliar e diminuir o limite de crédito de certos clientes, a empresa estabeleceu correlações entre padrões de compra em certos estabelecimentos e risco de inadimplência. Devido a regulamentação, entretanto, a empresa foi obrigada a notificar seus clientes sobre a mudança e isso gerou uma enorme repercussão na mídia, seguida do recuo da empresa.

Por outro lado, empresas de avaliação como a ZestFinance, não sofrem da mesma regulamentação e podem combinar os escores de crédito regulados com outros dados e criar seus e-escores paralelos. No caso dessa última, ela oferecia empréstimos com menos juros, porém, incluía em seu algoritmo dados como o tempo de leitura e a ortografia dos clientes perante formulários.

É nesse fosso que o setor regulado acaba por se apropriar de inovações desregulamentadas, a exemplo do Lending Club, que vem ganhando cada vez mais investimento. A saber, é um sistema de empréstimos peer-to-peer, que conecta quem quer emprestar e quem quer tomar empréstimos, em tese, democratizando o sistema bancário. Entretanto, o sucesso da empresa se deve, argumenta O’Neil, à facilidade com que as gigantes do setor conseguem maquiar suas próprias operações no interior desses empreendimentos, com a finalidade de driblar a regulamentação e alavancar lucros.

“Com o implacável crescimento dos e-escores, somos colocados em lotes e baldes de acordo com fórmulas secretas, algumas delas alimentadas por dossiês cheios de erros. Somos vistos não como indivíduos mas como membros de tribos, e ficamos atados a essa designação.”

Capítulo 9 — Zona de Perigo: Obtendo Seguro

Em 1886, o estatístico Frederick Hoffman publicou um estudo relacionando raça com um nível de risco que tornaria inviável ofertar apólices de seguro a pessoas negras. O problema, argumenta O’Neil, estava em confundir a raça como causa da situação social desfavorecida, ao passo que a raça era só uma correlação — pessoas negras eram desproporcionalmente mais socialmente vulneráveis — e a causa eram injustiças sociais racistas, não a raça em si. O estudo também generalizava suas considerações, tratando toda a população negra como homogênea e ignorando qualquer estratificação relacionada à classe, ao gênero, à região ou ao estilo de vida. Essa concepção segregacionista levou à prática do red-linging (linha vermelha), que determinava o ponto (racial) a partir do qual ninguém era segurável, excluindo populações inteiras.

Foi no final do século XVII que estatísticos passaram a analisar os dados de populações e perfilar as mesmas. Somente em tempos recentes, porém, que o Big Data apoia uma pretensão declarada de individualização das previsões.

Seguradoras automotivas, por exemplo, chegam a considerar em seus modelos de risco mais o nível de credibilidade de seus clientes do que o histórico ao volante deles. O’Neil explica que a prática de privilegiar proxies, ainda que as variáveis relevantes possam ser diretamente avaliadas, serve ao lucro, isto porque estabelece critérios que justificam a exploração desigual de motoristas socialmente vulneráveis, menos propensos a recorrer judicialmente ou obter melhores opções.

Indo além, a seguradora Allstate, concentra sua precificação em modelos baseados em padrão de consumo, a fim de cobrar mais de pessoas que costumam pagar mais, que costumam fazer mals negócios. Essa empresa opera com cerca de 100 mil microssegmentos de clientes, uma infinidade de pequenos grupos diferentemente perfilados e servidos.

Já a Swift Transportation, maior transportadora dos EUA, vem aplicando um monitoramento de seus funcionários ao volante que não apenas otimiza a operação e os recursos consumidos, como compara o desempenho de motoristas e avalia o risco individual.

“O objetivo declarado dessa vigilância [com uma câmera na estrada e outra no motorista] era reduzir acidentes. Cerca de setecentos caminhoneiros morrem nas rodovias dos EUA todos os anos. E esses acidentes também levam a vida de muitos motoristas em outros veículos. Além da tragédia pessoal, isso custa muito dinheiro. O custo médio de um acidente fatal, de acordo com a Federal Motor Carrier Safety Administration, é de US$ 3,5 milhões.”

“Mas com tal imenso laboratório para análises em mãos, as transportadoras não param no quesito segurança. Se combinarmos geolocalização, câmeras e tecnologia embutida de rastreamento, os caminhoneiros entregam um fluxo rico e constante de dados comportamentais. As transportadoras agora podem analisar diferentes rotas, acessar gerenciamento de combustível e comparar resultados em diferentes horários do dia e noite. Podem até calcular a velocidade ideal para diferentes superfícies de estradas. E elas usam esses dados para entender quais padrões fornecem mais receita ao custo mais baixo.”

Em troca do acesso a dados de rastreamento, seguradoras automotivas oferecem descontos em seus produtos. Embora isso seja melhor do que avaliar informações alheias ao histórico de direção, ainda assim, as estatísticas segmentam cada histórico individual em grupos de comportamento semelhante. Esse refinamento dos modelos baseado em mais dados pode levar, na medida que gere lucros, a um custo obrigatório pela privacidade, como um luxo custoso. Sem contar que, em tese, os seguros deveriam funcionar como uma redistribuição social de prejuízos que, por ventura, recaem sobre indivíduos. Contudo, o avanço do cálculo de risco faz com que individualmente seja necessário pagar antecipadamente pela incerteza futura.

Um experimento da Sense Network usou machine learning para agrupar pessoas, com base na localização de seus telefones celulares, segundo os próprios critérios da máquina. Com o tempo os segmentos surgiram, mas não se encaixavam em nenhum dos recortes habituais, como os de gênero, raça, classe social ou CEP. Essa é a tendência da análise comportamental automatizada com dados individualizados: gerar grupos por critérios indecifráveis e então aplicar os resultados — se der lucro, tudo certo.

Aarom Abrams é professor universitário, segurado pela Anthem, empresa que opera um programa de bem-estar. A despeito das boas justificativas, diversos dados do professor são coletados e, de acordo com metas do programa, o trabalhador em questão pode ser multado, sob a justificativa de que seus custos com plano de saúde, pago pelo empregador, serão potencialmente mais elevados. O problema desse tipo de programa de bem-estar é que, além do controle excessivo sobre os corpos da força de trabalho, ainda podem adotar parâmetros equivocados, como o Índice de Massa Corporal (IMC), que tira conclusões de uma razão simples entre peso e altura.

Nesse sentido, o exemplo da rede de drogarias CVS, com várias metas que punem funcionários pelo peso, não passa de gordofobia. Ademais, faltam evidências de que tais programas realmente são eficientes em cumprir suas metas e que tais resultados significam economia para os planos de saúde. Uma vez que diversas doenças se manifestam apenas numa idade mais avançada, seus custos oneram o Obamacare e não o plano da empresa, assim, portanto, a economia proporcionada aos planos de saúde por tais programas proviria mais das multas do que da saúde.

Capítulo 10 — O Cidadão-Alvo: A Vida Cívica

Em 2010, o Facebook rodou uma campanha para incentivar votos, na qual, usuários que votavam anunciavam o feito e isso era compartilhado entre os amigos na rede social. A estimativa é de que a campanha influenciou 340 mil pessoas a votar, num universo de eleitores de pouco mais de 60 milhões.

Outra iniciativa, de 2012, tratou de priorizar notícias, no lugar de postagens menos relevantes e medir os efeitos de um jornal “entregue por amigos”.

Para testar potenciais alterações de humor dos usuários, de modo similar, postagens foram categorizadas como pessimistas ou otimistas e sua proporção foi diversamente distribuída entre dois grupos diferentes, resultando em uma confirmação da capacidade da rede social em influenciar o humor dos usuários.

Apesar de estratégias do tipo não serem novidade, a imprensa tradicional jamais pôde manipular seu público com tamanha opacidade. Justamente, campanhas virtuais do gênero [bem como o próprio funcionamento padrão das grandes plataformas] podem seguir completamente aparte dos olhares e opiniões do público em geral e do próprio governo. É esse potencial de conversão dos ecossistemas geridos pelas gigantes de tecnologia em ADMs de manipulação política que se expressa no problema eleitoral da microssegmentação, a saber, o apelo político a discursos diversos e contraditórios, sob medida para públicos diversos ou antagônicos. Tamanha “versatilidade” tende a ser inibida por vazamentos, como quando falas elitistas chegam até potenciais eleitores mais modestos, contudo, com as plataformas, a possibilidade de segmentar sigilosamente o eleitorado eleva à máxima potência as piores práticas da publicidade.

Esforços da campanha de reeleição de Obama, seguidos pela campanha de Hillary Clinton, buscaram aplicar técnicas de perfilamento de clientes para segmentar e realizar um microdirecionamento de propaganda política, com finalidades diversas, tais quais angariar votos, trabalho voluntário ou arrecadação de fundos.

No exemplo discutido por O’Neil, a ideia é separar grupos como, de um lado, o de consumidores fiéis de determinada marca do perfil e, de outro lado, consumidores suscetíveis a troca, de um produto ou candidato, mediante algum investimento de campanha ou cupom de desconto. A principal diferença entre os casos é que para prever padrões de consumo é possível obter dados anônimos diretamente do histórico de consumo dos clientes, ao passo que o comportamento político carece de dados tão diretos.

Uma alternativa é estudar uma amostra de eleitores, estabelecendo o perfil político e hierarquizando o potencial dos mesmos para os objetivos da campanha, em seguida, traçar um perfil social da amostra e classificar o universo de eleitores de acordo com os traços sociais da amostra, na expectativa de compreender o comportamento político mais amplo. A partir daí é possível aplicar testes A/B de anúncios e refinar a propaganda identificando as modalidades de maior eficácia.

As promessas de efetividade desse tipo de direcionamento de campanha, ainda assim, são excessivas e não deixam de iludir os próprios partidos contratantes.

Além de cindir o eleitorado, alimentando cada segmento com campanhas subterrâneas distintas, o processo implica na hierarquização dinâmica do eleitorado, atribuindo um valor volátil aos votos, seja porque se trata de um estado decisivo nas eleições contra outro de maioria já decidida ou seja porque determinados doadores fracionam suas doações de modo a se manterem atrativos para as campanhas ao longo de todo o pleito e outros doadores não.

O pior do microdirecionamento é sua opacidade, como modo de burlar a responsabilização, o que serve muito bem para propagar fakenews, que seriam ou já foram barradas de meios de comunicação de massas mais padronizados e visíveis. Contudo, se essa personalização fosse empregada para auxiliar a população, com conteúdos adequados a necessidades diversas, então o tipo de ADM em questão seria desarmada e voltada ao bem público.

Conclusão

Em 1999, o presidente Bill Clinton aprovou uma lei homofóbica a respeito dos matrimônios, em resposta, a empresa IMB — seguindo a tendência de outras do ramo — incluiu parceiros do mesmo sexo em seus benefícios, a fim de atrair talentos da comunidade LGBT+ para seus quadros.

Se as empresas podem fazer a diferença, o contraste, entre o exemplo e o problema das ADMs, é que as últimas atingem sobretudo os mais pobres e são lucrativas. Falta incentivos de mercado para barrar tais ameaças.

Não obstante, O’Neil alerta que essas tecnologias encontram-se em seus primórdios e deverão afetar cada vez mais a classe média e a sociedade como um todo.

Se opor a essa matemática perversa não significa negar a falibilidade humana em lidar com os mesmos processos, contudo, explica a autora, sistemas automatizados são estanques e carecem da iniciativa humana para alterar a programação e atualizar as diretrizes morais vigentes nos modelos.

Novamente, a solução seria trazer a público os perigos, por meio de uma imprensa séria, somar isso a uma movimentação social, semelhante ao papel dos sindicatos pelos direitos trabalhistas, e estabelecer regulamentações que freiem abusos, assim como ocorrera em casos como o da exploração da classe trabalhadora e abusos ao consumidor ao longo da segunda revolução industrial.

Cabe conscientizar a comunidade de desenvolvedores, em termos éticos. Seria ingenuidade, por outro lado, ignorar as pressões externas e superiores que tais profissionais sofrem por seus contratantes. Enquanto as métricas de sucesso de algoritmos estiverem submetidas ao interesse do lucro, haverá pouca margem para a criticidade. Quanto a revisão das métricas de sucesso, ademais, segundo O’Neil, é preciso afastar a ideia de que todo valor atribuído pelo homem pode ser quantificado.

As esperanças excessivas, seja no livre mercado ou em algoritmos milagrosos, são parte do problema.

É preciso implementar auditorias nos modelos algorítmicos, externas e que deem transparência e controle sobre tais tecnologias. Em muitos casos, dada a complexidade e estado rudimentar dos modelos, qualquer aplicação real e que impacte diretamente a vida de pessoas deve ser barrada.

Para que modelos automatizados sejam considerados seguros, necessariamente, eles precisam apresentar ciclos positivos de feedback, onde erros sejam apresentados e se traduzam em aprendizagem e aprimoramento das ferramentas, pois do contrário é a realidade que acaba tensionada para se ajustar a imprecisão e distorção dos modelos.

Em termos de auditorias, vitais para a regulamentação dos serviços, o escrutínio pode se voltar tanto para os outputs (resultados) avaliando seus impactos e justeza, quanto, sobretudo em casos de danos e erros, para os inputs (dados empregados) dos modelos. Não deve ser um tabu tornar os algoritmos mais ignorantes, se a questão for ignorar variáveis que reproduzam preconceitos e injustiças. Nessa linha, plataformas e empresas no geral deveriam ser mais amigáveis ao trabalho de pesquisadores externos que busquem compreender, fiscalizar e aprimorar os modelos.

A respeito dos microdirecionamentos, iniciativas de crowdsourcing — em que usuários relatam suas experiências particulares, expondo o tipo de propaganda e atendimento que recebem — são importantes recursos para aumentar a transparência.

Os escores eletrônicos ou de crédito precisam ser regulados, ter seu emprego notificado e funcionar com transparência e explicabilidade. O exemplo europeu, de proibição do reuso (e venda) de dados, pode ser um caminho.

A autora trabalhou como voluntária em um modelo de reincidência de pessoas em situação de rua em abrigos. O estudo permitiu identificar, dentre as várias iniciativas já realizadas, um programa governamental eficiente — que assegurava estabilidade às famílias assistidas. O resultado da análise, todavia, desagradou a prefeitura, que aposta em uma solução diversa. Como destaca O’Neil, esse é um exemplo de que o bom uso dos números, apesar de tudo, pode esbarrar em disposições sociais contrárias e inviabilizar soluções tecnicamente bem municiadas.

Mira Bernstein, associada à Made in a Free World, por meio do cruzamento de diversos dados, desenvolveu um modelo que concede notas a empresas segundo a probabilidade de haver trabalho escravo, direta ou indiretamente, em suas linhas de produção ou componentes de seus produtos. Não se trata de um veredito final e as empresas suspeitas devem ser investigadas pela sociedade civil ou autoridades competentes. Desse modo, falsos positivos, onde notas elevadas são atribuídas para empresas inocentes, se tornam um feedback positivo usado para aprimorar os resultados do modelo.

O exemplo da Eckerd, com um algoritmo de predição de risco de abuso infantil, demonstra que um modelo similar ao de ADMs, se bem interpretado e aplicado, pode ser usado de forma benigna. A análise de risco não é empregada para punir famílias suspeitas, diversamente, quando uma criança se encontra em maior risco, simplesmente, ela ganha certa prioridade na alocação de recursos de proteção. O resultado é que, na localidade em que o modelo fora implementado, as violências fatais contra crianças foram zeradas [um exemplo de boa alocação de apoio à população, no lugar de punir antecipadamente pessoas por avaliações de risco].