Autoridades investigam se o algoritmo de crédito do Apple Card é sexista Uma discussão interessante sobre robôs, preconceitos e o sistema bancário

Poderia algo que não é humano reproduzir um comportamento exclusivamente humano? Ou, mais especificamente, poderia um algoritmo ser sexista?

O pesquisador da Microsoft Tarleton Gillespie, um dos grandes pensadores da área, argumenta que sim: por ser uma criação humana, qualquer algoritmo traria em seus padrões e seleções uma reflexão das próprias características dos seres humanos — tanto as boas quanto as ruins. E a Apple pode ser a empresa mais recente a reproduzir essa noção.

Explico: nos últimos dias, uma polêmica formou-se em torno do algoritmo de crédito do Apple Card — para quem não sabe, o cartão de crédito da Maçã tem um processo de configuração quase automático, em que o usuário precisa apenas fornecer alguns dados e terá seu limite de crédito apresentado quase instantaneamente pela Apple (e pelo banco Goldman Sachs). Tudo começou quando o desenvolvedor David Heinemeier Hanson, criador do framework Ruby on Rails, acusou o algoritmo do cartão de ser sexista:

O @AppleCard é um programa sexista da porra. Minha esposa e eu fizemos declaração de imposto conjunta, vivemos em uma propriedade de posse conjunta e somos casados há muito tempo. Ainda assim, o algoritmo misterioso da Apple acha que eu mereço 20x o limite de crédito que ela merece. Não adianta reclamar.

Hanson afirmou que o problema vai ainda mais a fundo, notando que, ao contrário dele, o Apple Card da sua esposa não permite que novas compras sejam feitas até o próximo período de cobrança, mesmo que ela já tenha pago a fatura mais recente. O serviço de atendimento ao cliente do cartão também foi criticado pelo desenvolvedor, que reclamou do fato de que os agentes não são autorizados a discutir o processo de liberação de crédito e não podem apresentar evidências para aquela decisão.

Hanson e sua esposa, inclusive, pagaram US$25 para checar o Score de Crédito de ambos no sistema bancário americano — e, para a surpresa dos dois (e da Apple, que estava comunicando-se com o casal), a pontuação dela era maior que a do marido. Ou seja, não haveria explicação plausível para o fenômeno que não uma tendência preconceituosa embutida no algoritmo. Como afirmou o desenvolvedor:

Então vamos recapitular aqui: a Apple oferece um cartão que baseia seu limite de crédito num algoritmo misterioso que não pode ser analisado por seis representantes diferentes da empresa ou do Goldman Sachs. Mesmo com várias camadas de gerência. Uma investigação interna. É SÓ O ALGORITMO!

Então ninguém entende O ALGORITMO. Ninguém tem o poder de examinar ou checar O ALGORITMO. Ainda assim, todo mundo com quem falamos na Apple e no Goldman Sachs tem ABSOLUTA CERTEZA de que O ALGORITMO não é enviesado ou discriminador em qualquer circunstância. Isso é um caso preocupante de dissonância cognitiva.

Após o relato de Hanson, vários outros usuários afirmaram ter sofrido problemas parecidos. Um deles foi ninguém menos que Steve Wozniak, cofundador da Apple:

A mesma coisa aconteceu conosco. Eu recebi 10x o limite de crédito. Nós não temos cartões ou contas de banco separadas, nem ativos individuais. Mas é difícil conseguir que um humano corrija o problema. É a tecnologia em 2019.

A repercussão da história e a quantidade de relatos publicados nas mídias sociais foi suficiente para chamar a atenção das autoridades. Em um post no Medium, a Superintendente do Departamento de Serviços Financeiros do Estado de Nova York, Linda Lacewell, afirmou que investigará o caso com sua equipe e buscará mais informações sobre o tal algoritmo da Apple e do Goldman Sachs.

A servidora lembrou, ainda, que a lei do Estado de Nova York proíbe discriminação contra quaisquer classes protegidas de indivíduos e, portanto, qualquer método para determinar limites de crédito — incluindo algoritmos — não pode incluir tratamento diferenciado para pessoas com base em idade, religião, raça, cor, gênero, orientação sexual, nacionalidade ou outras características. A mesma lei vale para vários outros estados americanos e territórios no mundo.

A Apple não se pronunciou sobre o caso, mas o Goldman Sachs foi ao Twitter para dar sua versão dos fatos. O comunicado do banco fala o seguinte:

Com o Apple Card, sua conta é individual, assim como sua linha de crédito; você estabelece seu próprio histórico direto de crédito. Clientes não compartilham linhas de crédito sob a conta de um membro da família ou outra pessoa com cartões adicionais.

Como qualquer outro cartão de crédito individual, seu pedido é avaliado independentemente. Nós analisamos a renda e a credibilidade de cada indivíduo, o que inclui fatores como Score de Crédito pessoal, as dívidas que você tem e como essas dívidas são gerenciadas. Com base nesses fatores, é possível que duas pessoas da mesma família recebam decisões de crédito significativamente diferentes.

Em todos os casos, nós não fazemos e não faremos decisões baseados em fatores como gênero.

Em todo caso, a investigação do departamento novaiorquino ainda está em curso e deveremos ouvir mais informações sobre o caso em breve. O que vocês acham?

via MacRumors

Taggeado:

Posts relacionados

Comentários