Poderia algo que não é humano reproduzir um comportamento exclusivamente humano? Ou, mais especificamente, poderia um algoritmo ser sexista?
O pesquisador da Microsoft Tarleton Gillespie, um dos grandes pensadores da área, argumenta que sim: por ser uma criação humana, qualquer algoritmo traria em seus padrões e seleções uma reflexão das próprias características dos seres humanos — tanto as boas quanto as ruins. E a Apple pode ser a empresa mais recente a reproduzir essa noção.
Explico: nos últimos dias, uma polêmica formou-se em torno do algoritmo de crédito do Apple Card — para quem não sabe, o cartão de crédito da Maçã tem um processo de configuração quase automático, em que o usuário precisa apenas fornecer alguns dados e terá seu limite de crédito apresentado quase instantaneamente pela Apple (e pelo banco Goldman Sachs). Tudo começou quando o desenvolvedor David Heinemeier Hanson, criador do framework Ruby on Rails, acusou o algoritmo do cartão de ser sexista:
Hanson afirmou que o problema vai ainda mais a fundo, notando que, ao contrário dele, o Apple Card da sua esposa não permite que novas compras sejam feitas até o próximo período de cobrança, mesmo que ela já tenha pago a fatura mais recente. O serviço de atendimento ao cliente do cartão também foi criticado pelo desenvolvedor, que reclamou do fato de que os agentes não são autorizados a discutir o processo de liberação de crédito e não podem apresentar evidências para aquela decisão.
Hanson e sua esposa, inclusive, pagaram US$25 para checar o Score de Crédito de ambos no sistema bancário americano — e, para a surpresa dos dois (e da Apple, que estava comunicando-se com o casal), a pontuação dela era maior que a do marido. Ou seja, não haveria explicação plausível para o fenômeno que não uma tendência preconceituosa embutida no algoritmo. Como afirmou o desenvolvedor:
Após o relato de Hanson, vários outros usuários afirmaram ter sofrido problemas parecidos. Um deles foi ninguém menos que Steve Wozniak, cofundador da Apple:
A repercussão da história e a quantidade de relatos publicados nas mídias sociais foi suficiente para chamar a atenção das autoridades. Em um post no Medium, a Superintendente do Departamento de Serviços Financeiros do Estado de Nova York, Linda Lacewell, afirmou que investigará o caso com sua equipe e buscará mais informações sobre o tal algoritmo da Apple e do Goldman Sachs.
A servidora lembrou, ainda, que a lei do Estado de Nova York proíbe discriminação contra quaisquer classes protegidas de indivíduos e, portanto, qualquer método para determinar limites de crédito — incluindo algoritmos — não pode incluir tratamento diferenciado para pessoas com base em idade, religião, raça, cor, gênero, orientação sexual, nacionalidade ou outras características. A mesma lei vale para vários outros estados americanos e territórios no mundo.
A Apple não se pronunciou sobre o caso, mas o Goldman Sachs foi ao Twitter para dar sua versão dos fatos. O comunicado do banco fala o seguinte:
Com o Apple Card, sua conta é individual, assim como sua linha de crédito; você estabelece seu próprio histórico direto de crédito. Clientes não compartilham linhas de crédito sob a conta de um membro da família ou outra pessoa com cartões adicionais.
Como qualquer outro cartão de crédito individual, seu pedido é avaliado independentemente. Nós analisamos a renda e a credibilidade de cada indivíduo, o que inclui fatores como Score de Crédito pessoal, as dívidas que você tem e como essas dívidas são gerenciadas. Com base nesses fatores, é possível que duas pessoas da mesma família recebam decisões de crédito significativamente diferentes.
Em todos os casos, nós não fazemos e não faremos decisões baseados em fatores como gênero.
Em todo caso, a investigação do departamento novaiorquino ainda está em curso e deveremos ouvir mais informações sobre o caso em breve. O que vocês acham?
via MacRumors