Can a machine be racist? Artificial Intelligence has shown troubling signs of bias, but there are reasons for optimism

Wed, 22 Mar 2023 13:03:53 +1100

Andrew Pam <xanni [at]>

Andrew Pam

"Review: More than a Glitch: Confronting Race, Gender and Ability Bias in
 – Meredith Broussard (MIT Press)

One day in mid-2013, four people, including two police officers and a social
worker, arrived unannounced at the home of Chicago resident Robert McDaniel.

McDaniel had only ever had minor run-ins with the law – street gambling,
marijuana possession, nothing even remotely violent. But his visitors informed
him that a computer program had determined that the person living at his
address was unusually likely to be involved in a future shooting.

Perhaps he would be the perpetrator, perhaps the victim. The computer wasn’t
sure. But due to something called “predictive policing”, the social worker and
the police would be visiting him on a regular basis.

McDaniel was not enthusiastic about either prospect, but the computer had made
its decision, so they were offers he could not refuse.

The social worker returned frequently with referrals to mental health programs,
violence prevention programs, job training programs, and so forth. The police
also returned frequently – to remind him that he was being watched.

The official attention did not go unnoticed in McDaniel’s neighbourhood.
Rumours spread that he was a police informant. In 2017, those rumours led to
him being shot. In 2020, it happened again.

Thus, in a bizarre sense, the computer’s prediction could be said to have
caused the tragedy it claimed to predict. Indeed, it could be said to have
caused it twice."

       *** Xanni ***
--               Andrew Pam                 Chief Scientist, Xanadu            Partner, Glass Wings               Manager, Serious Cybernetics

Comment via email

Home E-Mail Sponsors Index Search About Us