Algorithmic fairness in police investigative work: Ethical analysis of machine learning methods for facial recognition

Authors

DOI:

https://doi.org/10.14512/tatup.32.1.24

Keywords:

fairness, policing, algorithmic bias, machine learning

Abstract

This article discusses fairness in artificial intelligence (AI) based policing procedures using facial recognition as an example. Algorithmic decisions based on discriminatory dynamics can (re)produce and automate injustice. AI fairness here concerns not only the creation and sharing of datasets or the training of models but also how systems are deployed in the real world. Quantifying fairness can distract  rom how discrimination and oppression translate concretely into social phenomena. Integrative approaches can help actively incorporate ethical, legal, social, and economic factors into technology development to more holistically assess the consequences of deployment through continuous interdisciplinary collaboration.

References

Albiero, Vítor; Zhang, Kai; King, Michael; Bowyer, Kevin (2022): Gendered differences in face recognition accuracy explained by hairstyles, makeup, and facial morphology. In: Transactions on Information Forensics and Security 17, S. 127–137. https://doi.org/10.1109/TIFS.2021.3135750 DOI: https://doi.org/10.1109/TIFS.2021.3135750

Albrecht, Thorben; Kellermann, Christian (2020): Künstliche Intelligenz und die Zukunft der digitalen Arbeitsgesellschaft. Konturen einer ganzheitlichen Technikfolgenabschätzung. Working Paper Forschungsförderung, Nr. 200. Düsseldorf: Hans-Böckler-Stiftung.

Anwarul, Shahina; Dahiya, Susheela (2020): A comprehensive review on face recognition methods and factors affecting facial recognition accuracy. In: Pradeep Singh, Arpan Kar, Yashwant Singh, Maheshkumar Kolekar und Sudeep Tanwar (Hg.): Proceedings of ICRIC 2019. Cham: Springer, S. 495–514. https://doi.org/10.1007/978-3-030-29407-6_36 DOI: https://doi.org/10.1007/978-3-030-29407-6_36

Bacchini, Fabio; Lorusso, Ludovica (2019): Race, again. How face recognition technology reinforces racial discrimination. In: Journal of Information, Communication and Ethics in Society 17 (3), S. 321–335. https://doi.org/10.1108/jices-05-2018-0050 DOI: https://doi.org/10.1108/JICES-05-2018-0050

Berk, Richard; Heidari, Hoda; Jabbari, Shahin; Kearns, Michael; Roth, Aaron (2018): Fairness in criminal justice risk assessments. The state of the art. In: Sociological Methods & Research 50 (1), S. 3–44. https://doi.org/10.1177/0049124118782533 DOI: https://doi.org/10.1177/0049124118782533

Bhanot, Karan; Qi, Miao; Erickson, John; Guyon, Isabelle; Bennett, Kristin (2021): The problem of fairness in synthetic healthcare data. In: Entropy 23 (9), S. 1–21. https://doi.org/10.3390/e23091165 DOI: https://doi.org/10.3390/e23091165

Birhane, Abeba et al. (2022): The forgotten margins of AI ethics. In: FACCT’22. Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, S. 948–958. https://doi.org/10.1145/3531146.3533157 DOI: https://doi.org/10.1145/3531146.3533157

Bundespolizei (2018): Projekt zur Gesichtserkennung erfolgreich. Testergebnisse veröffentlicht. Online verfügbar unter www.bundespolizei.de/Web/DE/04Aktuelles/01Meldungen/2018/10/181011_abschlussbericht_gesichtserkennung.html, zuletzt geprüft am 17. 01. 2023.

Buolamwini, Joy; Gebru, Timnit (2018): Gender shades. Intersectional accuracy disparities in commercial gender classification. In: Proceedings of Machine Learning Research 81, S. 1–15. Online verfügbar unter https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf, zuletzt geprüft am 17. 01. 2023.

Datta, Anupam; Fredrikson, Matthew; Ko, Gihyuk; Mardziel, Piotr; Sen, Shayak (2017): Use privacy in data-driven systems. Theory and experiments with machine learnt programs. In: Proceedings of the 2017 ACM SIGSAC Conference, S. 1193–1210. https://doi.org/10.1145/3133956.3134097 DOI: https://doi.org/10.1145/3133956.3134097

Eubanks, Virginia (2018): Automating inequality. How high-tech tools profile, police, and punish the poor. New York: St. Martin’s Press. https://doi.org/10.5204/lthj.v1i0.1386 DOI: https://doi.org/10.5204/lthj.v1i0.1386

Europäische Kommission (2021): Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union. 2021/0106 (COD). Brüssel: Europäische Kommission.

Europäische Kommission (2018): Ethik-Leitlinien für eine vertrauenswürdige KI. Brüssel: Europäische Kommission. https://doi.org/10.1007/978-3-663-09857-7_27 DOI: https://doi.org/10.1007/978-3-663-09857-7_27

Fischer, Maximilian; Hirsbrunner, Simon; Jentner, Wolfgang; Miller, Matthias; Keim, Daniel; Helm, Paula (2022): Promoting ethical awareness in communication analysis. Investigating potentials and limits of visual analytics for intelligence applications. In: FACCT’22. Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, S. 877–889. https://doi.org/10.1145/3531146.3533151 DOI: https://doi.org/10.1145/3531146.3533151

Gajane, Pratik; Pechenizkiy, Mykola (2018): On formalizing fairness in prediction with machine learning. In: arxiv.org. https://doi.org/10.48550/ARXIV.1710.03184

Garvie, Clare; Frankle, Jonathan (2016): Facial-recognition software might have a racial bias problem. In: The Atlantic, 07. 04. 2017. Online verfügbar unter www.theatlantic.com/technology/archive/2016/04/the-underlying-bias-of-facial-recognition-systems/476991/, zuletzt geprüft am 17. 01. 2023.

Gressel, Céline; Orlowski, Alexander (2019): Integrierte Technikentwicklung. Herausforderungen, Umsetzungsweisen und Zukunftsimpulse. In: TATuP – Zeitschrift für Technikfolgenabschätzung in Theorie und Praxis 28 (2), S. 71–72. https://doi.org/10.14512/tatup.28.2.s71 DOI: https://doi.org/10.14512/tatup.28.2.s71

Hagendorff, Thilo (2019): Maschinelles Lernen und Diskriminierung. Probleme und Lösungsansätze. In: Österreichische Zeitschrift für Soziologie 44 (S1), S. 53–66. https://doi.org/10.1007/s11614-019-00347-2 DOI: https://doi.org/10.1007/s11614-019-00347-2

Helm, Paula; Hagendorff, Thilo (2021): Beyond the prediction paradigm. Challenges for AI in the struggle against organized crime. In: Law and Contemporary Problems 84 (3), S. 1–17. https://scholarship.law.duke.edu/lcp/vol84/iss3/2

Humm, Bernhard; Lingner, Stephan; Schmidt, Jan; Wendland, Karsten (2021): KI‑Systeme. Aktuelle Trends und Entwicklungen aus Perspektive der Technikfolgenabschätzung. In: TATuP – Zeitschrift für Technikfolgenabschätzung in Theorie und Praxis 30 (3), S. 11–16. https://doi.org/10.14512/tatup.30.3.11 DOI: https://doi.org/10.14512/tatup.30.3.11

John-Mathews, Jean-Marie; Cardon, Dominique; Balagué, Christine (2022): From reality to world. A critical perspective on AI fairness. In: Journal of Business Ethics 178, S. 945–959. https://doi.org/10.1007/s10551-022-05055-8 DOI: https://doi.org/10.1007/s10551-022-05055-8

Jürs, Martin (2022): Hamburg Airport. Lufthansa setzt auf Gesichtserkennung. In: fvw Travel Talk, 29. 04. 2022. Online verfügbar unter www.fvw.de/touristik/verkehr/hamburg-airport-lufthansa-setzt-auf-gesichtserkennung-225741, zuletzt geprüft am 17. 01. 2023.

Kleinberg, Jon; Mullainathan, Sendhil; Raghavan, Manish (2016): Inherent trade-offs in the fair determination of risk scores. In: arxiv.org. https://doi.org/10.48550/arXiv.2203.05051

Le Quy, Tai; Roy, Arjun; Iosifidis, Vasileios; Zhang, Wenbin; Ntoutsi, Eirini (2022): A survey on datasets for fairness-aware machine learning. In: WIREs Data Mining and Knowledge Discovery 12 (3), S. 1–59. https://doi.org/10.1002/widm.1452 DOI: https://doi.org/10.1002/widm.1452

Leslie, David (2020): Understanding bias in facial recognition technologies. An explainer. In: SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3705658 DOI: https://doi.org/10.2139/ssrn.3705658

Lippert-Rasmussen, Kasper (2013): Born free and equal? A philosophical inquiry into the nature of discrimination. Oxford: Oxford University Press. https://doi.org/10.1093/acprof:oso/9780199796113.001.0001 DOI: https://doi.org/10.1093/acprof:oso/9780199796113.001.0001

LKA Niedersachsen (2020): Künstliche Intelligenz. LKA Niedersachsen stellt Software zur Bekämpfung von Kinderpornografie bundesweit zur Verfügung. Online verfügbar unter www.lka.polizei-nds.de/a/presse/pressemeldungen/kuenstliche-intelligenz-lka-niedersachsen-stellt-software-zur-bekaempfung-von-kinderpornografie-bundesweit-zur-verfuegung-114750.html, zuletzt geprüft am 17. 01. 2023.

Mahoney, Trisha; Varshney, Kush; Hind, Michael (2020): AI fairness. Sebastopol: O’Reilly Media. Online verfügbar unter https://krvarshney.github.io/pubs/MahoneyVH2020.pdf, zuletzt geprüft am 17. 01. 2023.

Mehrabi, Ninareh; Morstatter, Fred; Saxena, Nripsuta; Lerman, Kristina; Galstyan, Aram (2021): A survey on bias and fairness in machine learning. In: ACM Computing Surveys 54 (6), S. 1–35. https://doi.org/10.1145/3457607 DOI: https://doi.org/10.1145/3457607

Merler, Michele; Ratha, Nalini; Feris, Rogerio; Smith, John (2019): Diversity in faces. In: arxiv.org. https://doi.org/10.48550/arXiv.1901.10436

Monroy, Matthias (2022): DNA, Gesichtsbilder und Fingerabdrücke. Biometrische BKA-Systeme enthalten Datenblätter zu zehn Millionen Personen. In: Netzpolitik.org, 09. 03. 2022. Online verfügbar unter https://netzpolitik.org/2022/dna-gesichtsbilder-und-fingerabdruecke-biometrische-bka-systeme-enthalten-datenblaetter-zu-zehn-millionen-personen, zuletzt geprüft am 17. 01. 2023.

Roth, Lorna (2009): Looking at Shirley, the ultimate norm. Colour balance, image technologies, and cognitive equity. In: Canadian Journal of Communication 34 (1), S. 111–136. https://doi.org/10.22230/cjc.2009v34n1a2196 DOI: https://doi.org/10.22230/cjc.2009v34n1a2196

Ruf, Boris; Detyniecki, Marcin (2021): Towards the right kind of fairness in AI. In: arxiv.org. https://doi.org/10.48550/arXiv.2102.08453

Selbst, Andrew (2017): Disparate impact in big data policing. In: Georgia Law Review 52, S. 109–195. http://dx.doi.org/10.2139/ssrn.2819182 DOI: https://doi.org/10.2139/ssrn.2819182

Spindler, Mone; Booz, Sophia; Gieseler, Helya; Runschke, Sebastian; Wydra, Sven; Zinsmaier, Judith (2020): How to achieve integration? Methodological concepts and challenges for the integration of ethical, legal, social and economic aspects into technological development. In: Bruno Gransche und Arne Manzeschke (Hg.): Das geteilte Ganze. Horizonte Integrierter Forschung für künftige Mensch-Technik-Verhältnisse. Wiesbaden: Springer, S. 213–240. https://doi.org/10.1007/978-3-658-26342-3 DOI: https://doi.org/10.1007/978-3-658-26342-3_11

Published

23.03.2023

How to Cite

1.
Brandner LT, Hirsbrunner SD. Algorithmic fairness in police investigative work: Ethical analysis of machine learning methods for facial recognition. TATuP [Internet]. 2023 Mar. 23 [cited 2024 Mar. 29];32(1):24-9. Available from: https://www.tatup.de/index.php/tatup/article/view/7037