Creando sistemas de inteligencia artificial no discriminatorios: buscando el equilibrio entre la granularidad del código y la generalidad de las normas jurídicas
Article Sidebar
Main Article Content
En la última década ha crecido la preocupación por los riesgos que genera el uso de sistemas de inteligencia artificial. Uno de los principales problemas asociados al uso de estos sistemas son los riesgos que su uso genera para el derecho fundamental a la igualdad y a la no discriminación. En este contexto, debemos examinar los instrumentos normativos existentes y propuestos que pretenden abordar dichos riesgos, prestando especial atención a las dificultades de aplicar el carácter abstracto que suele caracterizar a las normas jurídicas y, en particular, al marco jurídico de la igualdad y la no discriminación, a las instrucciones específicas que se necesitan a la hora de programar un sistema de inteligencia artificial no discriminatorio. Este trabajo se centra en examinar cómo el artículo 10 de la nueva propuesta de Reglamento de Inteligencia Artificial puede ser un punto de partida útil en el camino hacia una nueva forma de regular que se adapte a las necesidades de los sistemas algorítmicos.
Article Details

Esta obra está bajo una licencia Creative Commons Reconocimiento-SinObraDerivada 3.0 Unported.
(c) Alba Soriano Arnanz, 2023
Derechos de autor
Los contenidos publicados en IDP están bajo una licencia de Reconocimiento-Sin obras derivadas 3.0 España de Creative Commons, cuyo texto completo se puede consultar en http://creativecommons.org/licenses/by-nc-nd/3.0/es/deed.es. Así pues, se permite la copia, distribución y comunicación pública siempre y cuando se cite el autor del texto, la revista (IDP. Revista de Internet, Derecho y Política y la institución que los publica (UOC), tal como consta en la citación recomendada que aparece en cada artículo. No se pueden hacer obras derivadas.
Es responsabilidad de los autores obtener los permisos necesarios de las imágenes que estén sujetas a copyright.
Cesión de derechos de propiedad intelectual
El autor cede sin exclusiva a los editores de la revista los derechos de explotación (reproducción, distribución, comunicación pública y transformación) para explotar y comercializar la obra, entera o en parte, en todos los formatos y modalidades de explotación presentes o futuros, en todos los idiomas, por todo el periodo de vida de la obra y por todo el mundo.
El autor debe declarar que es el autor original de la obra. Los editores quedan, por lo tanto, exonerados de cualquier obligación o responsabilidad por cualquier acción legal que pueda suscitarse derivada de la obra depositada por la vulneración de derechos de terceros, sean de propiedad intelectual o industrial, de secreto comercial o cualquier otro.
Alba Soriano Arnanz, Universidad de Valencia
Profesora Ayudante Doctora de Derecho Administrativo en la Universidad de Valencia. Graduada en Derecho y Ciencias Políticas y de la Administración Pública por la Universidad de Valencia (2015), Máster en International Political Economy por la London School of Economics and Political Science (2016), Máster en Abogacía por la UOC (2018) y Doctora en Derecho por la Universidad de Valencia con su tesis doctoral Current and future possibilities for the regulation of discrimination produced by algorithms? (2021), dirigida por el Profesor Andrés Boix Palop. Es autora de diferentes publicaciones en materia de protección de datos personales y discriminación algorítmica, entre las que cabe destacar el libro Data protection for the prevention of algorithmic discrimination (2021), editado por Thomson Reuters – Aranzadi y los artículos «Decisiones automatizadas y discriminación: aproximación y propuestas generales», Revista General de Derecho Administrativo, n.º 56, 2021 y «Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos», Revista de Derecho Público: Teoría y Método, n.º 1.3, 2021. Asimismo, también ha dedicado parte de su investigación a la mejora de los sistemas de selección de personal y de la situación de las mujeres en el empleo público.
BAROCAS, S.; SELBST, A. D. (2016). “Big data’s disparate impact”. California Law Review, vol. 104, no. 3, pp. 671-732. DOI: https://doi.org/10.2139/ssrn.2477899
BAROCAS, S.; SELBST, A. D. (2018). “The intuitive appeal of explainable machines”. Fordham Law Review, vol. 87, no. 3, pp. 1085-1139. DOI: https://doi.org/10.2139/ssrn.3126971
BENT, J. R. (2020). “Is algorithmic affirmative action legal?”. The Georgetown Law Journal, vol. 108, pp. 803-853.
BERK, R.; HEIDARI, H.; JABBARI, S.; KEARNS, M.; ROTH, A. (2018). “Fairness in criminal justice risk assessments: the state of the art”. Sociological Methods and Research, vol 50, no. 1, pp. 1-24. DOI: https://doi.org/10.1177/0049124118782533
CERRILLO I MARTÍNEZ, A. (2020). “El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas?”. Revista General de Derecho Administrativo, no. 50.
CHOULDECHOVA, A. (2016). “Fair prediction with disparate impact: a study of bias in recidivism prediction instruments”. arXiv [online]. [Accessed: 6 September 2022]. DOI: https://doi.org/10.48550/arXiv.1610.07524
CORBETT-DAVIES, S.; PIERSON, E.; GOEL, S. (2015, October). “A computer program used for bail and sentencing decisions was labeled biased against blacks. It’s actually not that clear”. The Washington Post [online]. [Accessed: 6 September 2022]. Available at: https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/?noredirect=on
CORBETT-DAVIES, S.; GOEL, S. (2018). “The measure and mismeasure of fairness: a critical review of fair machine learning”. ArXiv [online]. [Accessed: 6 September 2022]. DOI: https://doi.org/10.48550/arXiv.1808.00023
FRIEDLER, S. A.; SCHEIDEGGER, C. E.; VENKATASUBRAMANIAN, S.; CHOUDHARY, S.; HAMILTON, E. P.; ROTH, D. (2018). “A Comparative Study of Fairness-Enhancing Interventions in Machine Learning”. Proceedings of the Conference on Fairness, Accountability, and Transparency [online]. [Accessed: 6 September 2022]. DOI: https://doi.org/10.1145/3287560.3287589
GERARDS, J.; XENIDIS, R. (2021). Algorithmic discrimination in Europe: Challenges and opportunities for gender equality and non-discrimination law. European network of legal experts in gender equality and non-discrimination. Luxembourg: Publications Office of the European Union.
HACKER, P. (2018). “Teaching fairness to artificial intelligence: existing and novel strategies against algorithmic discrimination under EU law”. Common Market Law Review, vol. 55, no. 4, pp.1143-1186. DOI: https://doi.org/10.54648/COLA2018095
HUERGO LORA, A. (2020). “Una aproximación a los algoritmos desde el Derecho administrativo”. In: HUERGO LORA. A. (dir.) and Díaz González, G.M. (coord.). La Regulación de los Algoritmos, pp. 23-87. Cizur Menor: Aranzadi.
HUNT, B. (2005). “Redlining”. Encyclopedia of Chicago, 2005 [online]. [Accessed: 6 September 2022]. Available at: http://www.encyclopedia.chicagohistory.org/
KIM, P. T. (2017). “Data-driven discrimination at work”. William & Mary Law Review, vol. 58, pp. 857-936.
LESSIG, L. (2006). Code: Version 2.0. New York: Basic books.
MAKKONEN, T. (2007). Measuring discrimination: data collection and EU equality law. Luxembourg: Office for Official Publications of the European Communities.
PLEISS, G.; RAGHAVAN, M.; WU, F.; KLEINBERG, J.; WEINBERGER, K. Q. (2017). “On Fairness and Calibration”. Advances in Neural Information Processing Systems. [online]. [Accessed: 6 September 2022]. Available at: https://proceedings.neurips.cc/paper/2017/file/b8b9c74ac526fffbeb2d39ab038d1cd7-Paper.pdf
RENAN BARZILAY, A.; BEN-DAVID, A. (2017). “Platform inequality: gender in the gig economy”. Seton Hall Law Review, vol. 47, no. 393, pp. 393-431. DOI: https://doi.org/10.2139/ssrn.2995906
SORIANO ARNANZ, A. (2020). Posibilidades actuales y futuras para la regulación de la discriminación producida por algoritmos. Doctoral tesis [online]. [Accessed: 6 September 2022]. Available at: https://roderic.uv.es/handle/10550/77050
SORIANO ARNANZ, A. (2021a). “La propuesta de Reglamento de Inteligencia Artificial de la Unión Europea y los sistemas de alto riesgo”. Revista General de Derecho de los Sectores Regulados, vol. 8, no. 1.
SORIANO ARNANZ, A. (2021b). “La situación de las mujeres en el empleo público: análisis y propuestas”. IgualdadES, no. 4, pp. 87-121. DOI: https://doi.org/10.18042/cepc/IgdES.4.03
SORIANO ARNANZ, A. (2021c). “Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos”. Revista de Derecho Público: Teoría y Método, vol. 3, pp. 85-127. DOI: https://doi.org/10.37417/RPD/vol_3_2021_535
US Equal Employment Opportunity Commission. (1979). “Questions and Answers to Clarify and Provide a Common Interpretation of the Uniform Guidelines on Employee Selection Procedures”. US Equal Employment Opportunity Commission [online]. [Accessed: 6 September 2022]. Available at: https://www.eeoc.gov/
VALERO TORRIJOS, J. (2020). “The legal guarantees of artificial intelligence in administrative activity: reflections and contributions from the viewpoint of Spanish administrative law and good administration requirements”. European Review of Digital Administration & Law, vol. 1, no. 1-2, pp. 55-62.
WACHTER, S. (2020). “Affinity Profiling and Discrimination by Association in Online Behavioural Advertising”. Berkeley Technology Law Journal, vol. 35, no. 2. DOI: https://doi.org/10.2139/ssrn.3388639
WACHTER, S.; MITTELSTADT, B.; RUSSELL, C. (2021). “Why fairnesss cannot be automated: bridging the gap between EU non-discrimination law and AI”. Computer Law & Security Review, vol. 41. DOI: https://doi.org/10.1016/j.clsr.2021.105567
ŽLIOBAITĖ, I. (2015). “A survey on measuring indirect discrimination in machine learning”. arXiv [online]. [Accessed: 6 September 2022]. DOI: https://doi.org/10.48550/arXiv.1511.00148
ŽLIOBAITĖ, I.; CUSTERS, B. (2016). “Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models”. Artificial Intelligence & Law, vol. 24, no. 2, pp. 183-201. DOI: https://doi.org/10.1007/s10506-016-9182-5.
Artículos similares
- Agustí Cerrillo, El derecho para una inteligencia artificial centrada en el ser humano y al servicio de las instituciones , IDP. Revista de Internet, Derecho y Política: Núm. 30 (2020)
- Roberto Navarro-Dolmestch, María-Ángeles Fuentes-Loureiro, Una aproximación a ChatGPT como herramienta jurídica: sesgos, capacidades y utilidades futuras , IDP. Revista de Internet, Derecho y Política: Núm. 39 (2023): Noviembre. Monográfico: "Digitalización y algoritmización de la justicia"
- Miguel Ángel Presno Linera, Policía predictiva y prevención de la violencia de género: el sistema VioGén , IDP. Revista de Internet, Derecho y Política: Núm. 39 (2023): Noviembre. Monográfico: "Digitalización y algoritmización de la justicia"
- Rebeca Remeseiro Reguero, La propuesta de Regulación de la Inteligencia Artificial en Chile y el Reglamento Europeo de Inteligencia Artificial, ¿un caso de efecto Bruselas? , IDP. Revista de Internet, Derecho y Política: Núm. 42 (2025): Marzo
- Lorenzo Cotino Hueso, Inteligencia artificial, big data y aplicaciones contra la COVID-19: privacidad y protección de datos , IDP. Revista de Internet, Derecho y Política: Núm. 31 (2020)
- Oscar Capdeferro, La inteligencia artificial del sector público: desarrollo y regulación de la actuación administrativa inteligente en la cuarta revolución industrial , IDP. Revista de Internet, Derecho y Política: Núm. 30 (2020)
- Clara Isabel Velasco Rico, Personalización, proactividad e inteligencia artificial. ¿Un nuevo paradigma para la prestación electrónica de servicios públicos? , IDP. Revista de Internet, Derecho y Política: Núm. 30 (2020)
- Mario Caterini, El sistema penal en la encrucijada ante el reto de la inteligencia artificial , IDP. Revista de Internet, Derecho y Política: Núm. 35 (2022): Marzo
- Sebastian Rivero Silva, David Chinarro Vadillo, Inteligencia artificial y judicatura: sobre la dicotomía entre la asistencia y la sustitución. Aspectos técnicos y medioambientales , IDP. Revista de Internet, Derecho y Política: Núm. 41 (2024): Octubre
- Guillem Izquierdo Grau, Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial , IDP. Revista de Internet, Derecho y Política: Núm. 38 (2023): Octubre
También puede {advancedSearchLink} para este artículo.