"ReDCE núm. 43. Enero-Junio de 2025"
"ReDCE núm. 43. Enero-Junio de 2025"
|
|
En este estudio se abordan conjuntamente dos elementos recurrentes en el debate jurídico actual. Uno de ellos, es el de las “fuentes informales”, es decir, los diversos instrumentos normativos de tipología incierta que, hoy en día, se utilizan ampliamente, los cuales pueden reconducirse a la constelación de actos de soft law[1] (recomendaciones, recopilaciones de normas, buenas prácticas, guías, directrices y otros forman parte de estos actos)[2]; el otro elemento es, en cambio, la inteligencia artificial[3], un tema de debate tan importante en la actualidad como para haber influido incluso parcialmente en la elección del nombre del nuevo pontífice, que parece querer evocar la voluntad de dar respuesta a los desafíos que plantea la revolución tecnológica, comparable a la industrial, de la que se ocupó León XIII. Los dos elementos mencionados están ciertamente relacionados entre sí.
En la era de la expansión incontrolada de las fuentes no tradicionales, atestiguada actualmente por diversos índices[4], habría sido utópico pensar que no regularían también, tarde o temprano, el ámbito de la normativa relativa a la disciplina de la inteligencia artificial.
A pesar de que la inteligencia artificial ocupa un espacio muy importante en los debates actuales, muchas de las normas elaboradas para regular esta tecnología están contenidas en actos y documentos de naturaleza y tipo dudosos, que desempeñan cada vez más un papel extremadamente importante en el establecimiento de definiciones jurídicas y en la determinación de las reglas de uso de las nuevas tecnologías, aunque se elaboren con procedimientos no siempre transparentes y por órganos carentes de las garantías propias de los legisladores institucionales. En los párrafos siguientes se describirá la relación entre estos dos elementos, destacando, a través de dos ejemplos, cómo el uso de la inteligencia artificial está, hoy en día, sujeto a la producción de normas informales, también en el ámbito médico.
En conclusión, tras identificar los principales riesgos asociados al uso de estas herramientas, el trabajo tratará de establecer un equilibrio entre el potencial que deriva de la utilización de estas técnicas regulatorias informales y los riesgos que el recurso a estas herramientas “inflige” a la práctica jurídica. En este sentido, el recurso a formas de decisión informales y a fuentes no tradicionales para disciplinar el uso de la inteligencia artificial plantea varios interrogantes sobre la resistencia de los sistemas democráticos y la controlabilidad de las decisiones públicas, en tanto que no permite un control adecuado del ejercicio del poder. Estas preocupaciones, además, recaen sobre casi todos los sistemas reguladores (nacionales, supranacionales e internacionales), insistiendo en muchas áreas temáticas. Uno de ellos es sin duda la regulación de la I.A. en el ámbito médico, en el que confluyen fuentes nacionales, supranacionales e internacionales.
A nivel internacional, la tendencia a regular en detalle los aspectos relacionados con el empleo de tecnologías basadas en inteligencia artificial puede observarse en diversos documentos. Entre los más recientes figura la importante publicación Ethics and Governance of Artificial Intelligence for Health (Ética y Gobernanza de la Inteligencia Artificial para la Salud), de la Organización Mundial de la Salud, de 25 de marzo[5]. En ella, se dan a conocer más de cuarenta recomendaciones para el uso de la inteligencia artificial en el ámbito médico dirigidas, principalmente, a los gobiernos, a las empresas tecnológicas y a los proveedores sanitarios.
Con esto documento se pretende favorecer la difusión de un conocimiento adecuado de las tecnologías de I.A. para uso médico entre pacientes y profesionales sanitarios y garantizar que los modelos de lenguaje a gran escala (LMM)[6] se utilicen correctamente en el ámbito sanitario. En este sector, los usos previstos para los LMM podrían generar múltiples beneficios, no sólo al permitir la elaboración de diagnósticos y diseñar el tratamiento clínico, sino también: al mejorar la relación entre médico y paciente; realizar tareas administrativas; proporcionar herramientas útiles para la formación (médica y de enfermería) de los profesionales empleados en el sector sanitario y extrapolar y procesar datos útiles para la investigación científica.
Sin embargo, a pesar de sus muchos aspectos positivos, el recurso a estas herramientas también lleva implícitos ciertos riesgos. La propia Organización Mundial de la Salud ha alertado sobre el uso de la inteligencia artificial, señalando que los citados sistemas, si bien son “únicos” por su capacidad de imitar la comunicación humana y también de realizar tareas para las que no han sido deliberadamente programados, experimentan: (1) dificultad por parte de los operadores para asegurar una correcta utilización (esta circunstancia está vinculada al de la escasa accesibilidad al tratamiento de las respuestas generadas por la máquina); (2) insuficiente fiabilidad de algunas de las respuestas; (3) posible presencia de sesgos de automatización en la configuración y formación de la máquina; (4) escasa participación de las partes interesadas en el desarrollo y en la aplicación de las plataformas. A raíz de las consideraciones expuestas hasta el momento es posible realizar algunas reflexiones. No cabe duda de que la capacidad de computación que ofrecen estas nuevas herramientas es de gran utilidad para ejecutar operaciones de diagnóstico, ya que permite evitar errores y considerar hipótesis de tratamiento que pueden no ser tenidas en cuenta por el especialista, aumentando la eficacia del tratamiento. Además, el uso de la I.A. también se configura como un instrumento esencial para llevar a cabo una adecuada gobernanza de los datos clínicos, puesto que podría servir para racionalizar la documentación en poder de las administraciones, calcular más rápidamente la evolución de las historias clínicas y permitir una más ágil recuperación de la información clínica.
Al mismo tiempo, el balance entre los riesgos y los beneficios jurídicos derivados de la utilización de este tipo de tecnología no arroja únicamente elementos positivos, ya que la I.A. plantea numerosos interrogantes. En primer lugar, el hecho de que su regulación jurídica esté parcialmente definida por el “gobierno de la práctica”, más que por un marco legal sólido, supone un reto en sí mismo. Como ya ha sucedido en el caso de las guías de práctica clínica, el eficaz intercambio de datos entre profesionales sanitarios y administraciones, así como las actuales facilidades tecnológicas, permiten estandarizar las mejores respuestas clínicas para el manejo de casos concretos, pero, al menos en el ámbito internacional, su uso no está regulado en instrumentos jurídicos formales, sin perjuicio de que en ellos se sugieran opciones organizativas concretas y se prevean soluciones capaces de condicionar la práctica médica[7]. En este ámbito, a los problemas relativos a la difusión de instrumentos normativos informales se han de añadir aquellos desafíos que son propios de las características de la inteligencia artificial, al tratarse de una tecnología cuyo funcionamiento es difícil de comprender.
Esto es, existe la posibilidad de que la reducida capacidad de comprender el modo de actuar de la máquina, por parte de quienes la emplean, genere riesgos insostenibles, produciendo un impacto negativo mayor a las ventajas que pueden derivarse de las soluciones, eficientes y actualizadas con las últimas evidencias científicas, que la máquina proporciona.
A falta de instrumentos jurídicos vinculantes suficientes, el uso de la inteligencia artificial está regulado, en esencia, por fuentes predominantemente informales, lo que plantea problemas evidentes. La legislación que debería aprobarse en el futuro para regular el uso de la inteligencia artificial habrá de superar las dificultades que han favorecido el establecimiento de normas informales a nivel internacional[8], equilibrando la necesidad de elaborar respuestas normativas ágiles y la necesidad de establecer las garantías que el carácter democrático de los sistemas exige a las decisiones públicas. Sin renunciar a los beneficios de la tecnología, la futura regulación jurídica de los sistemas de Inteligencia Artificial habrá de elaborar reglas capaces de facilitar el trabajo de los profesionales de la sanidad, al tiempo que prevén mecanismos de protección frente a los abusos que puedan llevarse a cabo por un potencial uso excesivo de estas herramientas.
Por otra parte, los riesgos que conlleva no hacerlo pueden parecer abstractos, pero, en realidad, no lo son tanto. Es más, lo que se está afirmando adquiere especial relevancia por lo que atañe a las cuestiones críticas que plantea el uso de la inteligencia artificial. De hecho, los problemas relacionados con el uso de tecnologías como ésta requieren una cuidadosa regulación, por lo que no resulta aconsejable que partes importantes de la misma se confíen a fuentes informales.
Precisamente sobre este punto, la propia OMS ha constatado, por ejemplo, que existe un riesgo real de que la I.A. genere afirmaciones falsas, inexactas, sesgadas o incompletas que condicionen las posteriores elecciones basadas en conclusiones falaces, que, a su vez, podrían perjudicar a las personas que utilizan dicha información para tomar decisiones sobre su propia salud. Además, el hecho de que los LMM pueden entrenarse con datos de mala calidad o sesgados, supone que algunas respuestas pueden contener distorsiones basadas en las características étnicas, el origen territorial, la ascendencia, el sexo, la identidad de género o la edad de los sujetos cuyos datos son tratados por las administraciones, lo que conduce a afirmaciones, inferencias y axiomas basados en correlaciones entre variables no relacionadas, lo que presenta evidentes riesgos sistémicos.
A estos problemas, nada desdeñables, hay que añadir, por último, los derivados de la dispersión de los datos personales[9]: un problema que, en la actualidad, no sólo afecta a la seguridad informática, sino también a la protección de la seguridad e intimidad de las personas, y que podría incidir también en la asistencia sanitaria. A la vista de todo lo anterior, parece inaceptable que todos estos aspectos se regulen y especifiquen mediante guías e instrumentos informales, en lugar de mediante normas de derecho. Esto es, dado que la materia objeto de estos instrumentos puede generar un gran impacto, probablemente, resultaría más adecuado que se desarrollaran instrumentos para regular la inteligencia artificial a nivel internacional, que tuviesen una incidencia más fuerte que las guías de soft law. No obstante, en este momento de la historia, la tendencia normativa parece ir en otra dirección, ya que el corpus en el que se regula la Inteligencia Artificial está claramente orientado hacia los instrumentos blandos. Esta tendencia, que ahora también se observa en el contexto europeo, genera varios puntos de conflicto desde el punto de vista jurídico, que merecen ser examinados con mayor atención.
De acuerdo con el párrafo anterior, podría considerarse poco sorprendente que la regulación de los sistemas de I.A. en el ámbito internacional sea predominantemente de soft law: al fin y al cabo, este tipo de producción jurídica responde a la vocación del derecho internacional.
Más sorprendente, sin embargo, es que una situación similar se produzca también en el contexto de la Unión Europea, que es una entidad jurídica con un sistema normativo propio muy desarrollado y con un sistema de fuentes muy avanzado.
Circunscribiendo el campo de investigación al derecho supranacional y a la relación entre la inteligencia artificial y los instrumentos jurídicos para regularla, existen varias producciones normativas informales, y una de ellas está representada por las directrices de la Comisión Europea sobre prácticas prohibidas de inteligencia artificial, definidas por la AI Act[10] (que, sin embargo, como todo el mundo sabe, se incorporan en un reglamento y, por tanto, mediante un acto de hard law).
Estas directrices, publicadas el 4 de febrero de 2025, identifican los usos de la inteligencia artificial que se consideran inaceptables debido a sus riesgos potenciales. La inadmisibilidad de estas prácticas se juzga en función del perjuicio que causan a los valores y derechos fundamentales europeos. Pues bien, incluso estas directrices plantean varios problemas.
A este respecto, es interesante observar, por ejemplo, que estas directrices tienen una extensión monstre, ya que ocupan casi 150 páginas y las indicaciones que contienen cuentan con el endorsement expreso de la Comisión Europea, que las publicó al mismo tiempo que se aprobaba un proyecto de comunicación (draft communication). Más concretamente, su texto figura en un annex, a modo de anexo técnico, que, sin embargo, compone casi todo el contenido de la comunicación, pues el cuerpo de la comunicación apenas ocupa unas líneas y se limita a remitir al texto del anexo. Esto resulta ya de por sí significativo, porque implica que son las directrices (y no las determinaciones del órgano político) las que establecen la totalidad de las indicaciones proporcionadas. Si esto ya es en sí mismo problemático, mucho más lo es su contenido.
En efecto, estas directrices contienen un informe introductorio (una exposición de motivos) que explica sus fines y objetivos; un conjunto numeroso de definiciones; “disposiciones” que especifican a qué ámbitos se aplicará; descripciones, valoraciones y consideraciones que identifican posibles conductas abusivas y mucho más. Por el contenido de su articulado y por su dimensión, un marco normativo como este parece una regulación similar al que hacen los legisladores.
Sin embargo, hay otros puntos del documento que también resultan igualmente preocupantes. En primer lugar, la descripción que las directrices hacen de sí mismas es engañosa. Por ejemplo, en el texto se informa que las directrices adoptadas por la Comisión Europea no tienen carácter vinculante[11], aunque está claro que disponen de la estructura y el contenido preceptivo propios de un documento que debe regular la materia, al igual que una fuente ordinaria[12]. En otro punto, se afirma que las directrices en cuestión se elaboraron para garantizar la aplicación uniforme de el A.I. Act (¿estamos en presencia de una forma de interpretación auténtica?), pero también se sostiene que sirven para ilustrar la opinión oficial de la Comisión sobre el uso de la inteligencia artificial. También esto puede resultar problemático, porque plantea algunas dudas sobre la extensión de la persuasión moral (moral suasion) y se tiene la impresión de que la Comisión sigue regulando la materia con instrumentos distintos de las fuentes, para completar progresivamente y de manera informal la Ley sobre Inteligencia Artificial.
Por último, aunque se reitera que las directrices no son vinculantes, luego se decreta su entrada en vigor, que es una institución jurídica típica que produce efectos específicos. En definitiva, la confusión en este punto está asegurada y lo descrito no es, desgraciadamente, un caso aislado.
Este tipo de fenómenos pueden observarse de forma generalizada en todo el sistema de fuentes, generando transformaciones. Casi se podría decir que, en estos momentos, es como si el marco tradicional que contiene los criterios de ordenación de las fuentes estuviera atravesando un periodo de ajuste. Cada vez más, la difusión de instrumentos informales facultados para desempeñar papeles importantes en los sistemas jurídicos favorece la traslación de las normas del nivel formal de las fuentes a instrumentos y foros de decisión atípicos, sustraídos al pleno control democrático. El recurso a las formas “simplificadoras” de los instrumentos de soft law permite, por un lado, elaborar de forma ágil y flexible reglas prácticas para regular aquellos fenómenos más complejos necesitados de disciplina, pero, por otro lado, favorece el atraso de los foros de decisión tradicionales, amenazando profundamente la transparencia de las elecciones efectuadas por los textos legislativos, su justiciabilidad y la capacidad de los ciudadanos de controlar cómo se ejerce el poder, generando graves problemas sistémicos.
Es precisamente el control sobre el ejercicio del poder lo que de hecho ha propiciado el nacimiento del constitucionalismo, por lo que es muy importante ser conscientes de los riesgos que se corren para tomar las contramedidas necesarias de cara a devolver al legislador a una senda plenamente garantista[13].
El planteamiento que hemos descrito no es nuevo. El abandono parcial de las fuentes tradicionales viene produciéndose desde hace tiempo, siendo especialmente ilustrativos todos los sectores dominados por la tecnología, incluido el de la regulación de la I.A. Sin embargo, es evidente que el conjunto de tales indicaciones puntuales difícilmente puede considerarse una mera recopilación de sugerencias formuladas para facilitar la interpretación. Son la interpretación misma, porque la actividad de fijación de reglas o de especificación de los criterios hermeneúticos que contienen los instrumentos informales se emplean, respectivamente, para la regulación de casos concretos o para la interpretación de actos de hard law, lo que acaba absorbiendo cualquier margen de apreciación, generando reglas casuísticas. Como ocurre en parte con el documento de la OMS, las directrices de la Comisión también diseccionan una parte del hard law ya aplicable a la I.A. (en el contexto europeo, las directrices de la Comisión lo hacen con la Ley de I.A.) y, tomando un segmento de la misma (en este caso, el relativo a las prácticas prohibidas), tratan de desarrollarlo.
La especificación detallada de los aspectos tratados por la I.A. y el examen de las cuestiones individuales que pueden plantearse sobre las prácticas prohibidas crean, en otras palabras, un entramado normativo casuístico muy detallado, que tiene por efecto encauzar la interpretación de los profesionales, cristalizar las precisiones hechas por los textos informales de cara a las posibles lecturas de las fuentes de hard law y, en definitiva, condicionar a los intérpretes, sin dejarles ningún margen autónomo de aplicación. En la actualidad, este fenómeno está en pleno apogeo, creciendo y expandiéndose cuanto más complejo es el objeto a regular.
Pero si consideramos que esto es parcialmente endémico e inevitable, desde un punto de vista práctico, lo que es menos aceptable es que se produzca en el silencio de los operadores jurídicos, que asisten impotentes al retroceso de las garantías jurídicas típicas del proceso de producción normativa y al abandono del paradigma de la norma formalmente legitimada, general y abstracta[14].
De hecho, el enfoque normativo seguido por las directrices es el de la compartimentación y cristalización, a posteriori, de las indicaciones que puedan derivarse de las normas, con todo lo que ello conlleva. Todo ello conduce a una primera y grave zona de crisis.
Además, otro elemento desestabilizador que deriva de la aparición de estos modos de producir derecho es el problema de la delegación de las opciones normativas. En presencia de una cantidad tan importante de orientaciones informales, la sede de elaboración de una parte importante de la regulamentación acaba desplazándose a otros ámbitos y, en consecuencia, se delega en los técnicos. Hasta cierto punto, este resultado es inevitable: se trata, en esencia, de la misma lógica que, en el sistema de autoridades independientes de algunas realidades nacionales, ha permitido prescindir de la investidura democrática en favor del paradigma de la competencia técnica. No obstante, aunque se trata de un resultado en cierto modo inevitable en tanto que resulta insoslayable que la regulación de estas tecnologías tan sofisticadas tenga lugar con la contribución de quienes pueden comprender plenamente su funcionamiento, no debemos acostumbrarnos a la idea de que, puesto que estos fenómenos se inscriben en un espacio que escapa a la comprensión del debate democrático, es posible desbancarlo, trasladando la regulación del sector de las fuentes a las normas técnicas. De hecho, algunas de las indicaciones que también figuran en estas directrices implican elecciones de conveniencia política que deben abrirse al debate público, y no en todos los casos las normas contenidas en los instrumentos de soft law son indicaciones que regulan objetos que resultan escurridizos para los profanos de la I.A. Estas decisiones podrían adoptarse a un nivel más democrático, puesto que el impacto práctico que la I.A. tiene en la sociedad es evidente (y devastador)[15]. El esquema de las directrices que hemos examinado es muy claro: su objetivo es orientar a los profesionales. Sin embargo, claros son también los riesgos. Desde el momento en que las normas que deben aplicarse a casos concretos se producen en el ámbito técnico, se someten expresamente a la remisión de una regulación formal o se toman, de nuevo, como puntos de referencia para un sector, toda la secuencia de producción de normas jurídicas se convierte en un producto de la “oligarquía del conocimiento”, en un resultado tecnocrático y no en una decisión democrática o controlable democráticamente.
Una vez más, el aumento de los instrumentos blandos disminuye las prerrogativas de la administración. Si la norma jurídica es especificada en todas sus partes por otros instrumentos y los distintos documentos elaboran indicaciones detalladas para la aplicación de cada caso concreto regulado por dicha norma, ésta, además de ser tecnocrática en lugar de democrática, se sustrae también a otro escrutinio crítico: el del intérprete institucional que debe aplicarla, al que no queda ningún poder de decisión. Así, al problema de que son los técnicos los que deciden en lugar de los políticos, se suma el de que las instituciones ni siquiera conservan un margen para aplicar las normas que no han formado, porque incluso la aplicación de estas está completamente predeterminada por los técnicos. Esto erosiona las prerrogativas de la administración, porque se la deja sin margen de discrecionalidad para aplicar a los casos concretos el poco derecho duro que se ha elaborado sobre la materia.
Por último, surgen problemas no menos graves en las relaciones entre directrices y jurisdicción.
¿Son las directrices de I.A. impugnables ante un juez y, en caso afirmativo, mediante qué medios? Esta cuestión no es en absoluto trivial, ya que abre otro ámbito de crisis e ilustra una tendencia general mucho más preocupante.
A los juristas que se formaron siguiendo un enfoque codificador y con la concepción de la norma jurídica como construcción general y abstracta les resulta difícil aceptar esta tendencia reciente según la cual el conjunto de normas que rigen un determinado sector ya no está contenido predominantemente en un solo lugar (un código, un texto único, una ley orgánica). Hoy en día, el derecho codificado está dejando paso a la elaboración puntiforme de normas y a la regulación informal del hecho individual, ya que cada aspecto es objeto de una regulación a posteriori, calibrada en función del caso concreto y expresada a través de fuentes no tradicionales (las tradicionales ya no se consideran capaces de satisfacer la necesidad de regulación). Frente a la multiplicación de las fuentes de producción del derecho y a la creación de un derecho informal casuístico, los problemas que estas nuevas formas de producción jurídica podrían resolver son ciertamente menores que los que han abierto.
Las directrices expresan esta deriva y, visto lo visto, es posible extraer algunas conclusiones generales sobre las tendencias de la normalización en este ámbito.
En primer lugar, al igual que las directrices para la práctica clínica, las relativas a la gobernanza de la inteligencia artificial en el ámbito médico son una realidad que hay que aceptar y de la que no hay vuelta atrás. Sin embargo, tanto las primeras como las segundas presentan aspectos positivos y negativos. Por un lado, ambas sirven para satisfacer la creciente necesidad de regular en poco tiempo situaciones cada vez más complejas en sectores dominados por la tecnología; por otro lado, tanto las primeras como las segundas entrañan elevados riesgos de controlabilidad, porque introducen en el sistema de fuentes instrumentos jurídicos parcialmente nuevos, lo que dificulta la labor de precisar el papel que pueden tener, su respectivo alcance, sus efectos y su respectiva revisabilidad y justiciabilidad. En ausencia de un estatuto jurídico que regule con precisión el modo en que deben tratarse estos instrumentos (ante quién pueden impugnarse y por qué medios, si deben o no ser conocidos o conocibles por los intérpretes y jueces, qué régimen jurídico puede atribuírseles, etc.), probablemente habría que considerarlos tamquam non esset.
En segundo lugar, otra cuestión jurídica que se desprende del fenómeno que hemos comentado es que la regulación ordinaria (hard law) no sólo es minoritaria frente a la variante de soft law, sino que, además, suele retrasarse. En otras palabras, el derecho que regula los fenómenos complejos persigue hoy en día situaciones concretas, sin regularlas de antemano (ex ante)[16]. En sectores dominados cada vez más por la tecnología, las reglas para regular situaciones concretas contenidas en recomendaciones, directrices y otros instrumentos sustituyen o anticipan la decisión del legislador, cristalizando la práctica. En otras palabras, la regulación de determinados sectores se encuentra, a menudo, sólo en el plano informal, mientras que en algunas ocasiones la regulación informal va seguida de la intervención del legislador, que, en una función cuasi-ratificadora, transpone, con hard law, soluciones ya elaboradas por instrumentos informales y consolidadas en la práctica, dando un estatuto formal a reglas ya plenamente difundidas en los ordenamientos jurídicos. Sin embargo, este enfoque regulador resulta decepcionante, y todavía más inadecuado es el enfoque delegador que parece haberse adoptado respecto de la toma de decisiones institucionales en materia técnica. Confesando su incapacidad para regular satisfactoriamente las grandes herramientas tecnológicas disponibles en la actualidad, el legislador confía a menudo la facultad de disciplinar los numerosos problemas concretos a la regulación mediante fuentes informales, haciendo referencias más o menos explícitas a fuentes-no fuentes que se forman sin garantías o que, en cualquier caso, proceden de sujetos que ni siquiera pueden considerarse suficientemente legitimados para introducir normas en el sistema democrático. Las consecuencias de todo ello son muy graves.
En la actualidad, las guías de práctica clínica incorporan parámetros a partir de los cuales reconstruir la diligencia de los profesionales sanitarios en el desempeño de sus funciones, y también en otros ámbitos se dictan criterios para orientar la conducta de las personas.
¿Las directrices elaboradas para disciplinar la práctica médica a través de la Inteligencia Artificial proporcionarán algún día las coordenadas para realizar estas evaluaciones?
¿Proporcionará algún día la propia Inteligencia Artificial directrices para regular su uso?
A diferencia de las fuentes tradicionales, las herramientas informales no son instrumentos que revistan las suficientes garantías. No lo son únicamente porque innoven los ordenamientos jurídicos sin tener potestad para ello, sino también porque: (1) su formación puede no ser suficientemente participativa; (2) no siempre está claro a quién y de qué manera se puede exigir responsabilidad por los efectos (de derecho o incluso sólo de hecho) que ejercen en la realidad; (3) no está claro si los jueces están obligados a conocerlos (¿iura novit curia?); (4) no es seguro que puedan ser impugnados ante un juez si violan la ley o han causado daño a algo o a alguien.
Ante todo este universo de problemas, dadas además las novedades que surgen tras la aparición de la inteligencia artificial (que también plantea otras muchas incógnitas), ¿estamos realmente seguros de querer afrontar estos retos con fuentes que ni siquiera son fuentes?
Si la respuesta a esta pregunta es negativa, la tendencia actual no parece orientarse en el mismo sentido. De hecho, en la práctica jurídica actual, la tendencia parece ser la contraria, porque la producción de instrumentos informales está floreciendo. Esto significa que, si para cada problema abierto por el I.A. Act (o cualquier ley de hard law), se aprueban colecciones sistemáticas de indicaciones complementarias (y blandas), tarde o temprano todo estará regulado por directrices.
El rumbo al que se encamina el desarrollo de los sistemas jurídicos parece, en definitiva, equivocado. Tanto más cuanto que ni siquiera sabemos realmente cuáles son estas herramientas, ni cómo se conjuga la informalidad de muchas producciones jurídicas con las tendencias globales. A modo de ejemplo, las plataformas que utilizan tecnologías de inteligencia artificial no presentan garantías adecuadas en cuanto al cumplimiento del interés público y, a menudo, son creadas y explotadas por particulares con capital propio. Como es bien sabido, las tecnologías de inteligencia artificial son, sin embargo, una herramienta muy poderosa y, precisamente por ello, es absolutamente necesario que no pertenezcan a sujetos que no cuenten, en todas las latitudes y circunstancias, con la confianza y las garantías necesarias y, más aún, que su regulación se confíe a instrumentos jurídicos débiles. Un sistema democrático digno de tal nombre no puede arriesgarse a que instrumentos tecnológicos con un potencial revolucionario como es la Inteligencia Artificial sean utilizados para fines privados, ni puede permitirse que su uso sea regulado de forma blanda, por instrumentos carentes de un régimen jurídico preciso de referencia.
Ante este escenario, resultaría deseable que cualquier uso de esta herramienta se situara en la órbita pública, al menos cuando se refiera a la prestación de un servicio público o al desempeño de funciones de interés público: un horizonte desafiante pero necesario. La I.A. controlada públicamente, tanto en la fase de producción como en su posterior regulación, conllevaría, evidentemente, unos elevados costes.
No obstante, apoyarse en la falacia del capital privado, argumentando que al no disponer de estos instrumentos debemos conformarnos con que no sean de naturaleza pública es tan arriesgado como engañoso: es arriesgado porque permite a las grandes multinacionales que dominan el mundo influir en las res publicae; es engañoso porque no es posible alegrarse de la existencia de un instrumento de utilidad pública si pertenece a sujetos que persiguen intereses privados o en todo caso fines distintos de los públicos[17].
Las consideraciones hechas hasta ahora son obviamente críticas. Lo son porque apaciguan el entusiasmo derivado de las capacidades de las nuevas tecnologías, hipotetizando los daños que podrían causar si no somos capaces de controlarlas, y ponen de manifiesto que la gobernanza de la Inteligencia Artificial es un reto crucial tanto desde el punto de vista jurídico como tecnológico. Quizá su regulación jurídica sea la prueba más importante a la que habrá que enfrentarse para gobernar el uso de estas nuevas tecnologías, porque será a través de las reglas jurídicas con las que dotemos al ordenamiento jurídico (y de la capacidad que tendremos para respetarlas) el factor determinante de que superaremos, con mayor o menor éxito, las grandes transformaciones de la era en que vivimos. Sobre este punto, sin embargo, una cosa es cierta: ninguna regulación de la inteligencia artificial debe sacrificar las garantías que asisten al proceso de conformación de las fuentes. Esta reflexión, que también aparece reflejada en las recomendaciones de la OMS sobre participación y democracia de las opciones normativas en este sector, es probablemente la condicio sine qua non más importante que se observará en un futuro próximo y hay que darle una oportunidad para que se afirme, incluso superando una creencia común.
La actualidad parece enfrentarnos a menudo a la idea de que donde hay tecnología no puede haber democracia y viceversa. Este planteamiento debe abandonarse cuanto antes.
En un mundo que avanza a una velocidad considerable, es ciertamente impensable que la regulación de fenómenos extremadamente complejos pueda llevarse a cabo según los modos habituales de regulación a los que estamos acostumbrados, y es igualmente evidente que el foro parlamentario puede resultar obsoleto, pero los dos cuernos de la endiada (técnica y democracia) nunca deben entenderse como irreductibles el uno al otro (o, por utilizar una expresión del derecho administrativo, mutuamente excluyentes). Sin duda, hay formas de devolver la democracia a la técnica o de hacerla más accesible, y es más necesario que nunca encontrarlas, no sea que una y otra dejen de cruzarse. Una de ellas podría consistir, por ejemplo, en reforzar la democracia entre los técnicos, fomentando un mayor diálogo entre ellos; otra, quizá menos factible, podría consistir en atraer la dimensión de la tecnología a la órbita de lo público y conseguir que, aunque en una dimensión no asamblearia, sigan siendo los representantes de los ciudadanos quienes “manejen” la complejidad de estos instrumentos y que, en cualquier caso, las obligaciones que corresponden a los responsables estén definidas de forma más clara. Ninguna de estas soluciones es obviamente sencilla, pero, aunque ninguna de ellas implique garantía alguna de éxito, abdicar del control del poder (y de las fuentes del Derecho a través de las cuales éste se expresa) supondría no sólo entregar la gobernanza de las decisiones a la influencia de las grandes multinacionales que dominan el mundo, sino, lo que es aún más grave, dejar incumplida la principal misión de nacimiento del constitucionalismo.
Resumen: Este trabajo intenta reflexionar sobre algunas cuestiones relacionadas con el uso del soft law para la regulación de la inteligencia artificial y adopta como punto de vista (y caso de estudio) el ámbito médico. Utilizando también ejemplos concretos, los párrafos de este estudio cuestionan la tolerabilidad de los modelos de disciplina «informales» e intentan desalentar su uso para el establecimiento de normas en sectores cruciales como el del “gobierno” de la inteligencia artificial.
Palabras claves: Inteligencia artificial, medicina, soft law, principios fundamentales.
Abstract: This essay reflects on some issues related to the use of soft law for the regulation of artificial intelligence and it adopts the medical field as its point of view (and case study). Using some examples, the paragraphs of this study question the tolerability of ‘informal’ regulatory models, attempting to discourage their use for establishing standards in crucial sectors (such as the ‘governance’ of artificial intelligence).
Key words: Artificial Intelligence, Medicine, Soft law, Fundamental Principles.
Recibido: 10 de abril de 2025
Aceptado: 2 de junio de 2025
______________________________________
[01] Sobre el tema véase B. PASTORE, Soft Law y la teoría de las fuentes del derecho, en Soft Power, vol. 1, núm. 1, p. 74, accesible en: https://editorial.ucatolica.edu.co/index.php/SoftP/article/view/1772;M.I. GARRIDO GÓMEZ, El soft law como fuente del derecho extranacional, Dykinson, Madrid, 2017.
[02] A este respecto, permítaseme recordar, también por sus referencias al sistema español, V. DESANTIS, Le linee guida nel “sistema” delle fonti del diritto, Editoriale Scientifica, Napoli, 2023.
[03] Para una reconstrucción completa del tema, véase M. FASAN, Intelligenza artificiale e cosituzionalismo contemporaneo. Principi, diritti e modelli in prospettiva comparata, Editorale Scientifica, Napoli, 2024.
[04] Sobre la crisis de las fuentes del derecho y la aparición de nuevos contenedores jurídicos en elen el sistema jurídico italiano véase A. CARDONE, A. SIMONCINI, G. TARLI BARBIERI (editado por), Modello costituzionale e trasformazione del sistema delle fonti nella crisi economica e pandemica. Emergenza e persistenza. Atti del Convegno di Firenze, 17-18 giugno 2022, Napoli, Editoriale Scientifica, 2023; D. CASANOVA, A. DE NICOLA, M.C. GIRARDI, P. VILLASCHI (editado por), Le fonti della crisi: prospettive di diritto comparato. In memoria di Paolo Carrozza, Atti del Seminario di diritto comparato (25 marzo 2022), in Gruppo di Pisa - La Rivista, Quaderno n. 5, Fascicolo speciale monografico abbinato al n. 3/2022. Sobre el sistema español, véase en cambio F. ARRÁZOLA JARAMILLO, “El concepto de seguridad jurídica, elementos y amenazas ante la crisis de la ley como fuente del derecho”, Derecho Público, núm. 32, 2014, p. 27; L.A. CABRERA SUÁREZ, “Los principios y su papel en la crisis de las fuentes del derecho”, Revista Criterio Libre Jurídico, vol. 8, núm. 1, 2011, p. 27. Para una reconstrucción sistemática del tema, véase, entre otros, F. BALAGUER CALLEJÓN, Fuentes del Derecho, Centro de Estudios Políticos y Constitucionales, Madrid, 2022; J. AGUILÓ REGLA, Teoría general de las fuentes del Derecho: (y el orden jurídico), Ariel, Barcelona, 2000.
[05] OMS, Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models, 2025.
[06] Como es sabido, los LMM se configuran como un tipo de tecnología de inteligencia artificial generativa, capaz de aceptar diferentes tipos de entradas (como textos, imágenes y vídeos) y de generar, a partir de ellas, salidas diversificadas, es decir, no limitadas al tipo de datos de entrada. Un modelo extenso de lenguaje (LLM) es una tecnología de IA avanzada centrada en la comprensión y en el análisis de textos. Es más preciso que los algoritmos tradicionales de aprendizaje automático, ya que es capaz de captar las complejidades del lenguaje natural, requiriendo, para ello, una gran cantidad de datos de entrenamiento, como libros y artículos. Un LLM puede generar respuestas relevantes y proporcionar información valiosa al procesar grandes cantidades de texto. Estos modelos lingüísticos se han extendido considerablemente en actividades de traducción, respuesta a preguntas y elaboración de textos y, con nuevos avances, es posible esperar que sean cada vez más potentes en el futuro.
[07] Como es sabido, solo se ha aprobado un acuerdo marco internacional sobre este tema, y ello en el ámbito del Consejo de Europa. Se trata del Convenio Marco del Consejo de Europa sobre Inteligencia Artificial y Derechos Humanos, Democracia y Estado de Derecho (Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law), que fue adoptado en Estrasburgo durante la reunión ministerial anual del Comité de Ministros del Consejo de Europa, que reúne a los ministros de Asuntos Exteriores de los 46 Estados miembros.
[08] Este ámbito, también por el hecho de ser un sector en pleno desarrollo, requiere además una regulación puntual y constante, y la normalización informal satisface esta necesidad, estableciendo de forma rápida y flexible las normas necesarias para regular esta tecnología y otros sectores complejos.
[09] Sobre el tema, C.A. ARELLANO LÓPEZ, “El Derecho de Protección de Datos Personales”, Biolex, vol. 12, núm. 23, 2021; M. ALMEIDA CERREDA, “Las entidades locales y la protección de datos”, Derecho Municipal, núm. 12, 2018.
[10] Se trata de las Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act). Las presentes directrices ofrecen una visión general de las prácticas de IA consideradas inaceptables debido a sus riesgos potenciales para los valores y derechos fundamentales europeos. La ley sobre IA, cuyo objetivo es promover la innovación al tiempo que garantiza unos niveles elevados de protección de la salud, la seguridad y los derechos fundamentales, clasifica los sistemas de IA en diferentes categorías de riesgo, incluidas las prohibidas, las de alto riesgo y las sujetas a obligaciones de transparencia.
[11] En la versión italiana del sitio web de la Comisión, se lee: “Le linee guida sono concepite per garantire l’applicazione coerente, efficace e uniforme della legge sull’IA in tutta l’Unione europea. Sebbene offrano informazioni preziose sull'interpretazione dei divieti da parte della Commissione, non sono vincolanti, con interpretazioni autorevoli riservate alla Corte di giustizia dell'Unione europea (CGUE)”.[Las directrices están diseñadas para garantizar la aplicación coherente, eficaz y uniforme de la ley sobre IA en toda la Unión Europea. Aunque ofrecen información valiosa sobre la interpretación de las prohibiciones por parte de la Comisión, no son vinculantes, ya que las interpretaciones autorizadas corresponden al Tribunal de Justicia de la Unión Europea (TJUE)].
[12] Esto se confirma por el hecho de que la descripción de las directrices añade que la Comisión “aún no ha adoptado formalmente” estas orientaciones. Esta frase da a entender que podrían incorporarse pronto a actos formales.
[13] Sobre este tema, véase, L. FERRAJOLI, Garantismo: una discusión sobre derecho y democrazia, Trotta, Madrid, 2013; J. PÉREZ ROYO, Curso de Derecho Constitucional, Marcial Pons Ediciones, Madrid, 2010.
[14] Se ocupan de las cuestiones relacionadas con lo que se dice R. GUASTINI, “Concepciones de las Fuentes del Derecho”, Isonomía. Revista de Teoria y Filosofía del Derecho, núm. 1, 1999, p. 167; L.L. HIERRO, “Igualdad, Generalidad, Razionabilidad y Crisis de la Ley”, DOXA. Cuadernos De Filosofía Del Derecho, núm. 26, p. 449.
[15] Sobre este puncto, véase J. PONCE SOLÉ, “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, 2019, p. 50; A. MORALES CÁCERES, “El impacto de la inteligencia artificial en el Derecho”, en Advocatus, 2021, p. 39.
[16] La idea de un derecho que persigue la realidad podría encontrarse en la concepción del “derecho arbitrario” (ya no vinculado a restricciones, ni religiosas ni profanas; un derecho vacío, en cuya manifestación las leyes proliferan de manera incoherente y se autolegitiman mediante la imposición), del que habla N. IRTI, Il potere semantico della legge, publicado en el suplemento dominical del Sole 24 Ore del 29 junio 2025. Esta comparación es una idea del Profesor Giacomo d’Amico, a quien quiero expresar, también desde aquí, mi más sincero agradecimiento.
[17] Los peligros más graves se derivan del hecho de que las tecnologías de IA son desarrolladas por empresas privadas con fines lucrativos que operan en el mercado capitalista globalizado. Por lo tanto, los Gobiernos deberían: (1) invertir o proporcionar infraestructuras públicas o sin ánimo de lucro, incluida la potencia de cálculo y los conjuntos de datos públicos, accesibles a los desarrolladores de los sectores público, privado y sin ánimo de lucro, exigiendo a los usuarios que se adhieran a principios y valores éticos a cambio del acceso; (2) utilizar leyes, políticas y reglamentos para garantizar que los LMM y las aplicaciones utilizadas en la atención sanitaria y la medicina, independientemente del riesgo o beneficio asociado a la tecnología de IA, se adhieran a las obligaciones éticas y las normas de derechos humanos que afectan, por ejemplo, a la dignidad, a la autonomía o a la privacidad de una persona; (3) asignar a una agencia reguladora existente o nueva la tarea de evaluar y aprobar los LMM y las aplicaciones para la atención sanitaria o la medicina, en función de los recursos disponibles; (4) introducir auditorías y evaluaciones de impacto obligatorias posteriores al lanzamiento, incluidas las relativas a la protección de datos y los derechos humanos, realizadas por terceros independientes cuando se utilice un LMM a gran escala. Las auditorías y las evaluaciones de impacto deben publicarse e incluir las conclusiones y los impactos desglosados por tipo de usuario, por ejemplo, por edad, raza o discapacidad.
