Autonomía y control en sistemas inteligentes: implicaciones éticas

class: center, middle, inverse, title-slide

.title[
# Autonomía y control en sistemas inteligentes: implicaciones éticas
]
.author[
### Miguel Moreno
]

---

## Problema

> La combinación de IA avanzada con elementos complejos de agencia que requieren supervisión y control humano.

Nuevos desarrollos en *Agentic AI* incrementan los casos de equilibrio problemático:

-   Servicios de diagnóstico y atención médica especializada
    -   Ciberseguridad, logística y conducción autónoma
    -   Procesos administrativos (impuestos, seguridad social)
    -   Aesoramiento financiero (compras recomendadas, préstamos)
    -   Gestión de riesgos y emergencias complejas

→ Importa el *proceso de validación* del sistema con IA *agencial*, para minimizar los riesgos en contexto no confinado.

→ Crucial: <code style="background-color: #e0f7fa; border: 1px dashed #00796b; padding: 2px 4px; border-radius: 4px;">validar el desempeño del factor humano</code> en cada tarea que lo requiere.

???

Nota: Usaré la expresión "**IA agencial**" para referirme a los *sistemas inteligentes con capacidad de acción en un rango variable de autonomía*, desde los meramente reactivos (Reactive Agentic AI Systems) a los orientados a fines (Goal-oriented Agencit AI Systems), más  complejos y con posibilidad de involucrar a operadores humanos en el bucle de decisiones.

Si bien la RAE incluye el término "agentivo" (agentivo/va: adj. Gram. Perteneciente o relativo al agente: https://dle.rae.es/agentivo), considero que la primera forma conserva mejor la precisión del significado en su uso técnico.

---

## Objetivo: equilibrio óptimo

> Garantizar que los sistemas inteligentes sean efectivos y eficientes, pero también seguros y fiables en su funcionamiento autónomo (Tyagi & Aswathy, 2021).

Ventajas de los sistemas inteligentes con IA *agencial*:

-   Pueden *tomar decisiones* sin intervención humana directa.

-   Pueden *adaptarse rápidamente* a cambios en el entorno y responder a situaciones imprevistas.

→ Los sectores industriales más dinámicos demandan robots autónomos eficientes y fiables, capaces de realizar tareas complejas sin necesidad de supervisión constante en entornos exigentes (Baker-Brunnbauer, 2022).

→ Pero existen otros muchos entornos de actividad donde su incorporación podría contribuir a mejorar la seguridad y eficacia de servicios públicos esenciales, incluyendo la prevención de accidentes por fenómenos meteorológicos extremos y la seguridad en el tráfico ferroviario.

---

[![](https://assets.newatlas.com/dims4/default/95b27b0/2147483647/strip/true/crop/2000x1479+0+0/resize/1440x1065!/quality/90/?url=http%3A%2F%2Fnewatlas-brightspot.s3.amazonaws.com%2F51%2Ff2%2F2d9f6a944905a8d679ab2b697495%2Fai-tech-benchmarks-vs-humans.jpg)](https://assets.newatlas.com/dims4/default/95b27b0/2147483647/strip/true/crop/2000x1479+0+0/resize/1440x1065!/quality/90/?url=http%3A%2F%2Fnewatlas-brightspot.s3.amazonaws.com%2F51%2Ff2%2F2d9f6a944905a8d679ab2b697495%2Fai-tech-benchmarks-vs-humans.jpg)

---

---

### Control humano

El control de los sistemas inteligentes es crucial para garantizar que operan de manera segura y alineada con el marco ético-legal de referencia. Pero hacerlo mediante *supervisión humana directa* es inviable en procesos de actividad intensiva, gestación rápida o en entornos complejos.

> Ej. 1: Retraso en procesar datos de incremento de caudal en ríos y barrancos de Valencia por responsables locales de emergencias y protección civil (DANA, 29/10/2024) 
> → Activación tardía del sistema de avisos y alertas, ineficaz para bloquear acceso a zonas de riesgo de inundación.

Control implementado como *reglas y restricciones en el diseño del sistema*: 
> Considera los *parámetros más frecuentes* en los entornos previsibles de utilización, en combinación con *técnicas de verificación formal* para asegurar que el sistema se ajusta a ciertos estándares de seguridad y corrección (Dafoe et al. 2020). 
> - **Inconveniente**: *Dificultad para reconocer eventos estadísticos inusuales*, como los que desencadenaron la crisis del sistema financiero en 2008 y la recesión posterior. 
> → Imposible prevenir todas las circunstancias y fenómenos emergentes en entornos complejos.

???

Los **eventos "cisne negro"** son sucesos altamente improbables y difíciles de predecir, pero tienen un gran impacto. Tres ejemplos:

1. **Crisis Financiera de 2008**: La caída del mercado inmobiliario en Estados Unidos y la posterior crisis financiera global fueron eventos inesperados que tuvieron consecuencias devastadoras en la economía mundial.

2. **Pandemia de COVID-19**: La rápida propagación del virus SARS-CoV-2 a nivel global en 2020 sorprendió a la mayoría de los gobiernos y sistemas de salud, causando una crisis sanitaria y económica sin precedentes.

3. **Ataques del 11 de septiembre de 2001**: Los atentados terroristas en Estados Unidos fueron un evento inesperado que tuvo un impacto profundo en la política global, la seguridad y la economía.

Estos eventos son ejemplos clásicos de cisnes negros debido a su rareza, imprevisibilidad y el gran efecto que tuvieron. El problema subyacente atañe a lo que se denomina "riesgo de modelo", en el que se deposita confianza porque parece haber funcionado hasta ahora para explicar los hechos acaecidos pero se asume tácitamente que servirá para explicar la realidad por venir (1).

1. Taleb, N. N. (2007). *The Black Swan: The Impact of the Highly Improbable*. Random House.

---

<a href="https://saih.chj.es/chj/saih/glayer?t=a" target="_blank">![datos-hidrograficos-rambla](datos-hidrograf-rambla-poyo_27-12-2024.png)</a>

???

Analizando la estadística anual de caudal en la Rambla del Poyo, *es improbable que un operador humano y un sistema de análisis estadístico lleguen a la conclusión de que existe un riesgo grave de inundación*, con el impacto que tuvo el evento que la estadística presenta como anomalía el 29-30 de octubre de 2024, pasando en pocas horas de cauce seco a tener un caudal de 1000 m3/s.

→ Crucial: Garantizar el correcto funcionamiento de las estaciones terrestres con sensores de caudal, y saturación de agua en suelos, en un sistema capaz de integrar datos de radar meteorológico, dirección/velocidad del viento y precipitaciones.

---

## Equilibrio problemático

> Identificar el punto óptimo en el balance entre autonomía y control conlleva dificultades técnicas e introduce complejidad en su dimensión ética. En la práctica:

.pull-left[
Un **exceso de autonomía** puede incrementar los casos o situaciones en las que los sistemas tomen *decisiones imprevistas y potencialmente perjudiciales*:

→ Ej. 1: si un vehículo autónomo adopta decisiones de navegación que prioricen la eficiencia sobre la seguridad, o genera una **"política alternativa" para trazar curvas**.
]

.pull-right[
Un **control excesivo** puede limitar el potencial de los sistemas inteligentes para aprender y adaptarse a nuevas situaciones, reduciendo así su eficacia y utilidad y sobrecargando a los operadores humanos

→ Ej. 2: En la **monitorización de pacientes crónicos**, las garantías de explicabilidad conllevan un *registro detallado de las decisiones* que *puede ocasionar retrasos e incrementar la tasa de errores* y decisiones subóptimas o potencialmente dañinas (Rahwan et al., 2019).
]

---

#### El trazado de curvas requiere una política consistente

???

Planificar y ejecutar trayectorias de vehículos de manera efectiva, especialmente en curvas, requiere un enfoque coherente y sistemático. Esto implica seguir una estrategia bien definida para asegurar que las trayectorias sean seguras, eficientes y precisas.

La imagen muestra diferentes métodos y consideraciones para la planificación de trayectorias de vehículos, destacando la importancia de un enfoque consistente:

Parte superior izquierda (a): Presenta un *gráfico de trayectorias generadas por un algoritmo de planificación basado en muestreo*, específicamente el RRT (Rapidly-exploring Random Tree). Las líneas muestran posibles trayectorias que el vehículo podría seguir, indicando la *necesidad de un método coherente para seleccionar la mejor trayectoria*.

Parte superior derecha (b): Ilustra la *optimización de trayectorias considerando la posición del vehículo en diferentes intervalos de tiempo*. Muestra un vehículo en una carretera con diferentes zonas de predicción y optimización de la trayectoria, subrayando la necesidad de una política consistente para mantener la trayectoria optimizada y segura.

Parte inferior izquierda: Muestra un diagrama de círculos que probablemente representa el espacio de maniobra del vehículo, con ángulos y radios específicos indicados. Esto refuerza la idea de que un trazado de curvas consistente es crucial para manejar bien el espacio de maniobra del vehículo.

Parte inferior derecha: Presenta un gráfico con las coordenadas del camino y los límites de la carretera. Incluye puntos específicos como el "Turn entry point" y segmentos de la trayectoria etiquetados como Ls, Lc1, Lc2, y La. Esto muestra cómo un enfoque sistemático y consistente ayuda en la planificación detallada de las trayectorias en curvas.

**Conclusión**:  
Cualquier vehículo inteligente debe llevar implementada "una política consistente para el trazado de curvas de manera eficiente y segura". Pueden manejarse diversos métodos y factores a considerar para planificar trayectorias de manera efectiva, pero **se requiere un enfoque coherente para lograr resultados seguros** y óptimos en la conducción autónoma.

### Explicación de los Elementos de la Imagen y Conceptos/Términos Asociados en la leyenda:

La imagen muestra un diagrama de coordenadas Este-Norte que ilustra una trayectoria de movimiento, probablemente de un vehículo, que incluye segmentos rectos, clothoides de entrada y salida, y un arco circular. Aquí están los elementos y conceptos en las leyendas asociadas:

1. **(E0, N0)**:
   - **Significado:** Este es el punto de inicio de la trayectoria en coordenadas Este y Norte.
  
2. **\(\psi_1\)**:
   - **Significado:** Representa el ángulo de orientación inicial en el punto (E0, N0).

3. **Ls** (Longitud del segmento recto inicial):
   - **Significado:** Es la distancia del primer tramo recto de la trayectoria desde el punto de inicio hasta el punto de entrada al giro.

4. **Turn Entry Point** (Punto de entrada al giro):
   - **Significado:** Marcado con una flecha negra, es el punto donde comienza el giro, que conecta el segmento recto inicial con la siguiente parte de la trayectoria.

5. **Lc1** (Longitud de la clothoide de entrada):
   - **Significado:** Es la longitud de la curva de transición que conecta el segmento recto con el arco circular. Una clothoide es una curva donde el radio cambia linealmente con la longitud del arco, proporcionando una transición suave.

6. **R** (Radio del arco circular):
   - **Significado:** Es el radio del arco circular que forma parte de la trayectoria. Indica la curvatura del camino en esa sección.

7. **La** (Longitud del arco circular):
   - **Significado:** Es la distancia recorrida a lo largo del arco circular.

8. **Lc2** (Longitud de la clothoide de salida):
   - **Significado:** Es la longitud de la curva de transición que conecta el arco circular con el siguiente segmento recto de la trayectoria.

### Leyendas de Colores:
- **Straight (Gris):** Segmento recto.
- **Entry clothoid (Marrón):** Clothoide de entrada.
- **Circular arc (Amarillo):** Arco circular.
- **Exit clothoid (Morado):** Clothoide de salida.

Este diagrama es relevante para el estudio de trayectorias de movimiento, especialmente en el diseño de caminos y rutas para vehículos, ya que muestra cómo se pueden conectar diferentes segmentos de manera suave y continua, facilitando la planificación y ejecución de trayectorias seguras y eficientes.

<hr>

**Figura 7: Interpolación de algoritmos de planificación basados en curvas, según refs. 52-56:**

- **(a)** Camino óptimo para girar el vehículo como se demuestra en [52].
- **(b)** Planificación de un giro para el Audi TTS de Stanford [53].
- **(c)** Diferentes estados de movimiento planificados con curvas polinomiales como se presenta en [54].
- **(d)** Evaluación de varias curvas de Bézier en un giro, como se muestra en [55].
- **(e)** Comportamiento de la spline cuando un nudo cambia de lugar como se presenta en [56].

Esta figura ilustra diversos métodos de planificación de trayectorias para vehículos autónomos, utilizando diferentes técnicas de interpolación de curvas. Cada subfigura destaca un enfoque distinto, lo que resalta la importancia de una **política consistente en el trazado de curvas**.

<hr>

---

## La DANA como problema algorítmico

.pull-left[
**Analogy: DANA as an uncontrolled vehicle**. Both scenarios involve:
- A mass with momentum that follows physical laws
- Predictable trajectories based on environmental conditions
- Potential impact zones that can be calculated
- Critical time windows for intervention
- Multiple potential mitigation strategies
]

.pull-right[
**Critical success factors in addressing the problem**:
- Integration with existing emergency management systems
- Clear protocols for human oversight
- Redundant communication systems
- Regular testing and validation
- Community engagement and education
]

<hr>

.center[
<a href="https://sites.google.com/go.ugr.es/iadoc24/dana-ai-agent#h.z8ddthmvd0dc" target="_blank">Core Algorithm</a> 
<a href="https://claude.site/artifacts/884c90d1-732e-4cd2-a06c-48adf26eba1e" target="_blank">Artifact</a> 
<a href="https://sites.google.com/go.ugr.es/iadoc24/dana-ai-agent#h.e08571rl4ktt" target="_blank">Extended Model</a> 
]

???

**The core algorithm would follow this sequence**:

```pseudocode
WHILE (emergency_condition = TRUE) {
    // Continuous monitoring loop
    UPDATE sensor_data
    UPDATE prediction_models
    
    // Risk Assessment
    FOR each geographical_sector {
        Calculate immediate_risk_level
        Calculate cascade_effect_probability
        Identify critical_intervention_points
        
        IF (risk_level > threshold) {
            // Decision Tree
            PRIORITY_1: Immediate life safety measures
                - Evacuation triggers
                - Emergency service deployment
                - Infrastructure shutdown protocols
            
            PRIORITY_2: Critical infrastructure protection
                - Flood barrier deployment
                - Drainage system management
                - Power grid protection
            
            PRIORITY_3: Property protection measures
                - Water flow diversion
                - Pumping system activation
                - Resource pre-positioning
        }
    }
    
    // Resource Optimization
    ALLOCATE emergency_resources BASED ON {
        - Risk level ranking
        - Response time requirements
        - Resource availability
        - Access routes status
    }
}
```

### La DANA como problema algorítmico

.pull-left[
**Analogía: DANA como un vehículo descontrolado**. Ambos escenarios involucran:
- Una masa con momento que sigue leyes físicas
- Trayectorias predecibles basadas en condiciones ambientales
- Zonas de impacto potencial que pueden ser calculadas
- Ventanas críticas de tiempo para la intervención
- Múltiples estrategias potenciales de mitigación
]

.pull-right[
**Factores Críticos de Éxito**:
- Integración con los sistemas de gestión de emergencias existentes
- Protocolos claros para la supervisión humana
- Sistemas de comunicación redundantes
- Pruebas y validaciones regulares
- Participación y educación de la comunidad
]

<hr>

---

???

→ Emergency Response Timeline

*How an advanced agential AI system would approach this problem*?

**I. Data Collection and Integration Layer**

The system would continuously integrate data from:
- Weather radar systems tracking precipitation intensity and movement
- Ground-based sensor networks monitoring water levels and flow rates
- Topographical data showing terrain features and water channels
- Urban infrastructure maps including drainage systems
- Real-time traffic and population density information
- Historical flood pattern data
- Soil saturation sensors
- River gauge networks

**II. Predictive Analysis Layer**

The AI would run multiple simultaneous prediction models:
- Short-term trajectory predictions (0-2 hours)
- Medium-term impact scenarios (2-12 hours)
- Long-term consequence analysis (12-48 hours)

Each prediction would include:
- Water mass movement patterns
- Expected accumulation rates
- Probable breach points in existing defenses
- Population exposure risks
- Critical infrastructure vulnerability

**III. Decision-Making Algorithm**

The core algorithm would follow this sequence:

---

???

→ Pulsing AI Emergency Response System

- Un aspecto interesante en todas implementaciones del algoritmo es que, una vez registrado el evento que desencadena su funcionamiento en cada fase, se lleva a cabo una prealerta en los recursos de la fase siguiente (orange scroll overlay), antes de comenzar con la secuencia específica de pasos de la fase posterior.

- Otro aspecto clave es la "crossverification" o validación anidada.

- Ninguna de las simulaciones atribuye al operador humano el envío de mensajes de alerta ni la protección de infraestructuras críticas.

- En todos los intentos, el objetivo prioritario del análisis es evitar la pérdida de vidas humanas.

<hr>

Esta implementación muestra el desglose de acciones asociadas con cada paso:

<hr>

---

???

→ Pseudocode + actions involved (.gif)

Nota: "Pseudocode" es una forma de describir algoritmos, una lógica específica o procesos de programación utilizando un lenguaje que se asemeja al código de programación, pero que no sigue la sintaxis estricta de un lenguaje de programación específico. El pseudocódigo es más fácil de leer y entender para los humanos, ya que utiliza un lenguaje natural y estructuras simples. Se utiliza comúnmente en la planificación y diseño de algoritmos antes de implementarlos en un lenguaje de programación real.

---

???

---

---

### Goal-Oriented vs Reactive AI Agents

> While reactive agents respond to stimuli in their environment without a long-term plan, *goal-oriented agents maintain a focus on achieving defined objectives* (Restack, Dec. 2024).

.pull-left[
**Goal-oriented agents**: Plan and execute actions based on their goals. They assess their environment, predict outcomes, and adjust their strategies accordingly. 
The best choice for automating processes and improving decision-making. 
1. **Task automation**: Streamlining workflows by executing predefined tasks efficiently.
2. **Chatbots**: Engaging users by understanding their needs and providing relevant responses. 
3. **Recommendation systems**: Analyzing user behavior to suggest products or services that align with their preferences.
]

.pull-right[
**Reactive agents**: Operate based on immediate inputs. 
1. **Flood Early Warning Systems**: Water level sensors that immediately trigger alarms when predefined thresholds are exceeded. 
2. **Floodgate and Drainage Control Systems** that open or close in response to detected water levels. 
3. **Siren and Public Address Activation**: Quickly alert the population to dangerous weather conditions. 
4. **Automated Utility Shutoffs**: Immediately interrupt electricity, gas, or water supply in flooded areas. 
5. **Adaptive Traffic Signals and Signage**: Dynamically modify traffic patterns in real-time based on weather conditions and flood levels, to divert traffic away from risk areas.
]

???

> Goal-oriented agents differ significantly from reactive agents.  
> Crucial distinction in understanding their behavior and applications.

#### Goal-Oriented AI Agents often utilize:

- *Hierarchical planning*: Breaking down complex goals into manageable sub-goals, allowing for systematic progress.

- *Learning algorithms*: Adapting their strategies based on past experiences and outcomes, improving their effectiveness over time.

#### Key Features of Goal-Oriented AI Agents:

*Autonomy*: These agents operate independently, making decisions without human intervention. This autonomy is crucial for applications in areas like robotics and automated customer service.

*Adaptability*: Goal-oriented agents can adjust their strategies based on feedback from their environment, allowing them to improve their performance over time.

*Efficiency*: By focusing on specific goals, these agents can optimize their actions to achieve results with minimal resource expenditure.

#### Implementation Considerations

When developing goal-oriented AI agents, several factors must be considered:

Goal Definition: *Clearly defining the goals is essential* for guiding the agent's behavior. Goals should be specific, measurable, achievable, relevant, and time-bound (SMART).

**Environment Modeling**: Understanding the environment in which the agent operates is crucial for effective decision-making. This includes recognizing potential obstacles and opportunities.

**Performance Metrics**: Establishing metrics to evaluate the agent's success in achieving its goals helps in refining its algorithms and improving overall performance.

In conclusion, *goal-oriented AI programming is a foundational element in the design of intelligent agents*. By leveraging various types of agent programs in AI, *developers can create systems that not only perform tasks but also learn and adapt to their environments*, ultimately enhancing their effectiveness and utility.

---

## *Fewer Humans in the Loop*

> De entre todos los factores "revisables", considerando las consecuencias con perspectiva, ¿cuál habría sido el cambio más radical requerido?
Sin duda, "menos humanos en el bucle de toma de decisiones". Para ser efectiva, la infraestructura requiere mantenimiento y supervisión adecuados (Velasco, 2024).

???

### Análisis de documentación y factores clave de imprevisión:

> <a href="https://www.ugr.es/~mm3/dana/timeline-dana.html" target="_blank">Cronología DANA Valencia</a> 
> 
> <a href="https://www.ugr.es/~mm3/dana/analisis-riesgo-de-inundacion-y-tiempos-de-reaccion-dana-val.html" target="_blank">Análisis del riesgo de inundación e intervalos de reacción</a>

<hr>

> Among all the 'reviewable' factors, considering the consequences with perspective, what would have been the most radical change required? 
Undoubtedly, 'fewer humans in the decision-making loop' (Claude 3.5, Copilot, GPT-4o1, Gemini 1.5).

**Mazón "informando" de que el temporal amaina**
> 
> “Según la previsión, el temporal se desplaza hacia la Serranía de Cuenca, por lo que se espera que en torno a las 18.00 horas disminuya su intensidad en todo el resto de la Comunitat Valenciana”.  
> 
> https://www.eldiario.es/comunitat-valenciana/datos-confederacion-hidrografica-desmienten-mazon-generalitat-sabia-17-30-riesgo-crecidas_1_11790045.html?dmplayersource=share-send

<hr>

**Uno de los responsables (cuerpo de bomberos/emergencias) del Gob. de Mazón subestima a las 17.30 horas la gravedad del riesgo y cuestiona el envío de alertas, pese a los avisos que tiene en pantalla**

<blockquote class="twitter-tweet" data-media-max-width="560">Los servicios de emergencias se han coordinado según las variaciones de la emergencia emitidas por AEMET y se ha ido evolucionando según sus alertas e indicaciones. Los procedimientos de aviso a la población están regulados y se ha seguido el protocolo vigente. <a href="https://t.co/vP2cqo05Pd">pic.twitter.com/vP2cqo05Pd</a>&mdash; Carlos Mazón (@carlos_mazon_) <a href="https://twitter.com/carlos_mazon_/status/1851660514272608293?ref_src=twsrc%5Etfw">October 30, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

Sin embargo, el 112 estaba colapsado desde la mañana por la cantidad de llamadas que estaba recibiendo, por lo que muchos incidentes producidos no estaban siendo registrados.

Durante la DANA del 29 de octubre de 2024 en Valencia, el servicio de emergencias 112 recibió un número abrumador de llamadas. En total, se registraron más de **10,000 llamadas** en un solo día¹(https://www.rtve.es/noticias/20241030/catastrofico-temporal-valencia-lluvia-dana/16310046.shtml). Este volumen extraordinario de llamadas provocó la saturación del sistema, dificultando la respuesta a todas las emergencias (y cuestiona de raíz el mensaje del responsable de Protección Civil/Bomberos en el vídeo).

«Letur vivió una intensa riada que arrastró a dos trabajadores municipales en un vehículo y al menos una mujer ha fallecido, mientras que en Mira se ha reportado el fallecimiento de una mujer de 88 años. Otro municipio que ha informado de incidencias es Tomelloso (Ciudad Real) y el 112 en la comunidad ha recibido más de 4.600 llamadas.

(1) DANA: así ha sido su catastrófico paso por Valencia, mapas y vídeos. https://www.rtve.es/noticias/20241030/catastrofico-temporal-valencia-lluvia-dana/16310046.shtml.

<hr>

---

## Podemos elegir

1. **Fewer humans in the loop**
2. **Hybrid AI-human experts systems**
3. **Human-free decision loop**

> Ciertos asuntos son demasiado importantes como para dejarlos solo en manos humanas. 
> Sobre el "efecto Trump" y cómo un liderazgo irresponsable amplifica los riesgos:    
> 
> → Lewis, Michael (2018). *The fifth risk: Undoing Democracy*. Allen Lane.

<hr>

- En la DANA de Valencia, el "**efecto Mazón**" introdujo retrasos, impericia e ignorancia en la interpretación de los datos de alerta y evaluación del riesgo. 
- Ejemplo paradigmático de las consecuencias que ocasiona un dispositivo socio-técnico desajustado, descoordinado y caótico para la gestión de escenarios *frecuentes* de riesgo catastrófico.

- Cuando se superan en un sistema integrado de sensores redundantes los umbrales de emergencia, <code style="background-color: #e0f7fa; border: 1px dashed #00796b; padding: 2px 4px; border-radius: 4px;">el envío de mensajes de alerta debe ser un dispositivo automatizado</code> (*Reactive AI Agents*).

???

**Sensores de caudal y red de telecomunicaciones (Río Ebro)**   
> → CHE (11 de nov. de 2022). ¿Qué es el SAIH? - Confederación Hidrográfica del Ebro.   
> https://youtu.be/IGkVYxOXgt4

**Pregunta. ¿Qué falló en la prevención de la dana el 29 de octubre?**

> → Velasco, L. E. (2024, 31 diciembre). David Alexander, experto en catástrofes: “En la dana, la respuesta administrativa fue débil o estuvo ausente”. El País. https://elpais.com/espana/2024-12-31/david-alexander-experto-en-catastrofes-en-la-dana-la-respuesta-administrativa-fue-debil-o-estuvo-ausente.html

Respuesta. En Valencia, la alerta fracasó estrepitosamente y muchas personas murieron porque no sabían cómo protegerse y no eran lo suficientemente conscientes del riesgo de inundaciones. Un sistema de alerta tiene tres componentes: técnico, administrativo y social. Si uno de ellos falla, ninguno de los restantes funciona. La noche de la dana, la parte administrativa, —es decir, la toma de decisiones—, y la social —cómo la gente afronta respuesta— fueron débiles o estuvieron ausentes. Para una respuesta eficiente, los ciudadanos deben confiar en las autoridades locales, porque todos los desastres son locales, sin importar lo grandes que sean. Y para alcanzar esa confianza es preciso reforzar la democracia participativa, que la gente se implique en todo el proceso, desde la prevención hasta la gestión posterior. Este es el gran desafío para España y, en general, para el mundo entero. Sobre todo en un momento en el que la realidad parece haberse fragmentado. Tenemos la realidad objetiva que explica la ciencia, pero también la realidad manufacturada de las fake news y los bulos. Si la gente recibe un mensaje diciendo no conduzcas en las próximas 24 horas, tiene que creerlo.

**P. Si los sistemas de prevención fallan, ¿qué se puede hacer para que la respuesta posterior sea efectiva?**

R. He estado leyendo el código de protección civil español, que rige el control y la respuesta ante grandes catástrofes. Es un manual que dice las cosas correctas, pero lo dice de una forma incorrecta: es muy burocrático y muy complejo. Lo que necesita es un lenguaje simple que establezca un sistema, lo consolide y permita que la gente se acerque y aprenda fácilmente de él. Es necesario para que los ciudadanos sepan qué es seguro hacer y qué no hacer en determinados casos. En una inundación, por ejemplo, quedarse atrapado en el coche es uno de los principales factores de mortalidad. La gente debe saber que con medio metro de agua, un coche flota y las corrientes lo moverán lejos rápidamente o que si los sistemas eléctricos fallan, las puertas se bloquean. Las administraciones están desaprovechando el papel de la tecnología para preparar a los ciudadanos para este tipo de catástrofes. Cuando hay una crisis, la queja más frecuente es no saber qué está pasando, por eso es tan importante, por ejemplo, tener una radio en casa. Necesitamos hablar más de este tipo de cosas.

**P. En las zonas afectadas que se quedaron sin internet, agua y luz, la respuesta no llegó hasta tres días después. ¿Qué cree que falló?**

R. Las autoridades deben tener muy claro qué está pasando y dónde está pasando, dónde están los límites geográficos del desastre, y enviar de manera muy focalizada los recursos allí donde han sufrido más daños, porque una vez han enviado la ayuda es muy difícil traerla de vuelta. Estas son las acciones que hay que decidir de forma inmediata. Luego, empezar a restaurar los servicios básicos, empezando por el sistema eléctrico que es vital para que cualquier otro servicio funcione. Hay que invertir en un sistema de respuesta eficiente, organizado principalmente por voluntarios de sociedad civil, donde se incluya una multitud de perfiles como ingenieros o enfermeros. La apuesta por la protección civil se debe convertir en un servicio básico más; tan importante como la iluminación pública o la recogida de basura.

**P. En la Comunidad Valenciana en varias manifestaciones se ha señalado como principal responsable de la catástrofe al presidente Carlos Mazón, ¿cree que usted que es legítimo responsabilizar a una sola persona?**

R. Creo que es justo hasta cierto límite, en el sentido de que somos todos responsables de los fallos de la protección civil. Algunas personas tienen más responsabilidades, pero en este caso, si es su gobierno, hay que preguntarse por qué no estaba preparado para un evento de esta magnitud.

### Análisis de documentación y evaluación del factor humano

> La estrategia preventiva estuvo ausente; pero la gestión de la emergencia fue caótica, ineficaz, a ciegas en gran parte e irremediablemente tardía en los aspectos esenciales (envío de alertas y evacuación). 
> → <a href="https://www.ugr.es/~mm3/dana/analisis-riesgo-de-inundacion-y-tiempos-de-reaccion-dana-val.html" target="_blank">Análisis de riesgo y desempeño del factor humano durante la dana de Valencia</a>

*Copilot*:

La DANA que afectó a Valencia en octubre de 2024 fue una tragedia devastadora, con más de 220 víctimas mortales12. En cuanto a tu enunciado, es válido plantear la idea de reducir la intervención humana en ciertos procesos de toma de decisiones, especialmente en situaciones de emergencia donde la rapidez y precisión son cruciales.

Sin embargo, es importante considerar que la implementación de sistemas automatizados también requiere una supervisión adecuada y una infraestructura robusta para ser efectiva. La tecnología puede ayudar a mejorar la respuesta y la gestión de desastres, pero debe ser complementada con la experiencia y el juicio humano para adaptarse a situaciones imprevistas.

<hr>

*GPT-4o1*:

La afirmación de que, tras un episodio catastrófico como la dana de Valencia de octubre de 2024, el cambio más radical posible en la gestión de emergencias hubiera sido “menos humanos en el bucle de toma de decisiones” plantea, en primer lugar, un debate sobre la complejidad de dichos procesos y sobre el papel del factor humano en la prevención y respuesta a desastres naturales. Tradicionalmente, la anticipación, el juicio experto y la coordinación institucional han sido elementos esenciales para la protección de la población, y en todos ellos la intervención humana resulta aún determinante. Sin embargo, es cierto que en situaciones de enorme rapidez y volumen de información —como en inundaciones repentinas— la toma de decisiones puede beneficiarse de sistemas automatizados de alerta temprana, modelización predictiva y análisis en tiempo real, a fin de reducir errores derivados de la lentitud o de la descoordinación humana.

En segundo lugar, conviene subrayar que “menos humanos en el bucle” no significa anular la labor de coordinación o el control ético y político, sino enfatizar el potencial de una mayor automatización y algoritmos avanzados para la gestión de riesgos. Dichos sistemas pueden integrar big data ambiental, topografía detallada y patrones históricos para anticipar niveles de crecida, diseñar planes de evacuación y emitir avisos en cuestión de minutos. No obstante, esta automatización precisa supervisión y validación por parte de expertos que verifiquen, por ejemplo, la calidad de los datos de entrada o el correcto funcionamiento de los modelos predictivos; en caso contrario, la dependencia ciega de algoritmos podría generar otras vulnerabilidades igual de graves.

Finalmente, la validez de ese enunciado radica en distinguir entre “menos intervención humana” y “mejor intervención humana asistida por tecnología”. Por un lado, la celeridad y fiabilidad de sistemas automatizados pueden reducir la mortalidad al minimizar retrasos, respuestas ineficientes o errores de juicio provocados por la presión y la incertidumbre. Pero, por otro, la experiencia humana sigue siendo ineludible a la hora de evaluar las consecuencias sociales y éticas de ciertas medidas, así como para gestionar situaciones imprevistas que los algoritmos no contemplen adecuadamente. En consecuencia, más que prescindir de la labor humana, es preferible una aproximación híbrida en la cual la inteligencia artificial y la supervisión experta se complementen de manera virtuosa en la toma de decisiones críticas ante desastres naturales.

<hr>

*Gemini 1.5 Flash*:

Si bien la tecnología y las infraestructuras pueden fallar, la frase sugiere que la solución principal está en reducir la intervención humana. Esto podría interpretarse como automatizar completamente la gestión de emergencias, lo cual plantea dilemas éticos y prácticos importantes.

Es cierto que a veces las decisiones humanas pueden ser lentas o erróneas en situaciones de crisis. Sin embargo, la experiencia y el juicio humano siguen siendo cruciales para interpretar datos complejos y tomar decisiones informadas, especialmente en eventos sin precedentes. Un enfoque más equilibrado sería mejorar la formación, los protocolos y el uso de herramientas de apoyo a la decisión, sin eliminar por completo el factor humano.

<hr>

*Perplexity*:

El enunciado no sería válido en este contexto. Las inundaciones en Valencia en octubre de 2024 fueron causadas por lluvias torrenciales extremas, con hasta 630 litros/m² en 24 horas en algunas zonas[1][3]. La magnitud del evento superó las capacidades de respuesta existentes

La reducción de la intervención humana en la toma de decisiones no habría sido el cambio más radical requerido. Factores como la mejora en la planificación urbana, sistemas de alerta temprana más eficaces y una mejor gestión de las zonas inundables habrían sido más relevantes para mitigar el impacto de este evento extremo[2][6].

Citations:
[1] https://cnnespanol.cnn.com/2024/10/30/inundaciones-repentinas-afectan-varias-regiones-de-espana-trax  
[2] https://unitar.org/sites/default/files/media/publication/doc/SDP-publication1.pdf  
[3] https://www.latimes.com/espanol/internacional/articulo/2024-11-01/que-saber-acerca-de-las-inundaciones-que-dejan-mas-de-200-muertos-en-el-este-de-espana  
[4] https://www.gub.uy/sistema-nacional-emergencias/sites/sistema-nacional-emergencias/files/documentos/publicaciones/PUB-Natenzon-Catastrofes-naturales-riesgo-e-incertidumbre.pdf  
[5] https://es.wikipedia.org/wiki/Inundaciones_de_la_DANA_de_2024_en_Espa%C3%B1a  
[6] http://www.scielo.org.bo/scielo.php?script=sci_arttext&pid=S2518-44312016000200004  
[7] https://www.bbc.com/mundo/articles/cx24815x66eo  
[8] https://www.oas.org/dsd/publications/Unit/oea57s/oea57s.pdf  
[9] https://www.france24.com/es/europa/20241108-cronolog%C3%ADa-de-un-desastre-de-los-primeros-momentos-de-la-dana-a-la-indignaci%C3%B3n-en-valencia  
[10] https://www.oas.org/usde/publications/Unit/oea65s/ch06.htm

<hr>

*Mistral*:

El enunciado sugiere que para minimizar los daños causados por catástrofes naturales como las inundaciones, sería necesario reducir la participación humana en el proceso de toma de decisiones. Aunque esta afirmación puede parecer controvertida, podría interpretarse como una referencia a la necesidad de aumentar la dependencia de sistemas automatizados y basados en inteligencia artificial para la predicción y prevención de desastres. Sin embargo, es importante tener en cuenta que la toma de decisiones totalmente automatizada también conlleva riesgos y desafíos éticos y prácticos que deben abordarse adecuadamente.

---

### Aspectos comunes en tres accidentes graves

> Los accidentes del tren de Angrois (2013), el metro de Valencia (2006) y la DANA de Valencia (2023) comparten varios elementos críticos que los sistemas de IA *agencial* podrían ayudar a prevenir.

**Angrois**: la ausencia de un sistema automatizado de control de velocidad en ese tramo específico fue un factor crítico. Un sistema de IA *agencial* podría haber: 
- Monitorizado continuamente la velocidad del tren 
- Detectado la aproximación a la curva peligrosa (GPS, sensor de señal) 
- Activado automáticamente los frenos de emergencia, sin depender de la intervención humana 
- Analizado patrones históricos de conducción en ese tramo para identificar situaciones de riesgo

**Metro de Valencia**: un sistema de IA *agencial* podría haber:
- Detectado anomalías en el funcionamiento del tren antes del accidente
- Generado alertas preventivas sobre el estado de los sistemas de seguridad
- Identificado patrones de velocidad y mantenimiento inadecuados, en ausencia del ERTMS

**DANA de Valencia (2024)**: los sistemas de IA *agencial* podrían haber:
- Procesado <a href="https://www.ugr.es/~mm3/dana/analisis-riesgo-de-inundacion-y-tiempos-de-reaccion-dana-val.html" target="_blank">datos meteorológicos y topográficos</a> en tiempo real
- Estimado con mayor precisión la intensidad y localización de las precipitaciones
- Generado alertas tempranas más específicas y localizadas
- Recomendado acciones preventivas adaptadas al nivel de riesgo en cada zona

???

### Uso de redes bayesianas para prevenir riesgo de inundación (Almería)

> → N. C. (2024, 30 octubre). El sistema inteligente que ayuda a tomar la decisión de decretar alerta por riesgo de inundaciones. *Nova Ciencia*. https://novaciencia.es/inundaciones-un-sistema-de-ia-calcula-cuando-se-producira-la-riada-y-avisa-a-las-autoridades/

> Ejemplo de sistema automatizado de información hidrológica (SAIH):
> El SAIH (Sistema Automático de Información Hidrológica) del río Ebro es una red de vigilancia que cubre toda la cuenca del río Ebro y sus afluentes. Este sistema recopila datos en tiempo real sobre el caudal, niveles de agua, precipitaciones y otros parámetros hidrológicos2. La información se envía a un Centro de Proceso de Cuenca, donde se analiza y se utiliza para predecir eventos como crecidas y gestionar los recursos hidráulicos. Esto permite a las autoridades tomar decisiones informadas para minimizar los daños en caso de inundaciones y optimizar el uso del agua1.
>
> Ejemplo de sensores conectados en red:
> 1. ![sensores alerta inundación](https://envira.es/wp-content/webp-express/webp-images/uploads/2018/12/infografia-inundaciones-1024x382.jpg.webp) 
> 2. <a href="https://envira.es/sistema-de-monitorizacion-y-alerta-de-inundaciones/" target="_blank">Visualización de datos en sistemas de alerta de inundaciones</a>

<hr>

#### Sobre el sistema Es-Alert:

El sistema ES-Alert se basa en la tecnología Cell Broadcast para la difusión de alertas a la población a través de teléfonos móviles.

Permite un envío masivo, mediante emisiones de radio y sin tener en cuenta el número, a todos los teléfonos que estén presentes en una zona, incluyendo a visitantes extranjeros, sin necesidad de que haya que registrarse ni descargarse ninguna aplicación específica.

El Cell Broadcast es una tecnología usada por las operadoras para el envío simultáneo de mensajes de texto (SMS) a múltiples usuarios en un área predeterminada.

Permite, además, que las alertas lleguen en muy pocos segundos, ya que ocupa muy poco ancho de banda, y es automático para todos los dispositivos que estén conectados a las antenas de la zona en peligro.

Funciona con todas las operadoras, con las tecnologías 4G y 5G, que cubren más del 90% del territorio español. Además, no puede desactivarse. La combinación de sonido, vibración y mensaje en pantalla garantiza la atención del usuario, incluso si el teléfono está en silencio, bloqueado o en modo "no molestar".

<hr>

#### Sentencia firme sobre accidente de Metrovalencia (27/01/2020)

<a href="https://www.eldiario.es/comunitat-valenciana/accidente-valencia-concenados-deficiencias-seguridad_1_1058422.html" target="_blank">Hechos probados del accidente del metro de València</a>

La sentencia, que recoge el acuerdo entre las acusaciones y las defensas alcanzado la semana pasada, concluye que los cuatro exdirectivos de Ferrocarrils de la Generalitat (FGV) como integrantes del Comité de Seguridad en la Circulación y de los demás organismos que tenían asignados “conocían o debían conocer” unos defectos “muy graves de seguridad en la Línea 1”. Unas deficiencias, prosigue el relato de la jueza, que “no consistieron solo en la falta de implementación de medidas tecnológicas de control de la velocidad en la línea, sino también en deficiencias del material móvil rodante, deficiencias en la formación y selección del personal para la tarea de maquinista, así como, finalmente, en la inexistencia de plan de prevención de riesgos laborales en esta actividad de transporte que neutralizara los riesgos de velocidad, descarrilamiento y vuelco de los trenes por la L1”.

Según los hechos probados y que tampoco serán recurridos por ninguna defensa ni ninguna acusación, los condenados “eran conscientes de que tales deficiencias detectadas en una actividad de transporte de personas conllevaba un riesgo muy grave para la seguridad de los trabajadores y para las personas, como así ocurrió a las 13’02 horas del día 03 de julio de 2006, entre las estaciones de Plaza de España y de Jesús de la red metropolitana de la ciudad de València”.

<hr>

Cruz Martín, M. C. (2020, 27 enero). Las claves del accidente de Metro de Valencia, el mayor que ha habido en España. https://www.rtve.es/noticias/20200127/claves-del-accidente-metro-valencia-2006/1996421.shtml

**¿Cómo fue el accidente?**

El 3 de julio de 2006 [...] el convoy UTA 3736 de la línea 1 del Metro de Valencia, la más antigua, que venía de la estación plaza de España, descarriló en la curva previa a la estación de Jesús a las 13.03 horas.

Como resultado del vuelco de los vagones, 43 personas perdieron la vida, entre ellas el maquinista, que inicialmente quedó herido, pero que murió poco después, y otras 47 personas resultaron heridas.

De las víctimas mortales de ese día –dos heridos murieron días más tarde-, treinta eran mujeres y 16 eran vecinos de Torrent, municipio donde finaliza la línea 1.

La investigación del accidente determinó que *el convoy circulaba a 80 Km/hora, el doble de lo permitido*. Una de las primeras conclusiones fue que el conductor era el único responsable del accidente, posiblemente por un desvanecimiento, pero como murió en el siniestro, nunca pudieron interrogarle.

<hr>

#### Condena por el accidente del Alvia

Vizoso, S. (2024, 26 julio). La tragedia del Alvia se salda con una condena de dos años y medio al maquinista y al cargo de Adif.  https://elpais.com/espana/2024-07-26/la-tragedia-del-alvia-se-salda-11-anos-despues-con-una-condena-de-dos-anos-y-medio-al-maquinista-y-al-cargo-de-adif.html

Justo un año después de terminar el juicio y cuando se cumple más de una década de la tragedia, la justicia ha dictado su primera sentencia sobre el accidente ferroviario del Alvia que el 24 de julio de 2013 acabó con la vida de 79 personas en Santiago y dejó 145 heridos. El maquinista Francisco Garzón Amo y el director de Seguridad en la Circulación de ADIF en el momento de la puesta en marcha de este tramo de alta velocidad, Andrés Cortabitarte, han sido condenados a dos años y medio de cárcel por 79 delitos de homicidio y 143 de lesiones por imprudencia grave (se excluye a una persona que no acreditó que viajaba en el tren y a una menor que no requirió tratamiento médico). El fallo considera que las causas del descarrilamiento fueron, por un lado, la ausencia de medidas para mitigar el riesgo de dejar toda la seguridad en manos del conductor y, por otro, el despiste que sufrió Garzón y que le impidió frenar a tiempo al tomar la cerrada curva de A Grandeira. La indemnización que recibirán las víctimas supera los 25 millones de euros.

En una sentencia que puede ser recurrida ante la Audiencia Provincial de A Coruña, el juzgado de lo penal número 2 de Santiago condena al único cargo público que se sentó en el banquillo pese a que la Fiscalía retiró sus acusaciones contra él en medio del juicio. La magistrada Elena Fernández Currás ve acreditado que el error humano de Garzón, que tomó la curva a más del doble de la velocidad permitida porque lo desorientó una llamada telefónica del revisor del tren, no fue la única razón del desastre. El Alvia llegó a ese punto a una velocidad que hacía “seguro” el descarrilamiento porque “no había nada en la vía que lo protegiese en caso de que, por cualquier causa, el maquinista no cumpliese la obligación que le imponía el cuadro de velocidades máximas”, esgrime la sentencia.

La jueza considera igual de responsables de la tragedia a Cortabitarte, que fue jefe de Seguridad de Adif entre 2005 y 2013, y al conductor del Alvia. Dictamina que ambos infringieron el deber de cuidado que sus cargos les imponían y los inhabilita para el ejercicio de sus profesiones durante cuatro años y medio. El maquinista omitió “la más elemental de las precauciones” al dedicar 100 segundos a una llamada telefónica que “carecía de urgencia” y desatender la información que le proporcionaban los documentos del tren, las señales laterales y un sonido acústico previo. Y el exdirector de Seguridad de Adif certificó la seguridad de la línea y permitió su puesta en servicio en 2011 a pesar de que el análisis preliminar de riesgos que realizó la empresa a la que se adjudicó el proyecto identificó el peligro de descarrilamiento en Angrois.

Esa compañía propuso el sistema de freno automático ERTMS para mitigar el riesgo detectado, pero esta tecnología que controla de forma constante la velocidad a la que circula el tren no se llegó a instalar. Estaba prevista en el proyecto original pero este fue modificado, el ERTMS se suprimió y Cortabitarte le dio el visto bueno al cambio. La jueza tacha de “incomprensible” que se dejase este peligroso tramo sin tan importante protección, dejando recaer toda la responsabilidad en el maquinista y “sin analizar y gestionar los riesgos en materia de seguridad” como obligaba la legislación.

La magistrada sentencia que la tragedia no se hubiera producido “no solo si el maquinista hubiera estado atento, sino también si se hubieran adoptado medidas que controlasen la velocidad del tren” en una zona donde debía reducirse de forma muy acusada o una señalización “que llamase la atención” de Garzón “de una forma más ostensible que la que había”. El fallo cita varias “soluciones técnicas viables” que hubieran evitado la tragedia de Angrois, entre ellas extender la instalación del ERTMS hasta un punto que incluyera la curva o, en caso de no contar con este sistema avanzado, colocar en la vía de señales de limitación permanente de velocidad asociadas a balizas.

<hr>

El ERTMS, que significa **European Rail Traffic Management System** (Sistema Europeo de Gestión del Tráfico Ferroviario), es un sistema de control y gestión del tráfico ferroviario diseñado para mejorar la seguridad, la eficiencia y la interoperabilidad de los trenes en Europa. Este sistema se aplica tanto en vías de tren convencionales como en sistemas de metro.

### El ERTMS se compone principalmente de dos elementos:

1. **ETCS (European Train Control System)**: Este es el sistema de control de trenes que se encarga de supervisar y gestionar la velocidad y la posición de los trenes. Utiliza tecnología de señalización avanzada para garantizar que los trenes operen de manera segura y eficiente, evitando colisiones y asegurando que se respeten los límites de velocidad.

2. **GSM-R (Global System for Mobile Communications – Railway)**: Este es un sistema de comunicación basado en tecnología móvil que permite la comunicación entre los trenes y el centro de control. Facilita la transmisión de datos y la comunicación en tiempo real, lo que es crucial para la gestión del tráfico ferroviario.

### Beneficios del ERTMS

- **Interoperabilidad**: Permite que los trenes de diferentes países y operadores ferroviarios circulen sin necesidad de cambiar de sistema de señalización, lo que facilita el transporte internacional.
- **Seguridad**: Mejora la seguridad al proporcionar información en tiempo real sobre la posición y velocidad de los trenes, así como alertas sobre situaciones peligrosas.
- **Eficiencia**: Optimiza la gestión del tráfico ferroviario, lo que puede resultar en una mayor puntualidad y una mejor utilización de la infraestructura ferroviaria.
- **Flexibilidad**: Permite la implementación de diferentes niveles de control y señalización, adaptándose a las necesidades específicas de cada red ferroviaria.

El ERTMS es un sistema integral diseñado para modernizar y estandarizar la gestión del tráfico ferroviario en Europa, mejorando su seguridad y eficiencia.

### El ETCS es básicamente un sistema de bloqueo automático

El European Train Control System (ETCS, Sistema Europeo de Control de Trenes), se encarga del control y la seguridad del tráfico, es decir: del bloqueo. Es un sistema de control que permite evitar que un tren supere las velocidades máximas establecidas o las señales que indican parada. Consiste en un sistema mejorado sobre los sistemas de alarma automáticos ya instalados en muchos países europeos. Este sistema dispone de 5 niveles de control. El más básico habría podido evitar los accidentes mencionados.

→ https://es.wikipedia.org/wiki/Sistema_Europeo_de_Gesti%C3%B3n_del_Tr%C3%A1fico_Ferroviario

---

## Problema: Integración de datos y tiempo de reacción

> Un elemento común en los tres casos es que la información crítica existía pero estaba fragmentada. 
> → AEMET, CHJ y EFAS (*European Flood Awareness System*) en la DANA. 
> 
> La capacidad de respuesta se vio limitada por el retraso en la toma de decisiones humanas, lo que agravó el balance de víctimas en los tres tipos de accidentes.

Los sistemas avanzados de IA *agencial* pueden:

- Integrar datos de múltiples sensores y fuentes 
- Correlacionar información aparentemente no relacionada 
- Identificar patrones de riesgo que no son evidentes para los operadores humanos 
- Tomar <code style="background-color: #e0f7fa; border: 1px dashed #00796b; padding: 2px 4px; border-radius: 4px;">decisiones críticas en milisegundos</code> al detectar situaciones de peligro 
- Enviar mensajes de alerta a las zonas de mayor riesgo y desviar el tráfico 
- Activar protocolos de emergencia de forma automática 
- Coordinar respuestas multiagencia en tiempo real 
- Adaptar las respuestas según evoluciona la situación

???

**1. La ausencia de sistemas de frenado automático en curvas y en zonas señalizadas motivó alertas en diversos informes y evaluaciones de riesgo (Metrovalencia, Alvia).**

**2. El sistema europeo EFAS (European Flood Awareness System) avisó del riesgo de inundación en Valencia días antes de la dana, pero subestimó su magnitud**

> Grasso, D. (2024, 28 diciembre). El sistema europeo avisó del riesgo de inundación en Valencia días antes de la dana, pero subestimó su magnitud. El País. https://elpais.com/clima-y-medio-ambiente/2024-12-28/el-sistema-europeo-aviso-del-riesgo-de-inundacion-en-valencia-dias-antes-de-la-dana-pero-subestimo-su-magnitud.html  
> 
> El servicio científico de la Comisión Europea gestiona la mejor herramienta internacional para predecir crecidas, pero a menudo se topa con la falta datos fiables para cauces pequeños como la rambla del Poyo

La notificación que llegó a las administraciones españolas el lunes 28 por la mañana recogía que en la provincia de Valencia, a partir del martes 29 a mediodía, la probabilidad de recibir riadas con un retorno de 20 años era del 17%, y con un retorno de 5 años, del 39%. Conviene recordar que esta información no obliga a seguir ningún protocolo al no provenir de un servicio meteorológico como la AEMET, sino que simplemente invita a hacer un seguimiento de la situación. La Confederación del Júcar asegura [...] que se hizo exactamente eso, “seguimiento y monitorización del posible episodio”.

La subdelegación de Gobierno de Castellón analizó en un **<a href="https://mpt.gob.es/dam/es/portal/delegaciones_gobierno/delegaciones/comunidad_valenciana/sub_castellon/Noticias/Informe-de-comprobaci-n-de-los-avisos-EFAS-UE-recibidos-en-2020-en-Espa-a/2020_FIABILIDAD_AVISOS_EFAS_ESPANA.pdf" target="_blank">informe de 2021</a>** la calidad de todos los avisos de EFAS: “El porcentaje de aciertos respecto a las previsiones EFAS es bastante alto, pues la gran mayoría coinciden con lo que pasó esos días. Además, los días que más encajan con las predicciones que realiza EFAS son aquellos que vienen acompañados de borrascas concretas que traen temporales importantes”. De hecho, en las riadas de Valencia de 2019 las predicciones de EFAS acertaron en gran medida en localizar y adelantar el aluvión. Aunque los técnicos recuerdan otros episodios, como las inundaciones de Valencia en mayo de 2022, cuando los datos de las notificaciones fueron incluso más catastróficas de lo que ocurrió el pasado octubre, y eso que finalmente hubo muchas menos consecuencias.

![Porcentaje de aciertos-EFAS](aciertos-efas.png)
Fuente:

En la dana del 29 de octubre se enviaron notificaciones formales para el Turia y el Júcar durante el fin de semana (25 y 26 de octubre), mientras que el día previo se enviaron notificaciones flash a ocho provincias españolas, entre ellas Valencia, Castellón y Albacete, donde más golpearon las inundaciones.

las iniciativas privadas. Una de las más importantes es de Google, que ya desde hace años señala en su aplicación de mapas las zonas donde ha habido una inundación. Ahora está yendo más allá, creando un modelo de predicción de inundaciones que aprovecha elementos de la inteligencia artificial como la red neuronal Long Short Term Memory (LSTM), que, resumiendo mucho, aprovecha el recuerdo de los datos que ve en cada momento para realizar predicciones.

Aun con todo esto, los últimos modelos de Google tienen la misma limitación que los públicos: la dificultad de tener ubicaciones precisas cuando faltan datos históricos. La rambla del Poyo, por citar el caso que nos interesa, solo cuenta con una estación de medición en sus más de 40 kilómetros de recorrido: sin mediciones no puede haber datos fiables, y sin datos fiables no puede haber predicción.

El sistema europeo avisó del riesgo de inundación en Valencia días antes de la dana, pero subestimó su magnitud.

El servicio científico de la Comisión Europea gestiona la mejor herramienta internacional para predecir crecidas, pero a menudo se topa con la falta datos fiables para cauces pequeños como la rambla del Poyo.

<hr>

Cabanes, I. (2024, 30 diciembre). El sistema europeo de aviso de riadas alertó el 28O de una crecida peligrosa. Levante-EMV. https://www.levante-emv.com/redactor/2024/12/30/dana-valencia-sistema-europeo-aviso-riadas-alerto-112997534.html

> Pese a que la EFAS subestimó la magnitud de las inundaciones que se avecinaban, su aviso ya daba muestras del peligro latente que había en los cauces de agua de la Comunitat Valenciana y suponía una herramienta más de previsión para los servicios de emergencia.

![Aviso-EFAS](aviso-efas.png)

<hr>

**Se subestimó el factor viento y la intensidad sin desplazamiento de nubes**

> Más de 300 l/m² en la zona entre Utiel y Chiva, donde llegaron a recogerse 491 l/m² en solo ocho horas. Es prácticamente lo que puede llover en un año completo, aseguran desde la AEMET

![Precipitaciones en Utiel y Chiva](precip-utiel-chiva.png)

> El mapa topográfico muestra la enorme extensión que ocupan las zonas inundables, con puntos incluso a 4 m por debajo del nivel del mar y poblaciones enteras a solo 5-10 m sobre el nivel del mar.

![Entensión de las zonas inundables](topograf-inund-val.png)

<hr>

[//]: <> (Claude 3.5 Sonnet - Simulation)

file:///C:/Users/mig/Google%20Drive/2024/XXII%20SEM%20AEEFP-GR/docs/pres/claude-simul.html

• Wind speed and direction analysis  
• Atmospheric pressure monitoring  
• Geographic vulnerability mapping  
• Integration with satellite imagery  
• Emergency broadcast system activation  
• Communication channel establishment  
• Initial risk level determination  
• Initial response strategy formulation  
• SMS emergency notification system

---

<a href="https://www.ugr.es/~mm3/dana/analisis-riesgo-de-inundacion-y-tiempos-de-reaccion-dana-val.html" target="_blank">![Aviso-EFAS](aviso-efas.png)</a>

---

![critical reaction window](https://www.mermaidchart.com/raw/b600499f-af38-407b-8abb-71d18c0ec1a7?theme=light&version=v0.1&format=svg)

???

→ <a href="https://www.ugr.es/~mm3/dana/timeline-dana.html" target="_blank">Timeline DANA Valencia</a>

→ <a href="http://www.ugr.es/~mm3/dana/riesgo-inundac-gemini.html" target="_blank">Cálculos de contraste (Gemini, Hec-Ras)</a>

**I. The Critical Alert Timing**:

Based on the chronological sequence, **the crucial time to have sent a mass alert was at 17:30 (5:30 PM)**, for these key reasons:

- By this time, there was clear evidence of the escalating danger:
  - The Poyo ravine had reached critical levels (264 m³/s)
  - Multiple municipalities were already experiencing flooding
  - The CHJ (River Authority) had registered a "sudden increase" in flow
  - The weather conditions were continuing to deteriorate
  - There was still daylight, making evacuation safer

Most importantly, at 17:30 there was still a reasonable window for people to:
- Evacuate from basements and ground floors
- Avoid starting new car journeys
- Seek higher ground
- Make informed decisions about their safety

**II. Point of No Return**:

The analysis shows that by 18:55 (6:55 PM), the situation had become unmanageable because:

- The Poyo ravine flow had reached 2,282 m³/s (four times the normal flow of the Ebro River)
- Measurement systems were being destroyed by water force
- Darkness was approaching
- Many roads were already flooded
- Critical infrastructure was failing (electricity, communications)
- The window for orderly evacuation had closed

The delay until 20:12 (8:12 PM) for the mass mobile alert was catastrophically late, as by then:
- Thousands were already trapped
- Escape routes were blocked
- Emergency services were overwhelmed
- Night conditions made rescue operations extremely dangerous

**III. AI Integration Requirements**:

The case strongly suggests three critical areas where AI agents could have prevented the cascading failure:

**Early Warning System Integration**:
- AI agents monitoring real-time data from multiple sources (meteorological, hydrological, traffic)
- Automatic threshold detection and alert triggering without human validation
- Dynamic risk assessment incorporating historical flooding patterns
- Continuous learning from evolving conditions

**Emergency Response Coordination**:
- Automated dispatch and resource allocation
- Real-time route optimization for evacuation
- Predictive modeling of flood progression
- Autonomous coordination between different emergency services

**Public Communication**:
- Automated multi-channel alert system
- Geographically targeted warnings
- Adaptive message content based on threat level
- Real-time translation and accessibility adaptations

The **crucial lesson** from this case is that the human decision-making chain introduced fatal delays in a situation where minutes mattered. The parallel with the Metro Valencia accident (2006) mentioned in the document is telling: in both cases, human operators "knew or should have known" about the risks but failed to act decisively at the critical moment.

An AI-driven system would have:
1. Recognized the pattern of danger earlier
2. Triggered alerts without political considerations
3. Maintained consistent communication across all channels
4. Scaled the response proportionally to the threat
5. Operated without the cognitive biases that led to underestimating the risk

> This case demonstrates that in rapidly evolving disasters, the decision to alert the population cannot depend on human approval chains - it must be automated while humans focus on strategic response coordination.

<hr>

### Cronología de la gestión política (Levante)

> Reconstrucción de la gestión política de las horas críticas de la DANA de Valencia, a partir de los testimonios e informaciones ofrecidas desde ese día por Presidencia de la Generalitat, Aemet, CHJ, Delegación del Gobierno, alcaldes y asistentes al Centro de emergencias de l’Eliana.

>Belarte, M. L., Nieves, J. L. G., & José, D. A. S. (2024, 9 noviembre). Catorce horas: anatomía de una crisis. Levante-EMV. https://www.levante-emv.com/comunitat-valenciana/2024/11/08/catorce-horas-anatomia-crisis-111482700.html

---

## Recomendaciones para mejorar la seguridad

1. Desarrollar **sistemas integrales de monitorización** que combinen:
  - Sensores IoT distribuidos
  - Análisis de datos en tiempo real (*Reactive AI Agents*)
  - Sistemas de IA *agencial* orientada a toma de decisiones autónoma (análisis prospectivo, estimación de impacto focalizado y estrategias de mitigación)
  - Interfaces de supervisión humana

2. Implementar **redes de comunicación redundantes** que aseguren:
  - Transmisión continua de datos críticos
  - Respaldo en caso de fallos de sistemas principales
  - Interoperabilidad entre diferentes agencias y sistemas

3. Articular **marcos reguladores consistentes y validados**:
  - Definan claramente los niveles de autonomía ~~permitidos~~
 obligatorios
  - Establezcan *protocolos de supervisión humana* (y *riesgo asociado*)
  - Aseguren la transparencia y auditabilidad de las decisiones tomadas por sistemas autónomos, sin degradar su funcionamiento por obstinación reguladora.

---

# Adaptaciones en el marco regulador

> - Definir claramente los niveles de autonomía permitidos: 
> → funciones críticas, mediante *sistemas reactivos*. 
>
> - Establecer protocolos alternativos, si falla la supervisión o respuesta humana: 
 → *Sistemas orientados a fines*: salvar vidas humanas y evitar daños.

**Explicabilidad**

- Asegurar el **registro** (por transparencia y auditabilidad) de las *decisiones tomadas por sistemas autónomos* en función de los datos disponibles y tiempos de reacción.

- Registrar los **tiempos de reacción e instrucciones específicas de operadores humanos** expertos y sujetos a responsabilidad profesional.

- **Evitar la intromisión de actores sin cualificación profesional** en la cadena de mando y control que gestiona la emergencia.

---

## Conclusiones

> La dinámica social se deteriora cuando problemas complejos y escenarios de riesgo se agravan por déficits en la toma de decisiones humanas (retraso, desatención, negacionismo, falta de mantenimiento). Los sistemas de IA *agencial* pueden:

> - Tomar decisiones críticas en milisegundos, detectado el peligro. 
> - Activar protocolos de emergencia de forma automática. 
> - Coordinar respuestas multiagencia en tiempo real. 
> - Adaptar las respuestas según evoluciona la situación.

**Cuestiones**:

1. Los sistemas avanzados de IA *agencial*, ¿deben *implementarse como complemento, o como reemplazo*, de los sistemas de seguridad existentes (dependientes de la supervisión humana)?

2. En un *escenario verosímil de administraciones y servicios públicos gestionados por actores* que profesan abiertamente ideología y creencias *negacionistas*, ¿adquieren los sistemas de alerta meteorológica y de seguridad -en transporte, epidemiología, riesgo climático, sistema VioGen- categoría de recursos no sujetos a las competencias y supervisión de actores políticos, en el ámbito local, regional o estatal?

???

#### Elementos para simular un sistema integral de monitorización inteligente:

- Sensores IoT distribuidos
- Análisis de datos en tiempo real
 - Ebro: https://youtu.be/IGkVYxOXgt4 (nov. 2022) 
- Sistemas de IA *agencial* para toma de decisiones autónoma
- Interfaces de supervisión humana
- Redes de comunicación redundantes que aseguren:
 - Transmisión continua de datos críticos
 - Respaldo en caso de fallos de sistemas principales
 - Interoperabilidad entre diferentes agencias y sistemas

→ Sistema Envira: https://envira.es/sistema-de-monitorizacion-y-alerta-de-inundaciones/

![envira](https://envira.es/wp-content/webp-express/webp-images/uploads/2018/12/infografia-inundaciones-1024x382.jpg.webp)
   
→ **Estado de sensores en Rambla del Poyo**

![sensor-rambla](rambla-poyo_sensor-31-12-2024.png)

---

#### Referencias

1. Baker-Brunnbauer, J. (2022). *Trustworthy artificial intelligence implementation: Introduction to the TAII framework (1a ed.)*. Springer International Publishing. https://doi.org/10.1007/978-3-031-18275-4

2. Dafoe, A. et al. (2020). "Open problems in cooperative AI". *arXiv* (Cornell University). https://doi.org/10.48550/arxiv.2012.08630

3. Dignum, V. (2019). "Responsible artificial intelligence". In *Artificial intelligence: foundations, theory, and algorithms*. https://doi.org/10.1007/978-3-030-30371-6   
 
4. Rahwan, I. et al. (2019). "Machine behaviour". *Nature* 568, 477–486 (2019). https://doi.org/10.1038/s41586-019-1138-y

5. Tyagi, A. K., & Aswathy, S. U. (2021). "Autonomous Intelligent Vehicles (AIV): Research statements, open issues, challenges and road for future". *International Journal of Intelligent Networks*, 2, 83–102. https://doi.org/10.1016/j.ijin.2021.07.002

6. Restack (2024, Dec. 12). "Comparing goal-oriented and reactive AI agents". https://www.restack.io/p/goal-oriented-agents-answer-comparing-goal-oriented-reactive-ai-agents-cat-ai

7. Velasco, L. E. (2024, 31 dic). “En la dana, la respuesta administrativa fue débil o estuvo ausente”. *El País*. https://elpais.com/espana/2024-12-31/david-alexander-experto-en-catastrofes-en-la-dana-la-respuesta-administrativa-fue-debil-o-estuvo-ausente.html

8. CEAM (2024). *Análisis del estado meteorológico asociado a las inundaciones en la provincia de Valencia el martes 29 de octubre de 2024*. https://www.ceam.es/wp-content/uploads/2024/10/DANA_2024_10_29_CEAM.pdf