Por qué un evento de falla de red rompe casi todo a la vez

La mayoría de las interrupciones de comunicaciones son puntuales. Una repetidora falla y usted cambia a una de respaldo. Una torre pierde una línea de alimentación y la cobertura cae en un solo distrito. Un operador móvil tiene una tarde mala y los celulares fallan por unas horas. Esto es molesto, pero son puntos unicos de falla con soluciones evidentes, y tienden a resolverse solos o a repararse rápido.

Una falla larga y de gran alcance en la energía o la infraestructura es diferente en su naturaleza, no solo en su magnitud. No elimina un solo enlace. Elimina la base compartida sobre la que descansan, en silencio, docenas de sistemas que parecen independientes. El centro de despacho, las torres del operador móvil, la ruta de internet por la que corre su sistema de despacho asistido por computadora, el enlace de microondas y fibra que conecta sus sitios de radio, y los telefonos de oficina que usaria para coordinar todo lo anterior, todos dependen del mismo pozo. Cuando ese pozo se seca en toda una región, las fallas no ocurren una por una de una manera que usted pueda perseguir. Ocurren juntas, en la primera hora, mientras el volumen de llamadas va en aumento.

Esa es la parte que vale la pena considerar con calma. El escenario que deja fuera de servicio a la mayor parte de sus comunicaciones al mismo tiempo es también el escenario que genera la mayor necesidad de comunicaciones. Personas atrapadas por el clima, líneas caídas y calefacción o refrigeración sin funcionar. Verificaciones de bienestar. Llamadas médicas que no logran comunicarse con un despachador. Compañeros de ayuda mutua tratando de encontrarse entre si. La curva de demanda y la curva de capacidad se cruzan en la peor dirección posible, y lo hacen justo cuando usted tiene menos margen para improvisar.

La cadena de dependencias que casi nadie mapea

Pidale a la mayoría de los departamentos que nombren sus sistemas de comunicaciones y obtendra una lista clara: el sistema de radio, los celulares, el centro de despacho, los telefonos de la estación, tal vez un sistema de localizadores. Pídales que dibujen de que depende cada uno de esos sistemas para seguir funcionando, y el ejercicio suele estancarse a los cinco minutos, porque las dependencias son invisibles hasta que desaparecen.

Esta es la cadena que un evento de falla de red pone al descubierto, más o menos en el orden en que suele fallar:

• El servicio celular depende de sitios de torre que tienen sus propias baterias y generadores. Estos resisten un tiempo, y luego dejan de hacerlo. La cobertura no desaparece de golpe. Se va reduciendo a medida que cada sitio agota su energía de respaldo, y los más cercanos a las zonas más afectadas suelen ser los primeros en caer.
• El internet y los datos dependen de equipos energizados en cada salto entre usted y el lugar donde vive su información. Una fuente de respaldo en su edificio no sirve de nada si un nodo a cinco kilometros de distancia está apagado.
• Las operaciones de despacho dependen de que el centro mismo tenga energía, de que las líneas telefonicas y de datos lleguen hasta alli, y de las consolas, grabadoras de registro y herramientas de mapeo de las que dependen los despachadores para hacer su trabajo.
• Los sitios de repetidoras y torres dependen de la energía para la repetidora, del enlace de transporte que conecta el sitio con el resto del sistema, y de la infraestructura del sitio, como la refrigeración. Un sitio puede tener una batería completamente cargada y aun así ser inútil si el enlace de microondas que lo alimenta perdio energía en algún punto intermedio.
• Las herramientas de coordinación a las que usted recurriria para gestionar todo lo anterior, incluyendo el correo electrónico, las plataformas de mensajería, los documentos compartidos y los sistemas de notificación al personal, dependen en su mayoría de las mismas capas de internet y celular que ya están fallando.

La conclusión incomoda esta al final de esa lista. Las herramientas que usted usaria para dirigir la respuesta a menudo dependen de las mismas cosas que el evento está eliminando. Si su plan para una falla de comunicaciones vive solo en un documento en línea o en una aplicación de notificaciones, su plan tiene el mismo punto único de falla que el problema que pretende resolver.

Diseñar un sistema que se degrade de forma controlada

Usted no puede hacer imposible una falla de gran alcance. Puede hacerla sobrevivible diseñando sus comunicaciones de manera que, cuando una capa desaparezca, exista una siguiente capa claramente definida y todos ya sepan que esa caida se acerca. La meta es una degradación controlada: no un sistema único que nunca falla, sino una serie de respaldos que, cada uno, sigan permitiendo hacer el trabajo esencial de mover información entre personas.

Una serie viable, de la más capaz a la más básica, suele verse así:

• Sistema principal. Su sistema de radio normal con infraestructura completa. Cobertura de gran alcance, integración con el despacho, la forma en que trabaja todos los días.
• Canales de respaldo en el mismo sistema. Grupos de conversación o canales alternos, una repetidora de reserva, o un sitio alterno que lo mantenga sobre infraestructura aun cuando parte de ella este degradada.
• Simplex, o radio a radio directo. Cuando la infraestructura desaparece, las radios todavía pueden hablar directamente entre si sin ninguna repetidora de por medio. El alcance se reduce y se pierde la cobertura de gran área, pero dos unidades dentro de línea visual una de otra aun pueden coordinarse. Esta es la capa que la mayoría de los equipos usa menos porque rara vez la práctica. Debe ser un respaldo con nombre y comprendido, no un rumor.
• Respaldo de radioaficionados y voluntarios. Los operadores de radio voluntarios capacitados pueden trasladar mensajes a distancias que su simplex no puede alcanzar, usando su propio equipo y su propia energía. Establezca esta relación con anticipación, por escrito, con puntos de encuentro y horarios de reporte acordados, porque no se puede reclutar y coordinar voluntarios en medio de la falla que los necesitaria.
• Mensajeros y métodos alambricos. La capa más antigua sigue funcionando. Una persona que lleva un mensaje escrito entre dos puntos fijos. Una línea telefónica alambrica que no depende del internet local. Puntos de reunión fisicos acordados previamente donde un representante de cada estación o departamento se presenta a horas fijas. Es lento y poco vistoso, y jamás ha fallado por falta de energía.

El valor de escribir esta serie en este orden es que convierte el pánico en procedimiento. Nadie tiene que inventar el siguiente paso bajo presión. Cuando el sistema principal cae, el plan ya indica que intenta el equipo después, en que canal, con que frecuencia, y que hacer si eso también falla.

La realidad de la energía de respaldo en la estación y en el sitio

Cada capa por encima del mensajero depende de energía en algún punto, así que la energía de respaldo es donde un plan de continuidad se sostiene o se derrumba en silencio. El trabajo honesto aquí es aritmetica y mantenimiento, no compras de equipo.

Piense en términos de tiempo de funcionamiento en lugar de simple presencia. Un generador o un banco de baterias no es una capacidad de si o no. Es un número de horas a una carga determinada, y ese número es menor de lo que la gente supone. Las baterias cubren la brecha por minutos u horas, según cuanto se les pida energizar. Los generadores duran más, pero solo mientras tengan combustible y solo si realmente arrancan. Las preguntas que importan son conceptuales y usted puede responderlas sin un titulo de ingeniería:

• ¿Que tiene que seguir energizado, y que no? Mantener con vida las funciones esenciales de radio y despacho es una carga mucho menor que mantener comodo todo el edificio. Sepa cual es cual antes del evento, y sepa como reducir el resto.
• ¿Cuanto dura cada fuente de respaldo con esa carga esencial? El tiempo de funcionamiento de las baterias se reduce rápido a medida que crece la carga. El tiempo de funcionamiento del generador es una función del tamaño del tanque y la tasa de consumo. Haga el cálculo aproximado con anticipación y anote la respuesta en horas.
• ¿De donde viene el combustible cuando el tanque baja? Esta es la pregunta que separa un plan para una interrupción corta de un plan para una duración extendida. Las entregas de combustible dependen de la misma infraestructura que está fallando, y la demanda de combustible se dispara en toda la región al mismo tiempo. La reserva en el sitio, un acuerdo de reabastecimiento y una expectativa realista de entrega deben estar por escrito.
• ¿La energía de respaldo arranca y sostiene la carga cuando se prueba? Un generador que no ha sido probado bajo carga es una esperanza, no un plan. Los arranques en frio fallan, los interruptores de transferencia se atascan y el combustible se echa a perder. La única manera de confiar en el es hacerlo funcionar.

La misma matematica aplica en los sitios de radio remotos, y es fácil olvidarla porque esos sitios están fuera de la vista. Un sitio de repetidora con una batería modesta y sin generador puede darle unas cuantas horas después de que la red cae y luego apagarse por si solo, en silencio, mientras el generador de su estación sigue funcionando. Por eso el mapa de dependencias mencionado antes importa tanto. Su cobertura de gran alcance puede fallar aun cuando su edificio tenga energía, porque un eslabón de la cadena que usted no posee ni visita se quedo sin tiempo de funcionamiento.

Planificar para días, no para minutos

El defecto más común en la planificación de continuidad de comunicaciones es dimensionar el plan para la duración equivocada. Los planes se construyen alrededor de la interrupción breve que todos han vivido: energía fuera por una hora, celulares fallando una tarde, y de vuelta a la normalidad para la hora de cenar. Un escenario real de falla de red puede durar días, y cada suposición que era razonable para una hora se vuelve peligrosa a lo largo de ese periodo.

Extienda la línea de tiempo y apareceran problemas nuevos que un plan de interrupción corta nunca tuvo que considerar:

• Las baterias que sostuvieron las primeras horas se agotan, y la pregunta se convierte en si se recargan y como.
• Los generadores necesitan reabastecimiento programado, lo que significa que alguien debe monitorear la tasa de consumo, vigilar el tanque, y activar el reabastecimiento antes de que sea urgente y no después.
• El personal necesita relevos. Un despachador, un operador de radio o un mensajero no puede trabajar indefinidamente. Una postura de comunicaciones de varios días es tanto un plan de personal como uno técnico, con turnos, descanso y comida incluidos.
• Los voluntarios y compañeros de ayuda mutua tienen sus propios límites. El radioaficionado que le ayuda también tiene una familia, un hogar sin energía, y una resistencia finita. Planifique también rotaciones alli.
• La información se degrada. Con el paso de los días, la situación cambia constantemente. Sin una disciplina para registrar y entregar lo que se sabe, cada turno empieza a ciegas.

Planificar para una duración extendida no significa comprar más de todo. Significa hacerse las preguntas del segundo y tercer día durante el tiempo de calma, y escribir respuestas que reconozcan la escasez con honestidad. Un plan que asume que el combustible llega al solicitarlo, que asume que las personas pueden trabajar sin descanso, o que asume una cobertura que depende de un sitio que nadie ha revisado en un año, es un plan escrito para la interrupción que ya sobrevivio, no para la que en realidad lo va a poner a prueba.

Practicar los modos degradados

Un plan de continuidad que nunca se ha ejecutado es un documento, no una capacidad. Las capas con más probabilidad de salvarlo en un evento de falla de red son las que su personal usa menos en operaciones normales, lo que significa que también son en las que su personal tiene menos fluidez cuando cuenta. La operación en simplex, la coordinación con radioaficionados y las rutas de mensajeros se ven obvias sobre el papel y resultan llenas de fricción la primera vez que se usan de verdad.

Practique los respaldos, no solo el sistema principal, y practiquelos de la manera en que realmente se usarian:

• Ejecute un turno en simplex. Haga que los equipos operen radio a radio directo durante una ventana definida y descubran por si mismos donde muere el alcance, quien no puede escuchar a quien, y como debe cambiar la disciplina de tráfico sin una repetidora que conecte a todos.
• Active el respaldo de voluntarios como simulacro. Confirme que el arbol telefónico, los puntos de encuentro y el horario de reporte funcionen cuando se practican y no solo se dan por sentado. Una relación que solo existe en el papel tiende a quedarse en el papel.
• Recorra las rutas de mensajeros. Cronometrelas. Confirme que los puntos de reunión son accesibles, que los formularios de mensaje son utilizables, y que las personas que los llevarian saben a donde ir.
• Pruebe la energía de respaldo bajo carga, y pruebe el cambio de una capa de la serie a la siguiente, para que los puntos de activación que usted escribio sean puestos a prueba por personas que no fueron quienes los redactaron.

Cada ejercicio produce una lista de cosas pequeñas y específicas que no funcionaron como estaba escrito. Esa lista es todo el sentido del ejercicio. Registrela, corrija el plan, y ejecutelo de nuevo. Un modo degradado que se ha ensayado varias veces se convierte en memoria muscular. Uno que solo vive en una carpeta se convierte en un caos en el peor momento posible.

Mantener el plan escrito y actualizado

Un plan de continuidad de comunicaciones tiene dos formas de fallar con el tiempo, y ambas son silenciosas. La primera es que viva solo en un formato que el propio evento destruye. Si su plan es un archivo que necesita energía e internet para abrirse, usted construyo una cerradura cuya llave está dentro de la habitación cerrada. Mantenga una copia impresa actualizada en cada estación y en cada posición de despacho, y guardela en un lugar al que una persona pueda llegar fisicamente en la oscuridad.

La segunda forma de fallar es el desfase. Los sistemas cambian. Los canales se renombran, un sitio de repetidora se muda, un número telefónico de un compañero de ayuda mutua deja de funcionar, un coordinador voluntario se retira, un generador se reemplaza por uno con un tiempo de funcionamiento diferente. Cada uno de esos cambios invalida silenciosamente una línea del plan, y nadie lo nota hasta que el plan se está usando en serio y un paso apunta a algo que ya no existe.

La defensa no es vistosa y funciona: un responsable con nombre, una revisión en un calendario fijo, y una disciplina que asegure que cualquier cambio en un sistema de comunicaciones o en una relación con un compañero active una actualización correspondiente en el plan. Vincule la revisión a algo que usted ya hace, para que no dependa de que alguien se acuerde. Un plan que se revisa en un calendario y se actualiza cada vez que la realidad subyacente cambia se mantiene confiable. Un plan que se escribio una vez y se admiro es peor que no tener plan, porque da una falsa confianza en pasos que se echaron a perder en silencio.

Una lista de verificación práctica de continuidad

Use esto como un marco inicial. Adapte cada línea a sus propios sistemas, socios y geografía, y mantenga la versión final lo bastante corta como para que un equipo realmente pueda seguirla bajo presión.

• Mapa de dependencias. Cada sistema de comunicaciones dibujado junto a las rutas de energía, transporte, operador móvil e internet de las que depende, con los puntos de estrangulamiento compartidos marcados.
• La serie de respaldos, en orden. Sistema principal, canales de respaldo, simplex directo, respaldo de voluntarios y radioaficionados, mensajeros y métodos alambricos, cada uno con el disparador que lo activa y el canal o ruta que usa.
• Energía de respaldo por ubicación. Para cada estación y sitio remoto, que está energizado, el tiempo de funcionamiento en horas a carga esencial, la reserva de combustible, y el plan de reabastecimiento.
• Disposiciones para duración extendida. Horario y responsabilidad de reabastecimiento, rotaciones de personal para despacho y operadores de radio, relevo de voluntarios, y una disciplina de registro y entrega para eventos de varios días.
• Contactos de socios. Contactos de ayuda mutua y de radioaficionados con puntos de encuentro y horarios de reporte, mantenidos actualizados y disponibles en papel.
• Registro de ejercicios. Cuando se práctico por última vez cada modo degradado, que fallo, y si la corrección quedo reflejada en el plan.
• Disponibilidad física. Una copia impresa actualizada en cada estación y posición de despacho, además del responsable con nombre y la próxima fecha de revisión programada.

Nada de esto requiere equipo nuevo para empezar. Requiere sentarse antes de que la red falle y responder, por escrito, las preguntas que una falla de gran alcance de todos modos le hara en la peor hora del peor día. Los departamentos que salen de una interrupción larga con sus comunicaciones intactas casi nunca son los que tienen más equipo. Son los que mapearon las dependencias, escribieron los respaldos en orden, hicieron el cálculo del tiempo de funcionamiento con honestidad, practicaron los modos degradados, y mantuvieron todo actualizado e impreso donde una persona pudiera alcanzarlo.