Ciberseguridad: análisis de datos al rescate

El sistema de mensajería es el componente principal de la capa de incorporación de datos. Todos los demás componentes de la plataforma utilizan el sistema de mensajería para consumir o producir datos. Por tanto, los programas anteriores publican su salida como flujos de datos a un tema específico del sistema de mensajería.

Estos temas concretos cumplen dos propósitos: por un lado, actúan como amortiguadores para los productores de ráfagas, como los datos relacionados con la red; y por otro, ayudan a mejorar el equilibrio de carga y la escalabilidad mediante la definición de particiones y la ampliación y reducción del número de consumidores.

Otro paso importante de la incorporación de datos es la normalización. Los componentes de la plataforma deben recibir datos con un formato conocido. Sin embargo, los datos de entrada de la plataforma son de naturaleza diversa y las métricas no están necesariamente en escalas coherentes.

Con el fin de convertir flujos de datos a tablas de base de datos, hemos implementado procesos de conector de persistencia que consumen eventos de los temas internos y los almacenamos en los almacenes de capas histórico y de servicio.

El mapeo desde el modelo interno a las tablas de la base de datos debe realizarse con mucho cuidado, ya que una mala elección de diseño puede tener un alto impacto en el rendimiento. Una regla general en bases de datos de capas históricas, donde cantidades masivas de datos deben ser indexados y las velocidades de escritura son de vital importancia, es que las estructuras de tablas deben ser modeladas de acuerdo con sus consultas de lectura. Esencialmente, eso significa que una tabla sirve una consulta y las bases de datos sólo admiten un conjunto limitado y rígido de consultas.

Para soportar consultas más complejas y flexibles (por ejemplo, OLAP y búsqueda de texto completo) se utiliza el almacén de capas de servicio. En nuestro diseño, la capa de servicio proporciona automáticamente datos normalizados de la semana anterior. Las consultas con intervalos de tiempo más antiguos también son compatibles al reproducir el flujo de la capa histórica a un tema interno específico.

Confrontación

Las tarjetas hablan por sí mismas. Estas son las tecnologías y herramientas que hemos utilizado para poner en funcionamiento nuestro patio de juegos Cybersecurity Stream Analytics.

Tenemos ahora un espacio agradable para probar y validar nuestros resultados de investigación e innovación en el dominio de seguridad y detección de intrusiones. La lección aprendida: trabajar con flujos de datos a gran escala no es una aventura fácil, pero hacerlo bien y con las tecnologías y herramientas correctas nos ayudará a obtener información valiosa y en tiempo para resolver los desafíos actuales y futuros.

Autor: Carlos Giraldo Rodríguez, investigador del área de Sistemas Inteligentes en Red (INetS)