La importancia del Data Governance y Data Quality para la transformación digital

Cada vez son más las compañías que toman consciencia del impacto positivo que puede tener en su actividad el hecho de apoyar sus decisiones operativas en una política de datos consistente y transversal a toda su actividad productiva.

El proceso de adoptar una estrategia data-driven, sin embargo, no acostumbra a ser rápido ni sencillo en la mayoría de los casos. Una vez que una organización ha vencido las resistencias habituales inherentes a cualquier cambio de paradigma de cierta envergadura, es esencial visibilizar los objetivos a alcanzar y saber administrar eficazmente la velocidad y el rumbo marcados. Esto solo se consigue a través de un estricto control y acompañamiento a lo largo de las diferentes etapas que componen el proceso de transformación digital.

Primero, la organización se da cuenta de que posee y continuamente genera nuevos datos que podría aprovechar para funcionar de forma más eficiente (data stage). Seguidamente, identifica los primeros casos de uso, aquellos cuyo abordaje es más evidente y directo, y comienza a usar datos en producción (analysis stage). El siguiente paso es comprender los beneficios que proporciona esta nueva forma de tomar decisiones de negocio y extender la operativa a más y más procesos (insight stage). Por último, cuando la organización no solo toma cada decisión en base a un uso inteligente de los datos disponibles sino que cada miembro de la misma hace propia esta cultura y actúa en consecuencia, se alcanza el objetivo final (strategic stage). Transformarse en una organización data-driven requiere, por tanto, obtener los resortes necesarios para desbloquear el valor de los datos que dicha organización genera.

Data governance y Data quality

Dos pilares esenciales en la consecución y sostenimiento del status que caracteriza a las organizaciones data-driven son los llamados data governance y data quality. Con frecuencia vemos que estos conceptos se mezclan y usan indistintamente, incluso hasta el punto de sugerir una suerte de jerarquía entre ellos. Por ejemplo, en ocasiones se plantea ‘data quality’ como un mero componente de ‘data governance’. No obstante, su papel y responsabilidades difieren en gran medida.

Data quality (o calidad del dato) se refiere a garantizar que todos los datos de la organización son completos, precisos y están listos para que los responsables de negocio los puedan analizar, compartir y convertir en conocimiento accionable para la toma de decisiones. Aunque la calidad del dato siempre ha sido importante, su valor estratégico ha aumentado proporcionalmente conforme las organizaciones han ido generando volúmenes de datos cada vez mayores desde una diversidad de fuentes y formatos.

Data governance (o gobierno del dato), sin embargo, tiene que ver con la creación de un marco y de unas reglas según las cuales las organizaciones pretenden utilizar los datos durante su ciclo de vida. Su papel principal es asegurar que los datos pertinentes sirvan a cada función de negocio crítica. En cierto sentido, data governance se centra en el “qué” y en el “quién”, mientras que data quality se centra en el “cómo”.

Propósito y estrategia

Como ya se puede intuir, se trata de operativas con funciones complementarias. Data quality tiene un propósito básico: organización y limpieza de datos asegurando que sean completos, oportunos y precisos para los fines perseguidos (esto es, datos accionables). En contraposición, sin datos de calidad sobre los cuales construir un marco de trabajo no hay razón para disponer de un proceso de data governance. Dicho de otra forma, el gobierno del dato no tiene sentido sin un suministro constante de datos de calidad.

Una estrategia sólida de data quality ha de incluir tres componentes principales:

• Estar alineada a nivel organizacional con las reglas de negocio
• Construir la tecnología adecuada para asegurar la calidad de los datos
• Comprometer los recursos técnicos y de personal necesarios para mantener en el tiempo los estándares de calidad definidos

Estas serían, a modo ilustrativo, algunas de las métricas de data quality más destacables que podemos implementar:

• Estadísticas sobre el número de errores en los datos identificados y/o corregidos por unidad de tiempo (p.ej. por semana o por mes)
• Precisión y tasas de error en datasets o en data streams, con alertas si se exceden los niveles aceptables
• Medidas cuantitativas de completitud, consistencia, integridad y oportunidad
• Categorización y estimación del impacto de problemas de calidad del dato, así como potenciales mecanismos de corrección
• Evaluación de los niveles de calidad en la definición de datos, metadatos y catálogos de datos
• Feedback de los usuarios finales sobre la calidad del dato percibida

Movimientos a nivel institucional

Recientemente, la Oficina del Dato, dependiente de la Secretaría de Estado de Digitalización e Inteligencia Artificial, ha promovido y participado en la generación de la especificación nacional UNE 0080:2023 denominada “Guía de evaluación del Gobierno, Gestión y Gestión de la Calidad del Dato”, con la que da respuesta a la necesidad de organizaciones tanto públicas como privadas de contar con mecanismos estandarizados de evaluación de sus procesos en materia de gobierno, gestión y calidad del dato. El documento se basa, a su vez, en la definición de procesos contenida en las especificaciones de Gobierno del dato UNE 0077:2023, Gestión del dato UNE 0078:2023, y Gestión de la calidad del dato UNE 0079:2023.

Esta nueva especificación va dirigida a los responsables de implantar y supervisar los procesos de gobierno del dato, gestión del dato y gestión de la calidad del dato en sus respectivas organizaciones, de modo que aseguren su buen funcionamiento o, en caso necesario, sean capaces de implantarlos o mejorarlos, así como a los consultores y auditores que necesiten llevar a cabo una evaluación de dichos procesos.

Fortalecer los procesos de digitalización de las empresas

Desde Gradiant acompañamos a las empresas de nuestro entorno y las ayudamos a fortalecer sus procesos de digitalización con orientación a datos considerando ambos ejes: gobierno del dato y calidad del dato.

Por un lado, diseñamos y ponemos a su disposición tecnologías para evaluar la calidad de los datos identificando problemas y errores antes de que se propaguen a las aplicaciones de procesado analítico y/o inteligencia artificial.

Por otro lado, brindamos asesoramiento en la implantación de estándares internos y políticas de gestión de datos, de forma que queden adecuadamente definidos los procesos de adquisición, almacenamiento, explotación y eliminación de los datos, identificando en consecuencia los roles y niveles de acceso adecuados a cada escenario, en línea con su estrategia empresarial.

Autor: Rafael Martínez, responsable técnico de Big Data Analytics en Gradiant