Sin buenos datos no hay buenas decisiones: necesitamos una base de conocimiento de calidad para tener la certeza de que cualquier medida que sirva para el crecimiento de nuestra empresa, esté perfectamente fundamentada. De esta manera, tanto el presupuesto como las acciones destinadas a ello podrán estar plenamente justificadas y estaremos 100% seguros de que nos pueden reportar beneficios.
Es por ello por lo que sin una garantía de que cada proceso data se está llevando a cabo de forma correcta, sin ese 100% de seguridad que no nos haga dudar de cualquier decisión, lo que debería ser claridad y precisión se vuelve incertidumbre. Para poner remedio a esta situación existe la auditoría de calidad de datos: un primer paso imprescindible para toda estrategia de data governance y, por tanto, para el crecimiento de nuestro negocio.
¿Qué es una auditoría de datos?
Retomando el muy visual concepto de data health o salud de los datos, una auditoría data quality sería el diagnóstico que nos permite conocer la medicación (la estrategia de gobierno de datos) que permite que cualquier dato introducido en nuestras bases, sea de calidad como para poderlo usar como información útil.
Así, la auditoría es el primer paso necesario para desplegar una estrategia que nos va a llevar a confiar en cada uno de los datos que forma el conocimiento de nuestra empresa, de nuestro entorno y sector, indicándonos nuestros puntos a mejorar para que, cualquier dato obtenido de nuestra empresa, sea de calidad.
¿Y cuándo realizarla? La respuesta a esta pregunta es sencilla: desde el momento en el que “desconfiamos” de que los datos que obtenemos sean válidos para cualquier estrategia, pero no sabemos exactamente en qué estamos fallando. La auditoría de calidad de datos es la metodología que nos va a detectar dónde se encuentra el error que impide un total data quality.
¿Cuándo iniciar una auditoría de datos?
Tal como acabamos de indicar, una auditoría es lo más indicado al momento en el que hay sospechas de que algo no va bien con nuestros datos, ya sea porque no obtenemos los resultados esperados, porque no sabemos qué hacer con la información obtenida o porque surgen trabas a la hora de procesarla.
Pero no necesariamente tenemos que intuir el error para buscar dónde se encuentra: trabajar con big data siempre va a acarrear riesgos en su gestión si no tenemos un plan detallado o una estrategia data governance previamente planteada. Al momento que nos encontramos con grandes flujos de información, numerosas fuentes de datos y diferentes departamentos que interfieran en ellos, crecen las probabilidades de que los buenos datos pierdan visibilidad a la par que otros datos vayan perdiendo calidad por no ser correctamente atendidos (por ejemplo al duplicarse, no actualizarse, completarse, etc.). En este caso la auditoría nos marca dónde actuar para que ninguno de estos factores negativos que afectan al dato, entren en el flujo de la empresa.
Por otra parte, una auditoría también se plantea como una medida de prevención y tratamiento excelente para nuestros datos cuando iniciamos procesos que los puedan intervenir o modificar. Es el caso de migraciones a cloud, incorporación de nuevas herramientas de recolección, gestión y/o tratamiento, etc.
Cuando abordamos estos procesos, corremos el riesgo de que, si no se hace de forma integral o siguiendo una estrategia de gobierno del dato, se pierdan datos, se modifiquen o simplemente traslademos información vacía, caduca e inútil como si fuera válida. Una auditoría previa nos marcaría cómo evitar ensuciar las nuevas bases.
Por último, hay una clave aplicable no solo a este servicio, sino a todos los que involucra trabajar con datos: el tiempo. Si tenemos la sensación de que no estamos invirtiendo el tiempo de nuestra plantilla adecuadamente, es que algo se está haciendo mal.
Una Auditoría Data Quality te marcará antes de que te lo encuentres, donde se encuentran los errores que se producen con tus datos, ahorrándole tiempo a tus técnicos y previendo los efectos que pudieran tener en tus bases
¿Cuánto nos puede costar una hora de un data scientist? Trabajos tan técnicos como los de estos perfiles son oro en la organización, y sin embargo, según un estudio de Harvard Business Review, este tipo de profesional destina de media el 60% de su tiempo a limpiar bases. ¿No resultan demasiadas horas para una tarea que se puede / debería automatizar?, ¿no estaría el fallo del por qué tanto tiempo invertido, en fallas en los procedimientos de tratamiento de los datos?
Este tipo de indicadores nos deberían alertar de que algo no se está haciendo bien, y ya no hablamos de que un contacto de marketing aparezca duplicado, sino miles de euros al año que se van en simplemente detectar y borrar ese duplicado en el mejor de los casos, contactarlo dos veces y que se incomode por ello en el peor.
La utilidad de la auditoría y cuándo debemos plantearla por tanto se responde con un simple planteamiento: cuando sentimos que algo no se está haciendo bien y repercute en el balance de la empresa.
¿Cómo se lleva a cabo una auditoría de datos?
Tenemos el qué, el cuándo, el por qué y el quién. Solo nos queda el cómo abordamos la auditoría para garantizarnos dar con la solución que nos permita devolver el valor de los datos a nuestro negocio.
Una de las virtudes de la auditoría es que no requiere desplegar equipos ni intervenir en el día a día de los procesos que lleves a cabo con los datos: no tiene sentido que un proceso de detección de errores intervenga en ellos propiciándolos, como ocurriría con un método invasivo que paralizara tu producción.
Para ello, simplificamos la metodología en tres fases:
Perfilado de datos
Tomamos una muestra de los datos con los que se trabaja frecuentemente en tu empresa, los exportamos sin intervenir en ellos y permitiendo su uso en todo momento y, mediante herramientas y procesos concretos como el data profiler, detectamos los errores.
Análisis e Informe
Los aspectos analizados de todo tu entorno data se reflejan en un informe donde podrás localizar qué está fallando en cómo tratas los datos de tu empresa, dónde se encuentran esos errores y en qué medida afecta a tu estrategia global de tratamiento de datos.
Propuesta de solución
De forma complementaria al informe, se ofrece la medida que permitiría resolver cada error: ya sea aplicando una herramienta, un procedimiento, migrar a cloud o directamente desplegar una completa estrategia de data quality, según interpreten nuestros profesionales la información contenida en el informe.
Con ello, estamos tratando la auditoría de calidad de los datos como el guion, la escaleta, que nos lleva al dato perfecto: aquel que sin dar lugar a la duda nos permite el crecimiento como empresa.
