Qué son las herramientas ETL y para qué las necesito en mi empresa

Qué son las herramientas ETL y para qué las necesito en mi empresa

Las herramientas ETL permiten una mejor relación con los datos, obteniendo información de calidad de ellos

Para ser una empresa data-driven, una empresa en el que el (buen) dato es el centro de cualquier decisión, dentro de la gestión del big data, se plantean dos procesos básicos: los procesos ETL y los procesos ELT. Pese a que ambos ofrecen de resultado un dato integrado, gestionado y de calidad, según las necesidades de cada estructura empresarial (mayor o menor agilidad de disposición del dato, mayor o menor capacidad de almacenaje, mantenimiento, etc.), será más adecuado el uso de una metodología u otra.

En este artículo nos centraremos en las herramientas ETL, detallando desde su definición, su importancia, hasta los beneficios que comportan y cómo aplicarlas.

 

Cómo trabajan las herramientas ETL

ETL viene de las siglas provenientes de los anglicismos “extract, transform y load”, o lo que es lo mismo: “extraer, transformar y cargar”, que hace referencia al orden exacto que sigue este proceso a la hora de desarrollar una estrategia data-driven.

Hablamos de “a la hora de desarrollar una estrategia data-driven” dado que por sus peculiaridades y las herramientas y procesos que implica, el despliegue de la metodología ETL precisa una firme voluntad de querer explotar y extraer conocimiento de valor de los datos en los que se trabaja dentro de una empresa.

Es por ello por lo que el inicio de una estrategia en la que se aplican procesos ETL, suele aplicarse en la actualidad a empresas que acumulan datos desde hace años, almacenados desde diferentes fuentes y con diversos formatos. Se activa por tanto cuando pretendemos organizarlos, limpiarlos y consolidarlos en un único lugar desde el cual hacerlos accesibles y comprensibles: el data warehouse.

Todo ese viaje desde los diferentes espacios en los que acumulamos datos, hasta que se organizan en un almacén de datos, es cuando se extraen, transforman y cargan, o lo que es lo mismo, cuando trabajan las herramientas ETL. Por tanto, éstas lo que nos permiten es consolidar los distintos datos que poseemos, independientemente de su tamaño, tipología o el tiempo que lleven entre nosotros, en un espacio, el data warehouse, donde se orientan a la analítica.   

Procesos ETL y ELT: ¿cuál conviene más a nuestra estrategia de gestión de datos?

Para conocer en mayor profundidad, cómo se trabaja en cada una de las fases de los procesos ETL, en qué se diferencian de los procesos ELT y cuándo conviene aplicar uno u otro, recomendamos la lectura del artículo: Procesos ETL y ELT: en qué se diferencian y cuál es el más indicado para mi estrategia de datos.

Qué beneficios aportan las herramientas ETL

 

Uno de los principales es el que acabamos de desvelar: la analítica. De nada sirve acumular ingentes cantidades de datos si no sabemos qué información valiosa extraer de ellos. Así, las herramientas ETL nos facultan a ser capaces de ordenar y acceder a datos que con anterioridad estaban ocultos o desorganizados y no solo eso: según qué herramientas ETL, también seremos capaces de obtener los insights necesarios a través de cómo y dónde se presentan estos datos.

De esta forma, otro de los grandes beneficios que aportan las aplicaciones ETL es el de coordinar e integrar diferentes herramientas; actualizarlas sin que se pierda información en el proceso, estabilizar el ecosistema data incorporando nuevas herramientas a las preexistentes… Es decir, conseguir que toda la tecnología al servicio de los datos en nuestra empresa, trabajen para un mismo fin: la calidad de la información.

 

Es recomendable que, a la hora de aplicar cualquier proceso en beneficio de una cultura data-driven en la empresa, no se aborde de forma unilateral (pensando en una única solución o herramienta para todo el ecosistema data), sino que se combinen diferentes metodologías para según la finalidad principal a la que queramos destinar la información extraída de nuestros datos. Así, un proceso ETL puede optimizarse si se le añaden tecnologías de business intelligence, data quality, etc

 

Adicionalmente, también podemos hablar de una ventaja muy positiva de las herramientas ETL la referente a la seguridad de los datos, tanto a la hora de protegerlos de ciberataques, como al cumplimiento de las leyes referentes a protección de datos (RGPD, LOPD, etc.). Esto se debe a que al encontrarse los datos perfectamente clasificados y estructurados en almacenes, se pueden proteger por capas de manera que solo sean accesibles a quienes realmente deben trabajar con ellos. De esta forma, se comparten únicamente aquellos datos que están en disposición de ello, y solo a quienes tienen autorización para ello.

Por último, dentro de las ventajas más notables que ofrece una herramienta ETL, está la de mejorar la gestión del tiempo, como consecuencia de contar con la información necesaria para el crecimiento de la empresa, mucho más al alcance, y también como consecuencia de realizar tareas de limpieza, depurado y corrección de datos que requerirían horas y horas de dedicación por parte de especialistas como data scientist, programadores o personal de IT, que podrán disponer de este tiempo ahorrado para otras tareas más productivas y beneficiosas.

 

Preguntas y respuestas sobre herramientas ETL

¿Podemos aplicar herramientas ETL en cualquier momento?

Indicábamos al comienzo del artículo que los procesos ETL son apropiados para empresas que inician una estrategia data-driven y cuentan con diferentes fuentes de datos, formatos y almacenados desde hace el suficiente tiempo como para no poder conocer de primeras su procedencia o el motivo por el cual se almacena. Un estado que dentro de la transformación digital denominamos como “data chaos”.

¿Quiere decir que los procesos ETL son únicamente recomendados cuando no tenemos organización ni control sobre nuestros datos? Quiere decir que da solución a este estado de incertidumbre sobre las fuentes de información que se manejan desde la empresa, estemos en un estado avanzado de la problemática (años y años recopilando datos sin un aparente “orden y concierto”) o inicial (comenzamos a trabajar con big data y/o conectamos diversas fuentes de captación, recopilación y almacenaje de datos como cámaras de visión artificial. CMS, campañas de marketing, etc.).

Así, tal como hemos ido insistiendo, las herramientas ETL son las recomendadas siempre que queramos desplegar una estrategia data-driven, que a su vez es lo más recomendable siempre que se trabaja con big data.

 

¿Cuándo es recomendable aplicar herramientas ETL?

O lo que es lo mismo, ¿cuándo desplegar esa estrategia data-driven a la que hemos hecho referencia? La respuesta más simple es la de el momento en el que queremos tener control absoluto sobre la información que extraemos de nuestros datos y la presencia de big data nos lo impide de una forma que no sea correctamente automatizada. Pero esta “simpleza” tiene trampa, ya que una estrategia data-driven es mucho más compleja que aplicar herramientas.

Así, es recomendable acudir a herramientas que nos faciliten procesos ETL en circunstancias como:

 

  • Siempre que se necesite o recomiende cargar datos desde una o múltiples fuentes a un mismo lugar: por ejemplo, en el caso de migraciones a cloud o a data warehouses.
  • Cuando se requiera una limpieza o reformateo de datos: campos incompletos que hacen inservible la información, caducos, de los que se desconoce su procedencia o utilidad…
  • Se quiera tener bajo control la ingesta de datos desde diferentes herramientas que operan bajo un mismo entorno, como cámaras de videovigilancia, bases de datos de clientes, etc.
  • Queramos analizar de forma conjunta o separada cada fuente de datos y la información que contienen, como cuando fusionamos la información obtenida de una campaña de marketing con la existente en nuestro ERP.
  • Pretendamos coordinar nuevas herramientas con las preexistentes y que trabajen de forma conjunta a la hora de obtener insights, que es el caso de aplicar inteligencia artificial.
  • Acudamos a campañas de marketing y queramos asegurarnos desde el cumplimiento de la normativa sobre protección de datos, hasta la máxima satisfacción de los destinatarios, evitando errores en envíos de mails o un uso inapropiado de la información recopilada.

 

¿En qué se diferencian de las herramientas ELT?

Para profundizar en este aspecto, recomendamos el artículo que explica las diferencias entre procesos ELT y ETL. No obstante, a modo resumen, cabe indicar que la principal diferencia que produce extraer, transformar y cargar en vez de extraer, cargar y transformar radica tanto en la velocidad que demandamos a cada proceso, como la infraestructura necesaria para ello.

Ambos procesos bien llevados a cabo, ETL y ELT, ofrecen el mismo resultado: un dato ordenado, gobernado y de calidad, solo que según las características de nuestro ecosistema de datos concreto, nos será más práctico un proceso u otro.

Así, por ejemplo, si trabajamos principalmente on premise y con sistemas de datos estructurados locales, y no concebimos migrar a cloud (algo por otra parte, muy recomendado en cualquier proceso data-driven), nos puede interesar más un proceso ETL, mientras que los procesos ELT están perfectamente diseñados para una escalabilidad más sencilla a cloud.

Es por ello por lo que, antes de decidirnos por un proceso ELT o un proceso ETL, conviene contar con asesoría especializada en data que nos audite nuestro entorno para, de esta forma, contar con la metodología y las herramientas adecuadas, sin caer en el sobredimensionado (contar con una suite donde se cubran procesos que no necesitamos o desconocemos) ni en un uso insuficiente (contar con una suite que necesite posteriores nuevas integraciones para dar servicio a nuestras necesidades del día a día).

 

¿Qué herramientas ETL son las más recomendables?

Con esta cuestión sucede exactamente lo mismo que a la hora de elegir un proceso ETL o un proceso ELT: dentro de la lógica de que hay herramientas que por especialidad, por recorrido en el mercado, por eficacia y/o por el respaldo con el que cuentan, resulten más puntera que otras, a priori no podemos afirmar que X producto sea mejor que otro.

X producto será mejor para X entornos. Es decir, si vamos a iniciar un proceso de transformación de datos, y ya trabajamos con infraestructura de Amazon, a priori (insistimos: toda solución depende de cada ecosistema, de cada forma de trabajar los datos, de cada tamaño de la empresa y sus necesidades, etc.) nos puede interesar más AWS Data Pipeline que cualquier otra. ¿Por qué sea mejor que otras herramientas ETL? Más allá del respaldo de una marca líder, la principal razón sería que la transición, escalabilidad y conexión entre otras herramientas será de menor intensidad entre marcas afines que entre diferentes proveedores.

Por otra parte, nuestra plantilla verá más reconocible y, con ello, con mayor usabilidad, una herramienta del entorno en el que suele trabajar que no otra distinta. De esta forma reducimos la curva de aprendizaje.

En resumen a la hora de responder a esta cuestión (extrapolable también a la aplicación de procesos ELT), en elternativa nos gusta trabajar con diferentes soluciones, sin predeterminar el uso de una herramienta sobre otra antes de estudiar cada caso. De esta forma, ofrecemos un catálogo de alianzas que va desde las mejores valoradas como Informatica PowerCenter (marcada como líder año tras año en el Cuadrante Mágico de Gartner dentro de la gestión de metadatos), hasta aquellas soluciones que durante nuestros años de experiencia en el mercado, nos han funcionado con notable eficacia y en diferentes entorno (caso de Talend, de la que somos el único partner Platinum en España y LATAM).

Principales diferencias entre Data Management y Data Governance

Principales diferencias entre Data Management y Data Governance

Diferencias entre data management y data governance

Un paso imprescindible en todo proceso data es la mediación entre el control y la implementación: no basta con detectar (y corregir) errores, sino desplegar toda una metodología que los evite y controle los procedimientos en los que se desarrollan. Esta dualidad entre detección y prevención/control es lo que hace que términos de negocio parezcan sinónimos pero tengan matices que los diferencien, como ocurre entre data management y data governance, o lo que es lo mismo entre gestión y gobierno del dato. ¿En qué se diferencian?

 

Data management y data governance: la parte por el todo

De forma muy resumida, hablaríamos de data governance como el mapeado de las diferentes estructuras en las que se organiza la producción de datos en la empresa; los propietarios de cada uno de ellos; y las políticas, reglas, metodologías y métricas que se aplican durante su ciclo de vida (que recordemos contempla los protocolos desde su producción hasta que se obtiene la información requerida de él, lo cual incluye su almacenamiento, protección o incluso eliminación).

En cuanto a data management, estaríamos hablando de la implementación técnica de todo lo que implica el gobierno del dato. Es decir, el gobierno del dato sería el plan, y la gestión del dato sería la ejecución: sin data management, data governance es solo documentación.

Un ejemplo sería el de la construcción de carreteras, donde el data governance sería el trazado de la vía que nos lleva de un punto a otro, mientras que el data management implicaría desde los operarios que la construyen, el tráfico rodado que soporta, el número de carriles adecuado, las limitaciones de velocidad, señales y semáforos, etc. ¿Sería posible construir una carretera sin estos elementos? Sí, pero resultaría mucho menos eficiente, presentaría problemas como atascos, su mantenimiento sería más costoso, etc.

 

Data management: maximizando el valor de los datos

Valorando cada uno de los términos por separado, hablaríamos de la gestión del dato (data management) como todo proceso mediante el cual se controla la entrada de datos y su transformación como información válida interviniendo en su integración, analítica y modelado. Todo ello con el fin de ofrecer datos precisos, controlados, seguros, revisados, legales y en definitiva, de calidad.

El resumen que hace DAMA DMBOK (la guía data-driven de referencia en el sector) es el siguiente: «Una función comercial de planificación, control y entrega de datos y activos de información».

No obstante no nos debemos quedar en la superficie y considerar el data management como un conjunto de procedimientos que se aplican para asegurar la calidad del dato: esos procedimientos están plenamente detectados y en ellos intervienen diferentes metodologías y herramientas, las cuales, a través del data quality, permiten beneficiarnos de:

  • Informes coherentes y precisos
  • Conocimiento sobre de dónde proviene cada información y la razón de encontrarse en nuestros conjuntos de datos.
  • Decisiones comerciales respaldadas.
  • Una empresa en la que cada departamento conoce cómo tratar cada dato y comprende los procesados por cualquier otro miembro de la plantilla.

Y, sobre todo… ventaja competitiva, ya que hoy en día, manejar un mayor y más preciso conocimiento del entorno en el que operamos, supone destacar por encima del resto de las empresas.

 

Data governance: guiando el valor de los datos

Para alcanzar cada uno de los puntos descritos en la gestión del dato, la coordinación entre cada uno de los agentes que implica debe ser precisa y no dar lugar a dudas o errores. Es aquí donde entra esa “guía” (lo entrecomillamos porque sería reducir al mínimo todo lo que implica) denominada data governance o gobierno del dato.

Así, una definición resumida de data governance sería la metodología que marca las políticas, los procesos, los estándares, los roles y las responsabilidades necesarios para garantizar una excelente calidad de los datos, o como lo define DAMA: “el ejercicio de la autoridad, control y toma de decisiones compartida (planificación, el seguimiento y la aplicación) a través de la gestión de activos de datos»

Todos estos controles se establecen sobre 10 áreas que la Asociación Internacional de Gestión de Datos (la encargada de crear la guía de referencia del sector antes mencionada, DAMA DMBOK) identifica de la siguiente manera:

  • Data Architecture
  • Data Modeling & Design
  • Data Storage & Operations
  • Data Security
  • Data Integration & Interoperability
  • Document & Content Management
  • Reference & Master Data
  • Data Warehousing & BI
  • Metadata Management

Así, el medio para llevar a cabo todos estos 11 procesos sería el data governance o gobierno del dato.

Data Governance según DAMA DMBOK

 

 

Gestión y gobierno del dato: la solidez que necesitan tus datos

La razón por la que hablamos de data governance y data management como metodologías separadas es porque por sí mismas, cada una complementa y asegura el ciclo del dato de forma diferente (data governance guiando su viabilidad, data management aplicándola). Así, deberemos acudir a una metodología u otra según el grado de avance que tengamos en nuestro plan de transformación digital data-driven, o ambas en el caso de que partamos de cero.

Es por este último punto por lo que a la implementación de la gestión y el gobierno del dato, se le suele acompañar una asesoría o auditoría data quality, ya que en más de una ocasión, debido a todas las partes y procesos que implica, resulta sencillo que quede algún “cabo suelto” en nuestro plan. En cualquier caso, el fin debe ser el mismo: disponer de una base de datos firme, confiable, sin errores en la que puedan intervenir cualquier miembro de la plantilla obteniendo siempre información 100% de calidad, o lo que es lo mismo, disponer siempre de datos gestionados y, por tanto, gobernados.

 

Analiza tus datos
Retos y principales aplicaciones de Inteligencia Artificial en empresas

Retos y principales aplicaciones de Inteligencia Artificial en empresas

Principales aplicaciones de inteligencia artificial en empresas

Las aplicaciones de inteligencia artificial en empresas son cada vez más comunes. La IA ha salido los últimos años de entornos ultratecnológicos y es la apuesta más fuerte para digitalizar servicios y resultar más competitivos en las organizaciones, en una democratización de su uso parecido al que experimentaron otras metodologías disruptivas como internet en los 90.

El principal “culpable” de esta aceleración del uso de inteligencia artificial (pese a contar la historia de la IA entre nosotros con cerca de un siglo) es el big data: la generación diaria de ingentes cantidades de datos imposibles de procesar manualmente, y las necesidades de las empresas de extraer información útil y de calidad para una correcta toma de decisiones hacen de la automatización de procesos la solución más inmediata y eficaz para ello, siendo la IA una metodología muy destacada en este sentido. ¿Cómo abordarla?, ¿qué retos nos supone como empresa?

 

Curación de información: clave para aplicaciones de  inteligencia artificial en empresas

En marketing, se denomina curación de contenidos a la acción de buscar, ordenar, depurar, seleccionar y presentar de forma comprensible las diferentes fuentes que informan sobre un tema concreto, de manera que se filtra y ofrece de forma coherente y organizada los contenidos más relevantes frente a la inmensa cantidad disponible en internet y en otros repositorios.

Mediante esta acción, el content (encargado de los contenidos), presenta la información accesible a cada perfil que lo demande y de una forma que pueda entenderla, a la par que sigue unos protocolos que maximicen su valor (por ejemplo el posicionamiento, visibilidad y usabilidad).

Esta metodología marketiniana se debe hacer extrapolable a la información que se maneja en la empresa: es necesaria una metodología que haga disponible la información contenida en los datos corporativos a cualquier agente que necesite trabajarla, sin necesidad de tener que “bucear” entre gigas y gigas de datos dispersos y la seguridad de que la información obtenida es de calidad y útil para su fin concreto.

Este fin es el que propone el uso de la inteligencia artificial en empresas: la curación de información de forma automática, liberando la dedicación para este fin de los data scientist, para que cualquier agente de la empresa pueda trabajar en todo momento y desde cualquier lugar con ella siempre estando seguros de su validez y eficacia. ¿El principal reto que presenta? Que esta información sea cada vez más novedosa y precisa como para que constituya un importante factor competitivo: de nada sirve incorporar metodologías si no resultan novedosas o no aportan un notable valor diferencial.

 

Principales retos de las aplicaciones de inteligencia artificial en empresas

Incorporar inteligencia artificial en empresas no es simplemente instalar software o aplicar herramientas: requiere de pasos previos como auditar los datos de la empresa, recibir asesoría sobre la metodología más conveniente y los procesos a llevar a cabo, etc. Tampoco es que se deba “revolucionar” el ecosistema de la empresa, pero sí debe haber una voluntad firme de colocar al (buen) dato en el centro de cualquier decisión. Estos son hoy en día los principales retos a los que se enfrenta la aplicación de inteligencia artificial en empresas:

 

La confianza en la metodología IA

Ya lo hemos mencionado y conviene recalcarlo. La lenta implementación que hoy en día se está llevando a cabo con las metodologías de inteligencia artificial es su mayor hándicap a la par que la mayor ventaja para quienes apuestan por ella. Según datos de El País, solo un 16% de las compañías que usan IA creen que están sacando el máximo partido de sus datos. ¿Quiere decir que la IA solo es eficaz en 1,6 de cada 10 empresas? Quiere decir que solo 1,6 empresas de 10 conocen cómo sacarle el máximo rendimiento.

¿En qué fallan el 8,4 de las empresas restantes? En adoptarla como metodología competitiva pero sin visualizar ni entender las razones de su implementación. Tal como indicábamos en los errores más comunes a la hora de digitalizar la empresa, el éxito de incorporar nuevos procesos en este sentido solo es posible si va acompañado de un cambio cultural, que desde la dirección hasta la plantilla entienda la importancia de los datos y cómo el uso de inteligencia artificial los potencia.

 

La integración con el resto de fuentes de datos

La digitalización no es usar herramientas: es aplicar procesos. Dentro de estos procesos, las herramientas son importantes, pero ni en ellas empieza, ni acaba el proceso de transformación digital. Por ello, para que la implementación de IA en la empresa resulte exitosa, se debe integrar en el ecosistema data preexistente, con la finalidad de enriquecerlo, a la par que aporta nuevas fuentes de valor.

Estas fuentes de valor deberán venir tanto de dentro (las bases de conocimiento interno y los datos recolectados previos) como de fuera (nuevas metodologías de captar información) para obtener el máximo rendimiento de la IA a partir de sumar la capacidad de extraer información compartiendo aquellos datos que generan otros actores del ecosistema de la empresa, como por ejemplo los clientes potenciales.

 

Innovar en la extracción de información

¿Y cómo obtener información novedosa de clientes potenciales añadiendo más información de la que se pueda conseguir con las técnicas tradicionales? Es común que construyamos los perfiles de nuestros clientes (fundamental para satisfacerlos y fidelizarlos) en base a cómo interactúan con nosotros o de la información que nos proporcionan en campañas de marketing (edad, género, lugar de residencia…) pero, ¿Y si metodologías como la visión artificial en sectores como el retail nos permitiera, sin ser invasivos y acorde a RGPD, obtener datos como el estado emocional, cuántas veces hace un mismo recorrido, dónde para su atención frente a nuestros productos, etc.?

Esta es una sola de las funcionalidades que podemos llevar a cabo con IA: aplicar visión artificial para hacer un seguimiento anónimo (que puede convertirse en un usuario plenamente identificado combinando esta estrategia con campañas de fidelización por ejemplo) de quienes visitan tu punto de venta, sumando a tus datos, información que no podrías obtener por otros medios no invasivos como el grado de satisfacción.

 

Establecer protocolos de seguridad y protección de datos

La implementación de la inteligencia artificial en empresas debe ir acompañada de expertos en la materia que aseguren un entorno operativo, práctico… y seguro. La seguridad no es un problema exclusivo de la IA, sino de toda materia que involucre big data. Por ello, existe un marco regulador común a todos en Europa, el RGPD, que indica con precisión el tratamiento correcto que le debemos dar a los datos que recopilamos con fines comerciales y de crecimiento empresarial.

Es por ello que en el anterior punto hacíamos referencia al “seguimiento anónimo” (X individuo de X rasgos y características, hace X recorrido por mi tienda) que puede ser transformado en seguimiento personal (Antonio López, hombre caucásico de 39 años que se ha parado hasta en 3 ocasiones en solo diez minutos frente al expositor de pantalones vaqueros) solo con el consentimiento del propio cliente, algo que se puede conseguir mediante técnicas de fidelización (un descuento del 5% rellenando el formulario de contacto y aceptando el tratamiento de sus datos para fines comerciales).

Con ello, queda patente que el uso de IA tiene las mismas implicaciones en cuanto a seguridad y protección de datos que cualquier otra herramienta que podamos usar para fines similares (analítica web, facturación, etc.). La seguridad la aporta el entorno, las metodologías y las aplicaciones que se usen para ello, de ahí a la necesidad de auditorías previas como ya habíamos insistido, y la asistencia profesional.

 

Demostrar (y buscar) el beneficio al cliente y la empresa

Es el reto “ético” del uso de inteligencia artificial en empresas y profundo tema de debate por el cual se llega a cuestionar su utilización por quienes no comprenden su funcionamiento: la IA no ha venido ni a eliminar puestos de empleo, ni a invadir la privacidad.

La inteligencia artificial simplemente se plantea para mejorar la productividad por parte de la empresa y el conocimiento que tenemos del cliente por parte de la actividad del negocio a la que la aplicamos.

Así, la inteligencia artificial resuelve el trabajo de filtrado, limpieza y presentación de datos en empresas en el que el volumen de éstos es tal, que sería imposible resolverlos de forma manual. Por ello, la IA se encarga de un trabajo que de por sí resulta inabarcable: no sustituye, mejora lo procesos. Así, la persona encargada de la gestión de datos no se ve reemplazada, sino que dispone de más tiempo y menos esfuerzo que le permite dedicarse a otros aspectos fundamentales de sus tareas.

En cuanto a la perspectiva del cliente, la recopilación de sus datos no se lleva a cabo para “invadir su privacidad” (hecho que, dicho sea de paso, ya se da en casos como la navegación web o el uso de aplicaciones en el smartphone), sino para aspectos que le suponen un beneficio, ya sea mejorando un producto hasta el punto de resolverle necesidades específicas cuando antes no lo hacía (gracias a la información recopilada); ya sea mejorando la comunicación que se lleva a cabo con él (evitando por ejemplo mails repetitivos, sin su interés a la hora de abordar campañas de marketing).

Podríamos resumir llegados a este punto con que el principal reto de la aplicación de inteligencia artificial en empresas por tanto no reside en sus facultades o las tareas que resuelve, sino conocer todas las implicaciones y beneficios de su uso. Un uso que tarde o temprano será mayoritario dado el crecimiento exponencial de todo lo que supone trabajar con datos, y que por tanto, cuanto antes resolvamos este reto, antes ganaremos en competitividad. ¿Dispuesto a dar el paso?

 

Claves y errores más comunes en la digitalización de empresas

Claves y errores más comunes en la digitalización de empresas

La digitalización de empresas necesita un plan firme y consensuado para su puesta en marcha

La importancia de la digitalización de empresas la notamos en el salto cualitativo que supone abordarla a nivel competitivo. La transformación digital hoy en día es el internet de principios de siglo: estar o no estar en la red suponía existir o no existir para la gran mayoría de clientes, hasta tal punto que nadie, o casi nadie se atreve a emprender un negocio sin su réplica digital que lo haga accesible al todopoderoso Google entre otros buscadores.

Con las herramientas y metodologías que agilizan, flexibilizan y ofrecen claridad ante los procesos de cada negocio sucede lo mismo: las empresas que mejor manejen la información sobre sus clientes e incorporen correctamente metodologías novedosas serán las que mayores oportunidades de crecimiento tendrán.

Es por ello por lo que quienes aún no han abordado un proyecto de transformación digital, se plantean hacerlo en el corto plazo, tal como ocurrió durante el contexto de pandemia donde 7 de cada 10 negocios incorporaron metodologías basadas en la digitalización de empresas (fuente: Diario Expansión).

¿Y a qué llamamos “proceso digitalizador”? Esta cuestión es la clave por la que podemos fácilmente caer en los errores más comunes a la hora de abordar la digitalización de empresas: digitalizar no es simplemente incorporar tecnología… ¿Qué debemos tener en cuenta para una transformación digital exitosa?

 

Claves de una transformación digital exitosa

Una transformación digital exitosa debe suponernos notables mejoras en los procesos, así como crecimiento empresarial. Para ello, hay tres pilares claves que debemos tener en cuenta para que toda innovación en la empresa resulte eficaz:

 

#1 Dirección y equipos involucrados

Es la primera y de las más fundamentales claves de la correcta digitalización. La definición más concisa de digitalización a día de hoy (no se entiende igual la digitalización en el 2001 que en el 2022) es la de transformación digital, de ahí a que se use indistintamente una u otra; y todo lo que se transforma, cambia totalmente. Esta retahíla de obviedades nos sirve para incidir en que no podemos pretender abordar un cambio hacia lo digitalizador, y que sigamos con una mentalidad y con unos procesos previos a ésta.

Por ello, para que la digitalización funcione, debemos no solo creer en ella, en los beneficios que nos va a reportar, sino también comprometernos con ella: involucrarnos en el cambio, asimilar sus procesos e incorporarlos en en día a día de la empresa. De nada sirve contar con la más novedosa metodología, si al final recurrimos a procedimientos ya obsoletos o no la adoptamos completamente.

 

#2 Procesos, no solo herramientas

Comprar un nuevo software de gestión y usarlo no es digitalizar. Puede que lo fuera en los noventa cuando pasamos de la mecanografía o la escritura a mano, a usar Microsoft Word (de ahí a que hayamos hecho la distinción de que no es lo mismo digitalizar ahora que hace 20 años), pero en plena tercera década del s. XXI la digitalización solo se entiende si supone incorporar metodologías totalmente novedosas.

Estas metodologías probablemente requieran del uso de herramientas, pero por sí solas no nos aseguran el éxito y la competitividad si no se acompañan de un proceso que “transforme” la manera en la que producimos. Así, por ejemplo, llevado a la gestión del dato, una plataforma de integración es básica, pero de nada sirven datos integrados si cada uno de los que intervienen en ellos, no sabe de dónde tomarlo o no refleja los posibles cambios o acciones que realice en ellos.

 

#3 Cambio cultural en la empresa

Insistimos: transformar no es maquillar, ni intervenir parcialmente… es cambio. Un cambio que se debe reflejar en cada agente, en cada proceso, en cada forma de actuar dentro y fuera de la empresa. Por ello, además de contar con el compromiso de la dirección, se debe hacer un esfuerzo porque cada miembro de la organización entienda este cambio y sea partícipe de él.

No podemos pretender que nuevos procesos y nuevas metodologías funcionen si a quienes van destinadas, ni siquiera entienden su valor o cómo puede ayudarles en el día a día. Previo a un proceso de transformación digital debe explicarse a cada uno de los que se verán afectados el porqué del cambio y en qué les beneficia.

¿Por qué queremos hacer más accesibles los datos? Porque mejora el día a día al tener información actualizada y veraz. Una información que si antes residía en una carpeta del escritorio del portátil, ahora debe constar en un datalake, en cloud o donde mejor convenga pero accesible y útil a toda la organización.

 

“El 86% de las empresas están involucradas o han implementado procesos de transformación digital. Sin embargo, de todas ellas, el 84% fracasa en estas iniciativas al no adaptarse adecuadamente y en su totalidad al modelo planteado”

 

Principales errores al abordar la digitalización de empresas

Los principales errores en el momento de iniciar un proceso de transformación digital en la empresa vienen precisamente de no seguir las claves indicadas. Así, nos encontramos con procesos fallidos al momento en el que solo entendemos la digitalización como la incorporación de tecnología; la dirección no muestra un compromiso firme con ella; y no supone un cambio cultural en cómo la empresa aborda su día a día.

No obstante, seguir al pie de la letra las tres claves tampoco es garantía de éxito. Debemos tener en cuenta otros factores que nos llevan a error como:

 

#1 Mantener una estructura departamental rígida

 

La clásica división-frontera entre departamentos como marketing, RRHH, ventas, IT, etc., no tiene sentido en una era de digitalización destinada a compartir y hacer partícipe a toda la organización de la producción y tratamiento de la información.

Esta división tiene sentido en estructuras “fordistas”, ancladas en el s. XX donde cada miembro de la organización está orientado a la realización de tareas muy concretas. En un s. XXI donde se tiende hacia estructuras más flexibles, adaptativas y colaboraciones interdepartamentales (términos como smarketing: sales + marketing dan muestra de ello), los departamentos deben ser cada vez estructuras más multidisciplinares, donde el conocimiento no esté únicamente limitado al área del que se produce.

El modelo de transformación digital es clave a la hora de implementar la digitalización de empresas

#2 Evolucionar únicamente a través de la optimización de costes

 

Buscar el crecimiento empresarial únicamente basándonos en el ahorro inmediato y en la búsqueda de ingresos cortoplacista no es ser competitivo, que es lo que se busca con el fenómeno digitalizador. Para ser realmente competitivos, debemos evolucionar a través de las necesidades de nuestros clientes, incluso llegando a anticiparnos a éstas.

Por ello, forma parte del mismo proceso de transformación digital, la transformación del modelo de negocio: evolucionando de un modelo basado meramente en la maximización de beneficios entre producción – venta, a un modelo basado en la creación de valor real al cliente, donde conozcamos y anticipemos sus necesidades en profundidad gracias a metodologías como el machine learning, la analítica predictiva o la inteligencia artificial.  

De esta forma, contando con un correcto proceso digitalizador, el cada vez más acelerado cambio de necesidades del consumidor no nos afectará al contar con información veraz y actualizada que nos indica hacia dónde se dirigen, teniendo mayor capacidad de maniobra que si apostamos por el modelo cortoplacista del máximo beneficio al momento.

 

¿Por qué tender a modelos de negocio basados en crear valor al cliente? El caso Blackberry

Podemos pensar leyendo el error de centrarnos únicamente en la optimización de costes, que maximizar beneficios entre producción – venta en todo momento no es algo negativo, sino algo que reporta siempre beneficios en cuanto se equilibran las finanzas. Este mismo modelo es el que llevó a la cima del éxito a la empresa de dispositivos móviles Blackberry… solo para hacerla desaparecer un par de años después.

Blackberry revolucionó el mercado de los teléfonos móviles incorporando innovaciones a sus dispositivos muy valoradas por sus consumidores. En concreto, estos modelos de telefonía móvil contaban con una interfaz de lectura de emails muy cómoda justo al momento en el que despegaba el uso de estas formas de comunicación (primera década del s.XXI), un teclado QWERTY que agilizaba la escritura y un sistema de chat propio (BBM) cuando aún quedaba una década para que se popularizara Whatsapp (Blackberry se lanzó en 1999 mientras que Whatsapp en 2009).

Todo ello le llevó a contar con más de 14 millones de usuarios y abarcar una cuota del 20% de mercado (por cada 5 smartphones que se vendían en 2011, uno era Blackberry), que en tan solo un margen de 2 años, se redujo a un nimio 3%.

¿Qué ocurrió para pasar de vender 80 millones de terminales a desaparecer totalmente del mercado en menos de un lustro? El primer problema fue la falta de agilidad a la hora de asimilar los cambios que afectaban a su principal cuota de mercado: el teclado QWERTY era una ventaja muy competitiva en el momento en el que los teclados tradicionales eran los alfanuméricos, que con las pantallas táctiles desaparecieron por completo. De igual forma, su sistema de mensajería también dejó de tener sentido al momento en el que cualquier usuario tenía acceso a la app de Whatsapp.

La lentitud de reacción de Blackberry a la hora de adaptarse al cambio y escuchar las necesidades del mercado lo abocaron al fracaso en tiempo récord, algo en lo que tuvo gran parte de culpa contar con una estructura “peculiar”, donde la dirección se repartía en dos divisiones que trabajaban de forma independiente: producción y ventas. La falta de fluidez y comunicación entre ambos impidió una respuesta ágil y eficaz para el mercado.

¿Cómo hubiese afectado un proceso de digitalización adecuado a Blackberry?

De haber adoptado los principios básicos de la transformación digital a tiempo, es muy probable que Blackberry aún hoy fuera una marca competitiva, ya que hubiese solventado ágilmente los errores que la llevaron a la quiebra:

 

  • Hubieran entendido al momento en el que se producían los cambios en el mercado.
  • Hubieran contado con información de calidad para incorporar cambios en su producción.
  • El equipo de desarrollo y el de ventas hubiesen manejado la misma información y, por tanto, habrían sido capaces de afrontar el cambio a la par y sin demoras.
  • Hubiesen sido capaces de anticipar los cambios de tendencia y podrían haber trabajado con ellos en mente desde el primer momento.     
  • Hubiesen mantenido su posición de liderazgo al incorporar más velozmente que la competencia, los cambios que su target solicitaba.

 

 

#3 Ofrecer lo que creemos mejor para el cliente (sin tenerlo en consideración)

 

El marketing en el s. XX consistía en crear necesidades que no existían. El marketing en el s.XXI consiste en atender a las necesidades que le surgen de forma más ágil que la competencia. Así, hoy en día supone un error aventurarnos a lanzar productos y servicios pensando en que van a resolver una necesidad… La clave de este error está en el “aventurarnos”.

A día de hoy disponemos de las suficientes herramientas y metodologías como para conocer al momento qué necesita nuestro target potencial, sin necesidad de imaginar o dar por supuesto que X solución que consideramos tan buena, vaya a ser un éxito. Los datos están ahí presentes, solo tenemos que captarlos, interpretarlos, asimilarlos y, en base a ello, dar con la respuesta que necesitamos.

Para ello, debemos acudir a modelos de recolección de datos que no se basen en lo incierto. Una encuesta de opinión no necesariamente refleja la opinión, valga la redundancia, ya que factores como el estado emocional del encuestado al momento de responder, su situación sociodemográfica (donde vive, su nivel adquisitivo, su género, edad, etc.) o incluso el tiempo que haya pasado desde que ofrece su respuesta, hasta que se tramita, pesan demasiado como para considerar el resultado los suficientemente de calidad como para tomar decisiones relevantes en base a ello.

Metodologías como la visión artificial, capaz de captar el sentimiento que genera en una persona una acción concreta; la gestión del big data, capaz de interpretar enormes cantidades de datos y acorde a ellos, ofrecer informes concisos; y/o la inteligencia artificial, capaz de predecir acciones acorde a la información recabada del entorno, son solo tres ejemplos de cómo hacer partícipe a nuestros usuarios en la búsqueda de aquello que le resuelve sus necesidades.  

 

Conclusiones: cómo abordar correctamente los procesos de digitalización de empresas

 

Teniendo en cuenta las claves, y evitando los errores tenemos ya mucho ganado a la hora de abordar con éxito cualquier proceso de digitalización de empresas, pero todo se puede resumir en un solo factor: el tratamiento de los datos.

Colocando al dato en el centro de cualquier decisión y haciendo entender a toda la organización de su importancia, de su cuidado, compartido y correcto tratamiento estaremos aplicando todas las claves y evitando todos los errores marcados.

¿Y cómo dar valor a los datos de la empresa? Esta es la primera pregunta que debería iniciar todo proceso de digitalización de empresas en pleno 2022, y la respuesta la tenemos en conocer en qué fallamos y en que podemos mejorar a la hora de tratar la información dentro de la corporación.

Para ello, una auditoría data quality nos permitiría tener un diagnóstico preciso del estado de la empresa en torno a sus datos, detectando los errores y guiando hacia su resolución. Solo así podremos incorporar y hacer uso de metodologías destinadas específicamente para resolver nuestros problemas con la gestión del dato, sin caer en sobredimensionamientos que nos alejen de un uso intuitivo y natural, o quedándonos en superficie sin llegar a cumplir con el 100% del proceso digitalizador.

Autoconocimiento de la gestión del dato; compromiso con la producción de la información y facilidad a la hora de incorporar cambios transformadores serían finalmente los tres ingredientes que nos guían hacia el éxito de una correcta digitalización en las empresas y nos alejan de cualquier error. ¿Está tu empresa encaminada hacia el éxito y la competitividad?

Analiza tus datos
En qué consiste una auditoría de datos

En qué consiste una auditoría de datos

Auditoría de datos

Sin buenos datos no hay buenas decisiones: necesitamos una base de conocimiento de calidad para tener la certeza de que cualquier medida que sirva para el crecimiento de nuestra empresa, esté perfectamente fundamentada. De esta manera, tanto el presupuesto como las acciones destinadas a ello podrán estar plenamente justificadas y estaremos 100% seguros de que nos pueden reportar beneficios.

Es por ello por lo que sin una garantía de que cada proceso data se está llevando a cabo de forma correcta, sin ese 100% de seguridad que no nos haga dudar de cualquier decisión, lo que debería ser claridad y precisión se vuelve incertidumbre. Para poner remedio a esta situación existe la auditoría de calidad de datos: un primer paso imprescindible para toda estrategia de data governance y, por tanto, para el crecimiento de nuestro negocio.

 

¿Qué es una auditoría de datos?

Retomando el muy visual concepto de data health o salud de los datos, una auditoría data quality sería el diagnóstico que nos permite conocer la medicación (la estrategia de gobierno de datos) que permite que cualquier dato introducido en nuestras bases, sea de calidad como para poderlo usar como información útil.

Así, la auditoría es el primer paso necesario para desplegar una estrategia que nos va a llevar a confiar en cada uno de los datos que forma el conocimiento de nuestra empresa, de nuestro entorno y sector, indicándonos nuestros puntos a mejorar para que, cualquier dato obtenido de nuestra empresa, sea de calidad.

¿Y cuándo realizarla? La respuesta a esta pregunta es sencilla: desde el momento en el que “desconfiamos” de que los datos que obtenemos sean válidos para cualquier estrategia, pero no sabemos exactamente en qué estamos fallando. La auditoría de calidad de datos es la metodología que nos va a detectar dónde se encuentra el error que impide un total data quality.

 

¿Cuándo iniciar una auditoría de datos?

Tal como acabamos de indicar, una auditoría es lo más indicado al momento en el que hay sospechas de que algo no va bien con nuestros datos, ya sea porque no obtenemos los resultados esperados, porque no sabemos qué hacer con la información obtenida o porque surgen trabas a la hora de procesarla.

Pero no necesariamente tenemos que intuir el error para buscar dónde se encuentra: trabajar con big data siempre va a acarrear riesgos en su gestión si no tenemos un plan detallado o una estrategia data governance previamente planteada. Al momento que nos encontramos con grandes flujos de información, numerosas fuentes de datos y diferentes departamentos que interfieran en ellos, crecen las probabilidades de que los buenos datos pierdan visibilidad a la par que otros datos vayan perdiendo calidad por no ser correctamente atendidos (por ejemplo al duplicarse, no actualizarse, completarse, etc.). En este caso la auditoría nos marca dónde actuar para que ninguno de estos factores negativos que afectan al dato, entren en el flujo de la empresa.

Por otra parte, una auditoría también se plantea como una medida de prevención y tratamiento excelente para nuestros datos cuando iniciamos procesos que los puedan intervenir o modificar. Es el caso de migraciones a cloud, incorporación de nuevas herramientas de recolección, gestión y/o tratamiento, etc.

Cuando abordamos estos procesos, corremos el riesgo de que, si no se hace de forma integral o siguiendo una estrategia de gobierno del dato, se pierdan datos, se modifiquen o simplemente traslademos información vacía, caduca e inútil como si fuera válida. Una auditoría previa nos marcaría cómo evitar ensuciar las nuevas bases.

Por último, hay una clave aplicable no solo a este servicio, sino a todos los que involucra trabajar con datos: el tiempo. Si tenemos la sensación de que no estamos invirtiendo el tiempo de nuestra plantilla adecuadamente, es que algo se está haciendo mal.

 

Una Auditoría Data Quality te marcará antes de que te lo encuentres, donde se encuentran los errores que se producen con tus datos, ahorrándole tiempo a tus técnicos y previendo los efectos que pudieran tener en tus bases

 

¿Cuánto nos puede costar una hora de un data scientist? Trabajos tan técnicos como los de estos perfiles son oro en la organización, y sin embargo, según un estudio de Harvard Business Review, este tipo de profesional destina de media el 60% de su tiempo a limpiar bases. ¿No resultan demasiadas horas para una tarea que se puede / debería automatizar?, ¿no estaría el fallo del por qué tanto tiempo invertido, en fallas en los procedimientos de tratamiento de los datos?

Este tipo de indicadores nos deberían alertar de que algo no se está haciendo bien, y ya no hablamos de que un contacto de marketing aparezca duplicado, sino miles de euros al año que se van en simplemente detectar y borrar ese duplicado en el mejor de los casos, contactarlo dos veces y que se incomode por ello en el peor.

La utilidad de la auditoría y cuándo debemos plantearla por tanto se responde con un simple planteamiento: cuando sentimos que algo no se está haciendo bien y repercute en el balance de la empresa.

 

¿Cómo se lleva a cabo una auditoría de datos?

 

Tenemos el qué, el cuándo, el por qué y el quién. Solo nos queda el cómo abordamos la auditoría para garantizarnos dar con la solución que nos permita devolver el valor de los datos a nuestro negocio.

Una de las virtudes de la auditoría es que no requiere desplegar equipos ni intervenir en el día a día de los procesos que lleves a cabo con los datos: no tiene sentido que un proceso de detección de errores intervenga en ellos propiciándolos, como ocurriría con un método invasivo que paralizara tu producción.

Para ello, simplificamos la metodología en tres fases:

 

Perfilado de datos

Tomamos una muestra de los datos con los que se trabaja frecuentemente en tu empresa, los exportamos sin intervenir en ellos y permitiendo su uso en todo momento y, mediante herramientas y procesos concretos como el data profiler, detectamos los errores.

 

Análisis e Informe

Los aspectos analizados de todo tu entorno data se reflejan en un informe donde podrás localizar qué está fallando en cómo tratas los datos de tu empresa, dónde se encuentran esos errores y en qué medida afecta a tu estrategia global de tratamiento de datos.

 

Propuesta de solución

De forma complementaria al informe, se ofrece la medida que permitiría resolver cada error: ya sea aplicando una herramienta, un procedimiento, migrar a cloud o directamente desplegar una completa estrategia de data quality, según interpreten nuestros profesionales la información contenida en el informe.

Con ello, estamos tratando la auditoría de calidad de los datos como el guion, la escaleta, que nos lleva al dato perfecto: aquel que sin dar lugar a la duda nos permite el crecimiento como empresa.

Analiza tus datos