Un enterprise data warehouse (EDW) es un repositorio centralizado de datos estructurados listos para el análisis que se extraen de sistemas de toda una organización. Con una proyección de superar los USD 53,000 millones para el 2035, el creciente mercado de los EDW llegó para quedarse. Sin embargo, un EDW solo es tan valioso como los datos que lo alimentan. Puedes invertir mucho en infraestructura en la nube, herramientas de modelado y dashboards de inteligencia empresarial (BI), pero si los datos subyacentes están obsoletos o incompletos, cada decisión posterior heredará esos defectos. La arquitectura, los controles de gobernanza y la capa de movimiento de datos que crees en torno a un EDW determinarán su valor para la empresa.

A continuación, explicamos qué es un enterprise data warehouse, qué hace que un data warehouse esté bien diseñado y cómo considerar el movimiento de datos como una preocupación principal.

Aspectos destacados

• Un EDW moderno sirve a las cargas de trabajo de inteligencia empresarial, informes financieros y machine learning desde un único repositorio controlado de datos estructurados listos para el análisis.

• Los controles de gobernanza, que incluyen el acceso establecido en funciones, el enmascaramiento a nivel de columna, los registros de auditoría y el linaje de datos, determinan si los equipos confían en el almacén de datos y lo utilizan.

• La capa de movimiento de datos es donde muchos proyectos de EDW fallan, y los conectores de origen nativos mantienen los pipelines en funcionamiento sin una carga de mantenimiento continuo.

¿Qué es un enterprise data warehouse?

Un enterprise data warehouse (EDW) es un repositorio de datos centralizado que impulsa la inteligencia empresarial, los informes financieros y, cada vez más, los feature stores y los conjuntos de datos de entrenamiento detrás de los modelos de machine learning.

Originalmente, los EDW se crearon para la generación de informes. Ahora, se han convertido en la base controlada de la que dependen los sistemas de inteligencia artificial (IA), lo que eleva el nivel de calidad, consistencia y actualidad de los datos.

¿Cómo funciona un enterprise data warehouse?

A grandes rasgos, un EDW toma datos de toda la empresa, los estandariza y los hace utilizables. Ese proceso suele dividirse en tres etapas.

Así es como funciona un enterprise data warehouse.

Ingesta

Los datos fluyen desde sistemas de origen, como plataformas de pagos, sistemas de gestión de relaciones con los clientes (CRM), sistemas de planificación de recursos empresariales (ERP) y bases de datos de productos, hacia una sola capa. En este punto, todavía están sin procesar: los esquemas varían, las marcas de tiempo pueden generar conflictos y los valores faltantes son inconsistentes.

Modelo

Aquí es donde los datos sin procesar se vuelven útiles. Los equipos limpian, unen y remodelan los datos sin procesar en conjuntos de datos confiables mediante herramientas de transformación (comúnmente dbt).

Dos enfoques de modelado comunes son:

• Esquema de estrella: Una tabla de hechos central (como los pedidos) conectada a tablas de dimensiones (clientes, productos, fechas). Es simple, rápida de consultar y muy utilizada para la generación de informes.

• Esquema de copo de nieve: Una versión más normalizada del esquema de estrella, donde las dimensiones se dividen en tablas relacionadas más pequeñas. Reduce la redundancia, pero puede dificultar las consultas.

Servicio

Los datos limpios y modelados se ponen a disposición de los usuarios de fases posteriores. Los analistas los consultan mediante el lenguaje de consulta estructurado (SQL), los dashboards se actualizan automáticamente y los equipos de la empresa confían en métricas consistentes.

¿Bajo qué arquitectura funciona un enterprise data warehouse moderno?

La mayoría de los EDW modernos están basados en la nube y se desarrollan sobre un principio central: separar el procesamiento del almacenamiento. Esto permite a los equipos escalar la potencia de procesamiento independientemente del volumen de datos.

Otro cambio importante es la transición de la modalidad extraer, transformar, cargar (ETL) a extraer, cargar, transformar (ELT). En lugar de transformar los datos antes de cargarlos, el modelo ELT primero carga los datos sin procesar en el almacén de datos y los transforma allí mediante SQL. Esto hace que los pipelines sean más fáciles de adaptar a medida que cambian las necesidades de la empresa.

Los EDW bien diseñados también comparten algunas cualidades:

• Procesamiento aislado para la concurrencia: Diferentes cargas de trabajo, desde informes de finanzas hasta ciencia de datos, se ejecutan simultáneamente sin competir por los recursos.

• Arquitectura de datos en capas: Una clara separación entre los datos sin procesar, las transformaciones intermedias y los modelos listos para la producción garantiza la trazabilidad y facilita la depuración.

• Soporte para múltiples casos de uso: Una sola plataforma puede dar servicio a los casos de uso de inteligencia empresarial (BI), análisis, machine learning y actividades de la empresa sin que existan duplicaciones.

¿Qué hace que un enterprise data warehouse sea confiable?

Un EDW solo es valioso si las personas confían en él. Los controles de gobernanza y seguridad pueden evitar disputas sobre métricas, reducir los riesgos de cumplimiento de la normativa y mantener los datos confidenciales fuera del alcance de las manos equivocadas.

Así es como los controles de gobernanza y seguridad preparan un enterprise data warehouse para el uso empresarial:

• Control de acceso establecido en funciones (RBAC): Los permisos se asignan por función, lo que garantiza que los usuarios solo vean los datos que necesitan.

• Enmascaramiento a nivel de columna: Los campos confidenciales, como los números de identificación fiscal, las cifras de salarios o los datos confidenciales de los clientes, se ocultan o tokenizan de acuerdo con el acceso del usuario.

• Registros de auditoría: Se puede hacer un seguimiento de cada consulta, lo que es importante para el cumplimiento de la normativa (como Service Organization Control 2 o PCI DSS, según tus tipos de datos). Cuando se disputa una métrica, los registros de auditoría te permiten rastrear exactamente sobre qué versión de los datos se elaboró un informe.

• Linaje de datos: Los equipos pueden rastrear cualquier métrica hasta su origen, lo que hace que la depuración sea mucho más eficiente.

• Definiciones de métricas consistentes: Una capa semántica compartida evita que diferentes equipos calculen la misma métrica de distintas maneras.

Cómo auditar la preparación de un almacén de datos empresariales antes de modernizarlo

Muchos proyectos de modernización de EDW fracasan porque los equipos avanzan demasiado rápido sin entender su estado actual. Una auditoría estructurada ayuda a evitarlo.

A continuación, destallamos en qué pasos debes centrarte:

• Haz un inventario de tus fuentes de datos y de los propietarios: Identifica cada sistema que aporta datos a tu almacén actual o a tus informes manuales, a quién pertenece y qué tan confiable es.

• Mapea tus obstáculos actuales: Busca cargas de trabajo manuales, canalizaciones frágiles y fallos recurrentes.

• Evalúa la calidad y el linaje de los datos: Comprueba si hay registros duplicados, si faltan claves externas (columnas de bases de datos vinculadas a columnas de otras tablas), si hay campos con formatos inconsistentes y si hay transformaciones que solo existen en un script de SQL no documentado o que alguien recuerda mentalmente en lugar de estar en el sistema.

• Confirma los requisitos de la plataforma: Establece qué nivel de concurrencia de consultas necesitas, tu volumen de datos esperado y si requieres actualizaciones en tiempo real o casi en tiempo real.

• Prioriza los puntos de partida de alto impacto: Identifica los flujos de trabajo de generación de informes con el mayor valor para la empresa y los datos de origen más limpios, y desarróllalos primero.

¿Cómo el movimiento de datos determina el éxito o el fracaso de un enterprise data warehouse?

El movimiento de datos suele determinar el éxito de un enterprise data warehouse. Crear conectores ETL personalizados suele ser más complejo y frágil de lo que los equipos esperan. La capa de movimiento de datos determina si tu EDW es realmente utilizable.

Los puntos de error comunes incluyen:

• Cambios en la API que interrumpen las integraciones sin previo aviso

• Credenciales que caducan y actualizaciones de autenticación

• Límites de frecuencia inesperados durante picos de consumo

• Pipelines que fallan sin alertar a nadie

Estos problemas pueden hacer que los dashboards se llenen de datos obsoletos o incorrectos, lo que socava la confianza en toda la empresa.

Si se trata de una fuente de datos de alto valor, como los pagos, el impacto es aún mayor. Los datos inconsistentes pueden afectar a los equipos de finanzas, operaciones y productos al mismo tiempo.

Stripe suele ser una fuente de datos de alto volumen y alto valor para las organizaciones que la utilizan para pagos, suscripciones, rembolsos, disputas y transferencias. Stripe Data Pipeline gestiona esto directamente como un conector sin código.

A continuación, encontrarás la explicación:

• Destinos admitidos: Snowflake, Amazon Redshift, Databricks y más.

• Postura de seguridad: Stripe Data Pipeline no requiere un servicio ETL de terceros, lo que reduce la exposición a datos que incluyen transacciones financieras e información de clientes.

• Carga de mantenimiento: No hay conectores personalizados que se deban crear o mantener. Cuando la API de Stripe cambia, el pipeline se adapta del lado de Stripe, no del tuyo.