Los data lakes y los data warehouses resuelven problemas distintos. Los lagos almacenan datos sin procesar de forma económica en su formato nativo, y los almacenes sirven datos depurados de forma rápida. La forma en que los utilices individualmente o en conjunto influye en lo que puede hacer tu equipo de análisis, y la escala de los datos modernos hace que esta decisión sea aún más importante. En 2024, se crearon, capturaron, copiaron o consumieron 402,89 millones de terabytes de datos al día, lo que suma aproximadamente 147 zettabytes al año.

A continuación, compararemos los data lakes frente a los data warehouses, explicaremos en qué se diferencian en cuanto a esquema, coste, rendimiento y gobernanza, y cómo adaptar la arquitectura adecuada a tus cargas de trabajo.

Destacados

• Los data lakes utilizan el esquema de lectura para almacenar datos sin procesar de forma flexible, mientras que los data warehouses utilizan el esquema de escritura para ofrecer un rendimiento de consultas rápido y constante para la inteligencia empresarial (BI) y la elaboración de informes.

• Los equipos de datos consolidados suelen utilizar ambos sistemas en una arquitectura por capas, con datos sin procesar en un lago y datos depurados que fluyen a un almacén para su análisis.

• El antiguo enfoque de los datos de pago consistente en crear tu propia canalización suele ser frágil, ya que los cambios en el esquema de la API pueden romper las canalizaciones.

¿Qué es un data lake?

Un data lake es un repositorio centralizado que almacena datos en su formato original y nativo. Esto incluye datos estructurados (tablas), datos semiestructurados como los registros de JavaScript Object Notation (JSON) y datos no estructurados (texto, imágenes o vídeo).

El ideal que define un data lake es el esquema de lectura. Los datos llegan exactamente como se producen, y la estructura se aplica más tarde en el momento de la consulta, cuando alguien sabe la pregunta a la que intenta responder. Esa flexibilidad hace que los lagos sean idóneos para la ingesta a gran escala y el análisis exploratorio. Se puede almacenar prácticamente de todo sin decidir de antemano cómo modelarlo.

¿Qué es un data warehouse?

Un data warehouse es un sistema de análisis estructurado diseñado para realizar consultas rápidas y coherentes.

Antes de que los datos lleguen a un warehouse, normalmente se limpian, se transforman y se modelan en esquemas bien definidos y optimizados para el análisis. Este enfoque se conoce como esquema en escritura: la estructura y las definiciones se determinan antes de almacenar los datos. El resultado es un entorno cuidado en el que los analistas pueden ejecutar consultas, crear dashboards y calcular métricas sin preocuparse por formatos incoherentes o por la falta de contexto.

Mientras que un data lake prioriza la flexibilidad, un data warehouse prioriza la fiabilidad y el rendimiento de los análisis.

¿Cuáles son las diferencias clave entre un data lake y un data warehouse?

Las diferencias prácticas entre los lakes y los warehouses van mucho más allá de dónde se almacenan los datos. Su estructura, quién puede usarlos y cuánto cuesta hacer una consulta también son diferencias clave.

Estructura

Los data lakes almacenan datos sin procesar y solo aplican una estructura cuando se ejecutan consultas. Esta flexibilidad permite realizar múltiples interpretaciones del mismo conjunto de datos. Los data warehouses imponen una estructura cuando se escriben los datos, por lo que cualquier persona que consulte los pedidos verá el mismo esquema y las mismas definiciones.

Rendimiento de las consultas

Los warehouses se han creado para los análisis interactivos. Las consultas en tablas grandes de sistemas como Snowflake o BigQuery pueden devolver resultados en cuestión de segundos. Consultar archivos sin procesar en el almacenamiento del lake puede ser más lento y costoso a menos que hayas invertido en optimizaciones como el almacenamiento en columnas, las particiones y la compactación.

Tipos de datos

Los warehouses destacan en los datos estructurados y relacionales que se usan en los informes y los dashboards. Los data lakes son más flexibles: pueden almacenar registros sin procesar, JSON anidados, conjuntos de datos de machine learning, imágenes y otros formatos no relacionales.

Gobernanza y confianza

Los datos del warehouse suelen pasar por procesos de validación y transformación, lo que los hace adecuados para los informes empresariales. Los datos de un lake a menudo no están procesados y son de carácter exploratorio, por lo que normalmente se requiere un procesamiento adicional antes de que puedan respaldar métricas de producción.

Perfil de costes

Los data lakes son mucho más baratos para almacenar grandes volúmenes de datos sin procesar o a los que se accede con poca frecuencia. Los warehouses cuestan más por terabyte, pero ofrecen un rendimiento de las consultas más rápido y admiten mejor las cargas de trabajo de análisis de alta concurrencia.

¿Cómo utilizan las organizaciones los data lakes y los data warehouses de forma conjunta?

Las plataformas consolidadas suelen usar ambos sistemas y cada uno se encarga de la parte del proceso para la que está más capacitado. Normalmente, un data lake actúa como zona de aterrizaje para los datos sin procesar, mientras que el warehouse proporciona conjuntos de datos depurados y listos para su análisis a los analistas y a las herramientas de la empresa.

Un patrón habitual es la arquitectura de medallón, que incluye:

• Bronce: datos sin procesar ingeridos

• Plata: conjuntos de datos limpios y deduplicados

• Oro: tablas agregadas y listas para la empresa que se utilizan para los informes

En muchas implementaciones, los datos bronce y plata residen en el almacenamiento del lake, mientras que los conjuntos de datos oro se sirven desde un warehouse.

La desventaja de esta arquitectura en capas es su dificultad. Los datos se duplican en varios sistemas, los procesos los mueven y los transforman, y los equipos tienen que gestionar la gobernanza y los controles de acceso en múltiples lugares. Las organizaciones están simplificando esto al experimentar con arquitecturas lakehouse basadas en tecnologías como Delta Lake, Apache Iceberg o Hudi. Estos sistemas añaden funcionalidades tradicionalmente asociadas a los warehouses, como las transacciones de atomicidad, coherencia, aislamiento y durabilidad (ACID) y la aplicación de esquemas, que se dirigen al almacenamiento del lake.

Esto permite a los equipos usar una plataforma en lugar de dos. Su eficacia dependerá de la complejidad de la consulta y de la madurez del equipo que la opere.

¿Cómo elegir entre un data lake y un data warehouse?

La respuesta correcta depende de quién utilice los datos y qué necesiten de ellos. Por lo general, las organizaciones tienen varios equipos con requisitos distintos.

Debes tener en cuenta lo siguiente:

Equipos de inteligencia empresarial (BI) y elaboración de informes

Si tus consumidores principales son analistas que crean dashboards en herramientas como Looker, Tableau o Metabase, un data warehouse suele ser la mejor base. Estas herramientas dependen de esquemas coherentes, métricas fiables y respuestas rápidas a las consultas.

Equipos de machine learning y ciencia de datos

Los modelos de formación a menudo requieren conjuntos de datos sin procesar de gran volumen, como secuencias de eventos, texto, registros de comportamiento u otros formatos complejos. Los data lakes ofrecen la flexibilidad necesaria para almacenar y explorar esos datos antes de que adquieran la forma de tablas estructuradas.

Equipos de ingeniería que introducen datos a escala

Cuando los sistemas generan miles de millones de eventos al día, un lago suele ser el primer destino más práctico. Es más barato, gestiona bien los esquemas en evolución y no requiere que los sistemas ascendentes se ajusten a un modelo de datos predefinido.

Cargas de trabajo mixtas

Las organizaciones tienden a combinar ambos: un lago para ingerir y almacenar datos sin procesar, un warehouse para servir conjuntos de datos depurados y una capa de transformación que conecta ambos. En este tipo de configuración, la cuestión es dónde encaja cada sistema dentro del flujo de datos global.

¿Cómo encaja un proveedor de pagos en la arquitectura de un data lake o data warehouse?

El enfoque tradicional respecto a los datos de los pagos consiste en crear tu propio flujo de datos con una interfaz de programación de aplicaciones (API) para gestionar la paginación y los límites de tasa, escribir los resultados en el almacenamiento y mantener la integración de forma indefinida.

Eso funciona, pero es frágil. Los cambios de esquema de la API pueden romper los flujos, las reposiciones históricas requieren lógica adicional y los datos de pago incluyen información financiera confidencial. Eso significa que enrutarlos a través de otros proveedores de extracción, transformación y carga (ETL) crea una exposición de seguridad con la que muchos equipos de finanzas y cumplimiento de la normativa no se sienten cómodos.

El producto Stripe Data Pipeline aborda directamente estos retos. Se trata de un conector nativo creado y mantenido por Stripe, que está a disposición de los usuarios actuales de Stripe y que funciona sincronizando los datos de Stripe (transacciones, clientes, suscripciones, transferencias) directamente con un data warehouse o destino de almacenamiento en la nube.

En comparación con los conectores de terceros, el enfoque nativo presenta algunas ventajas:

• Datos completos: Stripe Data Pipeline incluye datos históricos de tu cuenta, informes financieros prediseñados y conjuntos de datos seleccionados que los conectores de terceros a menudo no exponen o requieren una configuración personalizada para sacarlos a la luz.

• Fiabilidad a escala: Dado que el propio Stripe mantiene el flujo, realiza un seguimiento automático de los cambios de la API, gestiona la evolución de los esquemas y tiene en cuenta los casos atípicos del modelo de datos de Stripe que a los conectores externos a veces se les pasan por alto.

• Reducción de la exposición en materia de seguridad: Los datos de las transacciones financieras se mueven entre Stripe y tu destino de almacenamiento sin pasar por la infraestructura de un proveedor intermedio, lo que simplifica tu postura en materia de seguridad de los datos.

Cómo puede ayudarte Stripe Data Pipeline

Stripe Data Pipeline te permite realizar el mismo análisis en tu data warehouse combinando tus datos de Stripe con otros datos empresariales. Stripe Data Pipeline y Stripe Sigma se basan en los mismos datos de Stripe, pero Data Pipeline facilita la visualización de esos datos en combinación con otros conjuntos de datos.

Stripe Data Pipeline puede ayudarte a hacer lo siguiente:

• Sincronizar directamente con tu warehouse
  Los datos se trasladan a Amazon Redshift, Snowflake o Amazon S3 sin pasar por el conector de un tercero, lo que mantiene los datos financieros confidenciales fuera de cualquier infraestructura adicional del proveedor.

• Establecer una única fuente de información verdadera
  Centraliza tus datos de Stripe en un solo lugar para acelerar el cierre financiero, identificar los principales métodos de pago, mejorar los modelos de inteligencia artificial (IA) y mucho más.

• Comenzar sin programación
  La conexión se configura en el Dashboard de Stripe sin código alguno. Configura Stripe Data Pipeline en cuestión de minutos y recibe automáticamente, y de forma continua, tus datos e informes de Stripe en tu destino de almacenamiento de datos.

Obtén más información sobre cómo puede ayudarte Stripe Data Pipeline a acceder a los datos de tu empresa.