01 / 05
Diseñamos y construimos procesos ETL y ELT que se pueden observar: se ve qué corrió, cuánto tardó y qué produjo.
Pcpeggs · Dominio público
01
Por qué
Los datos existen y están donde deben, pero llegan porque cada lunes alguien exporta, pega y revisa. Funciona hasta que esa persona se pone enferma, cambia de puesto o simplemente se equivoca de pestaña, y entonces el error no se descubre el lunes: se descubre tres semanas después, cuando ya se han tomado decisiones con él.
«Funciona, pero lo mueve alguien a mano.»
La ingeniería de datos es lo que convierte ese trabajo manual en un proceso que se ejecuta solo, comprueba lo que produce y avisa cuando algo no cuadra. El objetivo no es que vaya más rápido: es que cuando falle, se sepa.
02
Qué hacemos
02 / 05
Cargamos por lotes con dbt y Spark, y en tiempo real con Kafka o Flink cuando la decisión no puede esperar al día siguiente.
Autor desconocido · Dominio público
03 / 05
Orquestamos con Airflow o Prefect, con reintentos y dependencias explícitas en vez de tareas programadas que se pisan entre sí.
Don DeBold · CC BY 2.0
04 / 05
Escribimos pruebas de calidad sobre el dato —no sobre el código— y las conectamos a un aviso que llega a una persona concreta.
BekundaOff · CC BY 4.0
05 / 05
Integramos APIs de terceros y fuentes que no estaban pensadas para ser leídas por una máquina.
Dragon Sully · CC0
03
Cuándo llamarnos
- 01
El informe del lunes lo prepara una persona a mano, y si falta, no sale.
- 02
Los datos llegan tarde, incompletos o con errores que se descubren demasiado tarde.
- 03
Hay que juntar varias fuentes en un único punto de verdad y hoy se hace cruzando hojas de cálculo.
- 04
Necesitáis reaccionar a un evento en minutos y hoy lo veis al día siguiente.
04
Qué te llevas
- 01
Los procesos en tu repositorio, con su orquestación y su configuración.
- 02
Las pruebas de calidad y las alertas, apuntando a quien deba enterarse.
- 03
Un panel de ejecución: qué corrió, cuándo y con qué resultado.
- 04
El manual de qué hacer cuando algo falla, escrito para quien esté de guardia.
Herramientas habituales
- Python
- dbt
- Airflow
- Prefect
- Spark
- Kafka
- Docker
Siguiente paso
¿Te suena «Funciona, pero lo mueve alguien a mano»?
Entonces esta es tu etapa. Cuéntanos cómo se manifiesta en tu caso y te decimos qué haríamos primero.
Respondemos en 24 h laborables