Caso anonimizado
Optimización de plataforma de procesamiento de datos en tiempo real
La plataforma recibía datos de dispositivos continuamente y debía mantener estables el procesamiento y la escritura en la base de datos durante los picos de volumen.
Escenario
Plataforma que recibe datos de forma continua desde dispositivos distribuidos. Cada equipo utiliza una variante del protocolo: la documentación, el firmware y los datos que realmente llegan no siempre coinciden. El negocio depende de la posición, del historial y de la capacidad de procesar cada lote incluso cuando aumenta la frecuencia de origen.
Problema
Existían diferencias entre la documentación, el formato recibido, el tiempo de procesamiento y la capacidad de escritura de la base de datos. Durante los picos, los tiempos de espera y los reenvíos afectaban la persistencia, mientras las consultas competían con la ingestión.
Diagnóstico
El cuello de botella no era un único “bug de GPS”. Era el conjunto: decodificación, validación, cola, transacción, retry y observabilidad. Sin separar ingestión de consulta, la misma base de datos pagaba la cuenta de la ráfaga y de la pantalla. Sin idempotencia, reprocesar parecía simple y generaba duplicidad.
Solución
El objetivo fue diseñar la ingestión de modo que cada fallo pudiera identificarse, diagnosticarse y recuperarse.
- Tratar el paquete como un contrato real, no solo como el PDF del fabricante.
- Desacoplar recepción, procesamiento y persistencia con cola donde la ráfaga lo exigía.
- Definir tiempos de espera y reprocesamiento con identificación de cada mensaje.
- Separar carga de escritura de carga de lectura siempre que la operación lo permitía.
- Poner log y métrica en el camino del paquete — no solo en “el servidor está haciendo ping”.
Resultado
La operación pasó a absorber picos de carga sin convertir los tiempos de espera en pérdidas silenciosas, y el reprocesamiento dejó de depender del reenvío indiscriminado de lotes. No publicamos volúmenes ni porcentajes porque esos datos permitirían inferir el tamaño de la operación. Los resultados públicos son una mayor visibilidad, más resiliencia y un proceso de diagnóstico para dispositivos con comportamientos diferentes.
Tecnologías utilizadas
- APIs y procesamiento asíncrono
- Colas
- Base de datos relacional
- Docker y operación en servidor Linux
- Observabilidad de ingestión y consulta
Servicios relacionados
Este tipo de trabajo cruza desarrollo, APIs e infraestructura.