La transformación no es algo nuevo para Sky New Zealand. Durante más de 30 años, la compañía ha invertido en nuevas tecnologías para ofrecer más opciones y una mejor experiencia de entretenimiento a sus clientes.
Sky comenzó como proveedor de televisión de paga vía satélite y posteriormente incorporó servicios de streaming de entretenimiento y deportes y, más recientemente, servicios de internet de banda ancha.
Internamente, Sky también se encuentra en un proceso de transformación digital. La compañía está modernizando su enfoque de tecnologías de la información, consolidando herramientas en toda la organización y migrando funciones como el análisis de datos a la nube.
Para su nuevo data warehouse, la compañía seleccionó Snowflake, pero se enfrentó a un desafío importante: ¿cómo preparar los datos para su análisis y llevarlos hacia Snowflake en la nube?
“Necesitábamos una herramienta que no solo extrajera los datos de nuestros sistemas IBM i y los enviara a Snowflake, sino que, de ser posible, lo hiciera prácticamente en tiempo real y sin que nosotros tuviéramos que desarrollar nada.”
— Quintin McKenzie, Head of Corporate Core, Sky New Zealand
Al igual que muchas organizaciones, la capacidad de Sky para obtener insights de negocio a partir de sus datos estaba limitada por la existencia de silos de información.
Sistemas empresariales como facturación, gestión de suscriptores, administración financiera y catálogo de cuentas operaban sobre la plataforma IBM i y Db2, cada uno con su propia estructura de archivos. Los datos de consumo provenientes de decodificadores y de la plataforma de streaming también se encontraban aislados en diferentes silos.
A lo largo de los años, Sky había desarrollado herramientas personalizadas de extracción, transformación y carga (ETL) para conectar esta información. Sin embargo, estas herramientas eran poco flexibles, propensas a errores ante problemas de red y requerían normalmente entre 4 y 10 horas para ejecutarse. Además, cuando alguien necesitaba analizar diferentes conjuntos de datos, el equipo de TI tenía que reconstruir la herramienta ETL, convirtiendo el proceso en algo lento y complejo. Con la migración hacia Snowflake y la nube, la compañía necesitaba una forma completamente nueva de mover sus datos.
Ante la necesidad de modernizar la forma en que la información fluía desde sus sistemas centrales hacia la nube, Sky evaluó distintas alternativas tecnológicas con el objetivo de encontrar una solución que pudiera integrarse con su infraestructura existente, reducir la dependencia de desarrollos personalizados y, al mismo tiempo, acelerar la disponibilidad de los datos para su análisis.
Después de analizar diferentes opciones y apoyarse en la experiencia de su socio tecnológico, la compañía eligió Precisely Connect con Change Data Capture (CDC) como la tecnología para conectar sus sistemas heredados con su nuevo entorno de datos en Snowflake, utilizando también Amazon S3 como parte de su arquitectura.
Uno de los principales objetivos era eliminar la necesidad de construir y mantener procesos ETL complejos cada vez que se requería incorporar nueva información. Con la nueva solución, gran parte del proceso podía realizarse mediante configuración en lugar de programación, facilitando la incorporación de nuevas tablas y fuentes de datos sin requerir largos ciclos de desarrollo por parte del equipo de TI. Otro punto clave fue la velocidad. Gracias a las capacidades de Change Data Capture, los cambios generados en las tablas de Db2 podían identificarse y replicarse hacia Snowflake conforme se producían. De esta manera, Sky pasó de depender de procesos que podían tardar entre 4 y 10 horas a contar con un flujo de información prácticamente en tiempo real.
La implementación también fue considerablemente rápida. La instalación y configuración de la prueba de concepto se completó en aproximadamente dos semanas y, después de solo un mes, la solución ya se encontraba funcionando en producción. En esta etapa, Sky logró extraer información de alrededor de 1,000 tablas, replicando las transacciones registradas en Db2 directamente hacia su nuevo entorno de datos en Snowflake. Además de mejorar la velocidad, la solución permitió fortalecer la continuidad de los procesos de integración. Ante interrupciones o problemas de conectividad, la replicación podía retomarse automáticamente desde el punto en el que se había detenido una vez restablecido el acceso, evitando tener que reiniciar todo el proceso y, especialmente, sin perder información durante la transferencia.
Esto permitió a Sky establecer una arquitectura de integración mucho más flexible, confiable y preparada para crecer conforme aumentaran sus necesidades de información.
Los beneficios comenzaron a hacerse visibles prácticamente desde la implementación.
Uno de los principales cambios fue la reducción significativa del tiempo necesario para poner la información a disposición del negocio. En lugar de esperar largas ventanas de procesamiento, los equipos podían acceder a datos con apenas unas horas de antigüedad. Ese periodo correspondía principalmente al tiempo necesario para consolidar y preparar la información dentro de Snowflake, ejecutar los reportes correspondientes y posteriormente alimentar los dashboards y herramientas de visualización utilizadas por las diferentes áreas.
Para el equipo comercial, esto significó contar con una visión mucho más actualizada del negocio y disponer de información relevante en menor tiempo para apoyar sus análisis y toma de decisiones. El impacto también fue importante para el área de TI. Anteriormente, incorporar nuevos conjuntos de datos podía requerir modificar o incluso reconstruir herramientas ETL específicas, generando horas de desarrollo, mantenimiento y resolución de errores.
Con una arquitectura basada principalmente en configuración, estos procesos se volvieron más rápidos, flexibles y sencillos de administrar. Esto permitió reducir el tiempo dedicado a tareas operativas y liberar capacidad del equipo de tecnología para concentrarse en iniciativas de mayor valor para la organización. Otro beneficio importante fue la escalabilidad. Si Sky necesita incorporar nuevas tablas a sus procesos de análisis, puede agregarlas con mayor facilidad a los flujos de extracción y replicación, evitando desarrollar nuevamente toda la integración desde cero.
Finalmente, esta arquitectura permitió que Sky continuara avanzando en su estrategia de transformación digital y modernización de datos sin tener que reemplazar sus sistemas centrales. La compañía pudo conservar la estabilidad de su plataforma IBM i, mientras aprovechaba las capacidades de Snowflake, la nube y las herramientas de analítica avanzada.
En conjunto, la transformación permitió pasar de una arquitectura caracterizada por silos de información, procesos ETL lentos y desarrollos personalizados, a un modelo donde los datos pueden moverse de manera continua, confiable y prácticamente en tiempo real. El resultado es una infraestructura de datos más ágil y escalable, que facilita el acceso a información actualizada, reduce la carga operativa sobre TI y proporciona una mejor base tecnológica para que las diferentes áreas del negocio puedan analizar información y tomar decisiones con mayor rapidez.
