Beschrijving
De voornaamste vraag was om inzicht te krijgen in de prestatie van 35.000 sensors in het elektriciteit net. Deze sensoren genereren elke dag miljoenen rijen aan event en tijdreeks data.
De uitdaging lag in het:
- Ophalen, Transformeren en Laden (ETL) van de sensor data in een robuuste en schaalbare data flow.
- Inplannen van de ETL processen vanuit een gecentraliseerde server.
- Communiceren van de juiste beschrijvende statistieken naar de stakeholders om data gedreven beslissingen te faciliteren.
De eind resultaten worden continue gemonitord in een live dashboard dat automatisch en dagelijks vernieuwd wordt.
Verantwoordelijkheden
Team lead en stakeholder management.
Tools
Python, PySpark SQL, AWS EMR, Apache Airflow, Docker, Gitlab CI/CD, PowerBI.
