تحويل بيانات الرحلات الجوية الخام إلى بيانات يمكن تحليلها والاستفادة منها لحظيًا كان محور مشروع SkyStream. عملت ضمن فريق على بناء Pipeline متكامل لمعالجة بيانات الرحلات، تنظيفها، وتجهيزها للتحليل وMachine Learning باستخدام Kafka وSpark Structured Streaming.

كان دوري الأساسي في Feature Engineering وETL؛ حيث حولت البيانات الخام إلى Features منظمة مثل route وdeparture_hour وdistance_type وdelay_level وis_delayed، مع تجهيز البيانات لتكون قابلة للتحليل واستخراج Data Analytics وInsights حول تأخيرات الرحلات. كما ساهمت في تدفق البيانات من المعالجة إلى التخزين والتحليل، وصولًا إلى استخدامها في نموذج التنبؤ بالتأخيرات.

المشروع يعكس قدرتي على التعامل مع البيانات من مرحلة المعالجة والتنظيف وحتى Analytics وMachine Learning ضمن Data Pipeline متكامل.

الأدوات والتقنيات

Kafka · Spark Structured Streaming · PySpark · HDFS · Spark SQL · PostgreSQL · Airflow · LightGBM · Streamlit · Docker