بناء End-to-End Data Pipeline بهدف دمج ومعالجة البيانات القادمة من مصادر متعددة تشمل CSV, Excel, وREST APIs.

تم تصميم الـPipeline باستخدام Medallion Architecture، حيث يتم تخزين البيانات الخام في Bronze Layer، ثم تنظيفها وتحويلها وتطبيق Business Rules عليها في Silver Layer، وأخيرًا تجهيز البيانات للتحليل في Gold Layer باستخدام Star Schema وDimensional Data Modeling.

يركز المشروع على بناء Trusted Data Product منظم وقابل للاستخدام في التحليل وإعداد التقارير، مع تطبيق ممارسات Data Cleaning, Data Validation, ETL, وData Modeling.

الأدوات والتقنيات:

Python, Pandas, SQL, SQLAlchemy, REST APIs, ETL, Data Modeling, Medallion Architecture, Star Schema.