نظام متكامل لهندسة البيانات يحوّل البيانات الخام إلى جداول جاهزة للتحليل ولوحة تحكم تفاعلية بشكل آلي بالكامل.
المشروع مبني على بيانات رحلات التاكسي الرسمية لمدينة نيويورك (NYC TLC). بمجرد إضافة ملف جديد، يبدأ النظام تلقائيًا في اكتشافه والتحقق من اكتماله، ثم تحميل البيانات ومعالجتها وعرض النتائج.

يستخدم المشروع Apache Airflow لتنفيذ 7 مهام متسلسلة، وSnowflake لتخزين البيانات وفق معمارية Medallion (Bronze, Silver, Gold)، وdbt لتنظيف البيانات وتحويلها إلى 9 نماذج، مع اختبارات آلية لجودة البيانات.

أهم المميزات:
• معالجة تزايدية لمنع تكرار البيانات.
• تتبع الصفوف المرفوضة لكل ملف.
• صلاحيات منفصلة ومصادقة بمفاتيح RSA.
• تحسين تكاليف التشغيل ومراقبة الاستهلاك.
• أتمتة باستخدام Docker وuv.
• تقارير آلية ولوحة تحكم تفاعلية باستخدام Streamlit.

التقنيات المستخدمة: Python، SQL، Snowflake، dbt، Apache Airflow، Streamlit، Docker، Git.

أقدم حلولًا لبناء خطوط معالجة البيانات، وتصميم مستودعات البيانات، وتحسين جودتها، وأتمتة العمليات، وتطوير لوحات تحكم تفاعلية تدعم اتخاذ القرار.