منصة متكاملة لمعالجة بيانات التجارة الإلكترونية
منذ 6 أيام
عرض العمل
الوصف
مشروع يحاكي نظامًا لمعالجة بيانات التجارة الإلكترونية وتحويلها إلى بيانات منظمة وجاهزة للتحليل وإعداد التقارير.
التقنيات المستخدمة:
Python، PostgreSQL، DuckDB، Apache Parquet، dbt، Docker، GitHub Actions، Streamlit، Plotly، pytest وNetworkX.
أبرز الخصائص:
- استقبال ومعالجة بيانات CSV وJSON.
- التحقق من بنية البيانات واكتشاف التغييرات غير المتوقعة.
- تنظيف البيانات ودعم إعادة التحميل دون تكرار السجلات.
- اختبار جودة البيانات وصحة التحويلات باستخدام dbt وpytest.
- تتبع التغيرات التاريخية في بيانات العملاء باستخدام dbt Snapshots.
- أتمتة الاختبارات وفحوصات الجودة باستخدام GitHub Actions.
- عرض مؤشرات الأداء وتصوير العلاقات بين نماذج البيانات.
الهدف من المشروع:
تطبيق مفاهيم هندسة البيانات لبناء مسار متكامل يجمع بين معالجة البيانات وتخزينها وتحويلها واختبار جودتها ومراقبة تنفيذها، مع التركيز على الموثوقية وقابلية الصيانة.
التفاصيل
| المشاهدات | 0 |
| المفضلة | 0 |
| القسم | برمجة, تطوير المواقع و التطبيقات - اخري |
حساب المستخدم
العربية
English