منصة متكاملة لمعالجة بيانات التجارة الإلكترونية

منذ 6 أيام

عرض العمل

الوصف

مشروع يحاكي نظامًا لمعالجة بيانات التجارة الإلكترونية وتحويلها إلى بيانات منظمة وجاهزة للتحليل وإعداد التقارير.

التقنيات المستخدمة:
Python، PostgreSQL، DuckDB، Apache Parquet، dbt، Docker، GitHub Actions، Streamlit، Plotly، pytest وNetworkX.

أبرز الخصائص:
- استقبال ومعالجة بيانات CSV وJSON.
- التحقق من بنية البيانات واكتشاف التغييرات غير المتوقعة.
- تنظيف البيانات ودعم إعادة التحميل دون تكرار السجلات.
- اختبار جودة البيانات وصحة التحويلات باستخدام dbt وpytest.
- تتبع التغيرات التاريخية في بيانات العملاء باستخدام dbt Snapshots.
- أتمتة الاختبارات وفحوصات الجودة باستخدام GitHub Actions.
- عرض مؤشرات الأداء وتصوير العلاقات بين نماذج البيانات.

الهدف من المشروع:
تطبيق مفاهيم هندسة البيانات لبناء مسار متكامل يجمع بين معالجة البيانات وتخزينها وتحويلها واختبار جودتها ومراقبة تنفيذها، مع التركيز على الموثوقية وقابلية الصيانة.


التفاصيل

المشاهدات 0
المفضلة 0
القسم برمجة, تطوير المواقع و التطبيقات - اخري

حساب المستخدم

يٌدار بواسطة أنجز تك الرقمية

All rights reserved © kaf 2026