بناء خط أنابيب ETL كامل (Extract, Transform, Load) - Python

الوصف

أبني لك خط أنابيب احترافي لنقل وتحويل بياناتك لهدف موثوق.
إيه اللي بعمله؟
Extract (استخراج) — جلب البيانات من مصدر واحد فقط (مثل ملف CSV أو Excel أو نقطة API واحدة) بحجم بيانات لا يتجاوز 100 ألف صف.
Transform (تحويل) — تنظيف، فلترة، توحيد الصيغ، إزالة التكرارات والقيم الشاذة
Load (تحميل) — تخزين البيانات في قاعدة بيانات منظمة (SQLite / MySQL / PostgreSQL)
Data Quality Checks — فحص جودة البيانات بعد كل خطوة
Logging — تسجيل واضح لكل خطوة تمت، وأي أخطاء حصلت أثناء المعالجة
فصل السجلات غير الصالحة — بدل حذفها، بتتحفظ في ملف منفصل مع سبب الرفض
التقنيات: Python, Pandas, SQL, SQLite/MySQL
اللي هتستلمه:
سكريبت Python كامل (DAG بسيط) مع شرح سطر بسطر
SQL Schema للجداول الهدف
ملف Log واضح لكل خطوة
Documentation مفصلة للتشغيل والصيانة
حجم البيانات: معالجة حتى 100,000 صف كحد أقصى.
المصادر: دمج بيانات من مصدر واحد فقط.
المخرجات: التحميل إلى قاعدة البيانات في 3 جداول كحد أقصى.
التحويل: ما يصل إلى 5 عمليات تنظيف وتحويل أساسية.
ملاحظة: لطلبات الـ Web Scraping أو دمج مصادر متعددة أو أحجام بيانات ضخمة، يرجى مراسلتي للاتفاق على تسعير مخصص