مشروع عملي: بناء سكريبت ETL مصغر لتنظيف واستخراج بيانات منصة YouTube
قمت بتصميم وتنفيذ نظام معالجة بيانات مصغر يحاكي سحب وتنظيف البيانات البرمجية وهندستها بكفاءة عالية، وذلك لمعالجة الأخطاء الشائعة في قواعد البيانات الكبيرة وتلبية متطلبات التحليل الذكي.
🎯 تفاصيل التنفيذ التقني:
1. مرحلة التجميع (Extract): إعداد هيكل البيانات الأساسي وقراءته برمجياً.
2. مرحلة المعالجة والتنظيف (Transform): استخدام لغة Python ومكتبة Pandas لحذف الصفوف المكررة تلقائياً، وإصلاح القيم الفارغة والمفقودة لضمان سلامة البيانات وجاهزيتها.
3. مرحلة الاستعلام (Load): بناء قاعدة بيانات مدمجة وتطبيق استعلامات SQL متقدمة (مثل استخدام شرط WHERE) لعزل واستخراج البيانات المطلوبة فقط وعرضها في جداول نقية ومنظمة.
📸 المرفقات:
مرفق لقطة شاشة توضح الكود البرمجي أثناء التشغيل والمخرجات المنظمة بعد التصفية بنجاح.