1. استخراج البيانات (Data Scraping)
- استخدام Airflow DAG لتشغيل Python Scripts بشكل دوري وإنتاج Micro-batches.
- تحديث Proxy Pool واستخدام Rotating Proxies وUser Agents لتقليل احتمالية اكتشاف عمليات الاستخراج.
- استخراج الأخبار من مصادر RSS المحددة في Configuration File.
- التحقق من جودة البيانات وإرسالها إلى Kafka Topic A.
2. تدفق البيانات (Data Flow)
- Kafka Connect Mongo Sink: تخزين الأخبار في MongoDB باستخدام Upsert.
- Debezium MongoDB Source: مراقبة تغييرات MongoDB وإرسالها إلى Kafka Topic B.
- Kafka Connect Elasticsearch Sink: نقل البيانات وتحديثها في Elasticsearch.
- Kafka Connect S3-MinIO Sink: تخزين نسخة من البيانات في MinIO لضمان الاحتفاظ بها.
- CQRS: فصل عمليات الكتابة عن القراءة وتحسين إدارة البيانات.
3. الوصول إلى البيانات (Data Access)
- توفير API Service للوصول إلى البيانات من خلال Public Endpoints.