Apache YARN

1. Apache YARN: دليل شامل للمبتدئين

Apache YARN (Yet Another Resource Negotiator) هو نظام إدارة موارد ومعالجة بيانات مفتوح المصدر، وهو قلب نظام Hadoop 2.0 وما يليه. يُستخدم YARN في بيئات الحوسبة الكبيرة لتخطيط المهام، وتخصيص الموارد، ومراقبة التطبيقات الموزعة. يهدف YARN إلى فصل وظائف إدارة الموارد عن وظائف معالجة البيانات، مما يجعله أكثر مرونة وقابلية للتوسع من الإصدارات السابقة من Hadoop. هذا المقال موجه للمبتدئين ويهدف إلى شرح مفاهيم YARN الأساسية بالتفصيل.

1. مقدمة إلى Apache YARN

قبل YARN، كان Hadoop 1.0 يعتمد على MapReduce كإطار عمل أساسي لكل من معالجة البيانات وإدارة الموارد. هذا النهج كان له قيود، بما في ذلك:

قيود الإطار العمل: كان Hadoop 1.0 مقيداً بإطار عمل MapReduce، مما يجعل من الصعب دعم أطر عمل أخرى لمعالجة البيانات.
عدم الكفاءة في استخدام الموارد: كانت عملية تخصيص الموارد مرتبطة ارتباطًا وثيقًا بإطار عمل MapReduce، مما أدى إلى عدم الكفاءة في استخدام الموارد.
صعوبة التوسع: كان توسيع نطاق Hadoop 1.0 أمرًا صعبًا بسبب الترابط الوثيق بين إدارة الموارد ومعالجة البيانات.

تم تصميم YARN لمعالجة هذه القيود من خلال تقديم بنية أكثر مرونة وقابلية للتوسع. يسمح YARN بتشغيل أطر عمل متعددة لمعالجة البيانات على نفس المجموعة، وتحسين استخدام الموارد، وتبسيط عملية التوسع.

2. المكونات الرئيسية لـ Apache YARN

يتكون YARN من عدة مكونات رئيسية تعمل معًا لتوفير إدارة الموارد ومعالجة البيانات. تشمل هذه المكونات:

ResourceManager (مدير الموارد): هو المكون المركزي لـ YARN، وهو مسؤول عن إدارة الموارد المتاحة في المجموعة. يتلقى ResourceManager طلبات تخصيص الموارد من التطبيقات ويخصص الموارد بناءً على سعة المجموعة وسياسات التخصيص. يعمل كجهة اتصال مركزية للتطبيقات لطلب الموارد.
NodeManager (مدير العقد): يعمل على كل عقدة في المجموعة وهو مسؤول عن إدارة الموارد على تلك العقدة. يتلقى NodeManager تعليمات من ResourceManager لبدء أو إيقاف الحاويات (Containers) وتنفيذ المهام. يقوم بمراقبة استخدام الموارد على العقدة والإبلاغ عن ذلك إلى ResourceManager.
ApplicationMaster (مدير التطبيق): هو مكون خاص بالتطبيق، يتم تشغيله لكل تطبيق يتم تقديمه إلى YARN. يتفاوض ApplicationMaster مع ResourceManager للحصول على الموارد اللازمة لتشغيل التطبيق، ثم يعمل مع NodeManagers لتنفيذ المهام. يقوم بتنسيق تنفيذ التطبيق ومراقبة تقدمه.
Container (الحاوية): هي وحدة تخصيص الموارد في YARN. تمثل مجموعة من الموارد مثل وحدة المعالجة المركزية (CPU)، والذاكرة (Memory)، والقرص (Disk). يتم تخصيص الحاويات للتطبيقات من قبل ResourceManager ويتم إدارتها بواسطة NodeManagers.

2.1. العلاقة بين المكونات

تتفاعل هذه المكونات مع بعضها البعض على النحو التالي:

1. يقدم المستخدم تطبيقاً إلى YARN. 2. يقوم ResourceManager بتشغيل ApplicationMaster للتطبيق. 3. يتفاوض ApplicationMaster مع ResourceManager للحصول على حاويات (Containers). 4. يقوم ResourceManager بتخصيص الحاويات على NodeManagers المختلفة. 5. يقوم ApplicationMaster بتوجيه NodeManagers لتشغيل المهام داخل الحاويات. 6. يقوم NodeManagers بتنفيذ المهام والإبلاغ عن التقدم إلى ApplicationMaster. 7. يقوم ApplicationMaster بمراقبة التقدم وإكمال التطبيق.

مكونات YARN وتفاعلها
المكون	الوظيفة	التفاعل مع
ResourceManager	إدارة الموارد	ApplicationMaster, NodeManager
NodeManager	إدارة الموارد على العقدة	ResourceManager, ApplicationMaster
ApplicationMaster	تنسيق التطبيق	ResourceManager, NodeManager
Container	وحدة تخصيص الموارد	NodeManager

3. عملية تقديم التطبيق (Application Submission)

عندما يقدم المستخدم تطبيقًا إلى YARN، تحدث سلسلة من الأحداث:

1. يقدم المستخدم التطبيق إلى ResourceManager، مع تحديد متطلبات الموارد (CPU، الذاكرة، إلخ). 2. يقوم ResourceManager بإنشاء ApplicationMaster للتطبيق. 3. يتفاوض ApplicationMaster مع ResourceManager للحصول على حاويات (Containers) على NodeManagers المختلفة. 4. يقوم ResourceManager بتخصيص الحاويات بناءً على سعة المجموعة وسياسات التخصيص. 5. يقوم ResourceManager بإخطار NodeManagers ببدء الحاويات. 6. يقوم NodeManagers بإنشاء الحاويات وتخصيص الموارد المطلوبة. 7. يقوم ApplicationMaster بتوزيع المهام على الحاويات. 8. يقوم NodeManagers بتنفيذ المهام والإبلاغ عن التقدم إلى ApplicationMaster. 9. يقوم ApplicationMaster بمراقبة التقدم وإكمال التطبيق.

4. أنواع الجدولة (Scheduling) في YARN

يوفر YARN عدة أنواع من الجدولة لتخصيص الموارد للتطبيقات:

FIFO Scheduler: يقوم بتشغيل التطبيقات بالترتيب الذي تم تقديمه به. أبسط أنواع الجدولة.
Capacity Scheduler: يسمح بتقسيم موارد المجموعة إلى قوائم (Queues)، مع تخصيص سعة محددة لكل قائمة. يسمح بتحديد أولويات التطبيقات.
Fair Scheduler: يهدف إلى ضمان حصول جميع المستخدمين على حصة عادلة من موارد المجموعة. يأخذ في الاعتبار عدد المهام التي قدمها كل مستخدم.

4.1. مقارنة بين أنواع الجدولة

مقارنة بين أنواع الجدولة
الميزة	FIFO Scheduler	Capacity Scheduler	Fair Scheduler
التعقيد	منخفض	متوسط	عال
المرونة	منخفضة	متوسطة	عالية
القدرة على تحديد الأولويات	لا	نعم	نعم
ضمان الحصة العادلة	لا	لا	نعم

5. أطر العمل التي تعمل على YARN

أحد أهم مزايا YARN هو قدرته على دعم أطر عمل متعددة لمعالجة البيانات. تشمل بعض أطر العمل الشائعة التي تعمل على YARN:

MapReduce: الإطار العمل الأصلي لـ Hadoop، ولا يزال يستخدم على نطاق واسع.
Spark: إطار عمل سريع لمعالجة البيانات في الذاكرة.
Flink: إطار عمل لمعالجة البيانات في الوقت الفعلي.
Tez: إطار عمل لتنفيذ خطوط أنابيب البيانات المعقدة.
Storm: إطار عمل لمعالجة البيانات المتدفقة.

6. مراقبة YARN

تعتبر مراقبة YARN أمرًا ضروريًا لضمان الأداء الأمثل للمجموعة. تتوفر العديد من الأدوات لمراقبة YARN، بما في ذلك:

YARN Web UI: واجهة ويب توفر معلومات حول حالة المجموعة والتطبيقات والحاويات.
Ambari: أداة إدارة ومراقبة Hadoop مفتوحة المصدر.
Cloudera Manager: أداة إدارة ومراقبة Hadoop التجارية.
Ganglia: نظام مراقبة مجموعة مفتوح المصدر.

7. YARN والخيارات الثنائية: أوجه التشابه والمفاهيم المتوازية

على الرغم من أن YARN هو نظام لإدارة موارد الحوسبة، إلا أن هناك أوجه تشابه مفاهيمية مع عالم الخيارات الثنائية، خاصة في سياق إدارة المخاطر والتنبؤ بالنتائج.

**تخصيص الموارد (Resource Allocation) vs. حجم الصفقة (Trade Size):** في YARN، يتم تخصيص الموارد (CPU، الذاكرة) للتطبيقات بناءً على احتياجاتها. في الخيارات الثنائية، يحدد حجم الصفقة مقدار رأس المال المعرض للخطر. كلاهما يتعلق بتقييم المخاطر والمكافآت المحتملة.
**الجدولة (Scheduling) vs. استراتيجيات التداول (Trading Strategies):** تحدد أنواع الجدولة في YARN (FIFO، Capacity، Fair) كيفية تخصيص الموارد. وبالمثل، تستخدم استراتيجيات التداول المختلفة في الخيارات الثنائية (مثل 60-Second Strategy, Binary Options Robot, Trend Following) مجموعات مختلفة من القواعد لاتخاذ قرارات التداول.
**مراقبة الأداء (Performance Monitoring) vs. تحليل المخاطر (Risk Analysis):** تتيح مراقبة YARN تحديد الاختناقات وتحسين الأداء. في الخيارات الثنائية، يساعد تحليل المخاطر (باستخدام Risk Management Tools, Volatility Analysis, Market Sentiment Analysis) المتداولين على تقييم احتمالية النجاح وتعديل استراتيجياتهم.
**الحاويات (Containers) vs. الصفقات الفردية (Individual Trades):** يمكن اعتبار كل حاوية في YARN بمثابة "صفقة" منفصلة تتطلب موارد محددة. وبالمثل، كل صفقة في الخيارات الثنائية هي حدث منفصل له نتيجة محتملة (ربح أو خسارة).
**توسيع النطاق (Scalability) vs. تنويع المحفظة (Portfolio Diversification):** يسمح YARN بتوسيع نطاق المجموعة لتلبية الطلب المتزايد. وبالمثل، يساعد تنويع المحفظة في الخيارات الثنائية (عبر Hedging Strategies, Correlation Analysis, Diversification Techniques) على تقليل المخاطر الإجمالية.
**إدارة الموارد (Resource Management) vs. إدارة رأس المال (Capital Management):** YARN يدير موارد الحوسبة بكفاءة. إدارة رأس المال في الخيارات الثنائية (باستخدام Money Management Techniques, Position Sizing, Risk/Reward Ratio Analysis) تهدف إلى حماية رأس المال وزيادته.
**تحسين الأداء (Performance Optimization) vs. تحسين الاستراتيجية (Strategy Optimization):** يتم تحسين أداء YARN من خلال ضبط التكوينات وتحسين الجدولة. وبالمثل، يتم تحسين استراتيجيات الخيارات الثنائية (باستخدام Backtesting, A/B Testing, Technical Indicators) لزيادة الربحية.
**تحليل البيانات (Data Analysis) vs. Candlestick Patterns, Chart Patterns, Fibonacci Retracements:** يستخدم YARN تحليل البيانات لمراقبة الأداء. يستخدم المتداولون في الخيارات الثنائية أدوات تحليل فني مثل أنماط الشموع والرسوم البيانية ومستويات فيبوناتشي لاتخاذ قرارات التداول.
**التنبؤ (Prediction) vs. Moving Averages, MACD, RSI:** يهدف YARN إلى التنبؤ باحتياجات الموارد المستقبلية. يستخدم المتداولون في الخيارات الثنائية مؤشرات فنية مثل المتوسطات المتحركة و MACD و RSI للتنبؤ بحركات الأسعار المستقبلية.
**الاستقرار (Stability) vs. Bollinger Bands, Support and Resistance Levels, Trend Lines:** يهدف YARN إلى الحفاظ على استقرار المجموعة. يستخدم المتداولون في الخيارات الثنائية أدوات مثل نطاقات بولينجر ومستويات الدعم والمقاومة وخطوط الاتجاه لتحديد نقاط الدخول والخروج المحتملة.

8. الخلاصة

Apache YARN هو نظام قوي ومرن لإدارة الموارد ومعالجة البيانات. من خلال فصل وظائف إدارة الموارد عن وظائف معالجة البيانات، يوفر YARN بيئة قابلة للتوسع ومرنة لتشغيل أطر عمل متعددة لمعالجة البيانات. فهم مفاهيم YARN الأساسية أمر ضروري لأي شخص يعمل في مجال Hadoop أو الحوسبة الكبيرة. مع استمرار تطور مجال الحوسبة الكبيرة، سيستمر YARN في لعب دور حيوي في تمكين تحليل البيانات ومعالجتها على نطاق واسع. و كما رأينا، يمكن استخلاص بعض أوجه التشابه المفاهيمية بين YARN وعالم الخيارات الثنائية، مما يوضح أهمية إدارة الموارد والمخاطر وتقييم الأداء في كلتا الحالتين.

ابدأ التداول الآن

سجّل في IQ Option (الحد الأدنى للإيداع 10 دولار) افتح حساباً في Pocket Option (الحد الأدنى للإيداع 5 دولار)

انضم إلى مجتمعنا

اشترك في قناة Telegram الخاصة بنا @strategybin لتصلك: ✓ إشارات تداول يومية ✓ تحليلات استراتيجية حصرية ✓ تنبيهات اتجاهات السوق ✓ مواد تعليمية للمبتدئين