YARN

YARN: مدير موارد الموارد في Hadoop

YARN (Yet Another Resource Negotiator) هو نظام إدارة موارد في إطار عمل Hadoop، وهو نظام أساسي مفتوح المصدر لمعالجة مجموعات البيانات الكبيرة. تم تقديم YARN في Hadoop 2.0 كحل لفصل مهام إدارة الموارد عن مهام معالجة البيانات، مما جعل Hadoop أكثر مرونة وقابلية للتوسع. قبل YARN، كان إطار عمل MapReduce هو المسؤول عن كل من معالجة البيانات وإدارة الموارد، مما أدى إلى قيود في الأداء وقابلية التوسع.

لماذا YARN؟

قبل YARN، كان إطار عمل MapReduce يمثل عنق الزجاجة في نظام Hadoop. كان MapReduce مسؤولاً عن كل شيء، بدءًا من جدولة المهام وحتى تخصيص الموارد. هذا أدى إلى:

قيود في قابلية التوسع: كان من الصعب إضافة المزيد من الموارد إلى نظام Hadoop دون التأثير على أداء MapReduce.
عدم المرونة: كان من الصعب تشغيل تطبيقات أخرى غير MapReduce على نظام Hadoop.
استخدام غير فعال للموارد: لم يتمكن MapReduce من الاستفادة الكاملة من موارد نظام Hadoop.

YARN حل هذه المشكلات من خلال فصل إدارة الموارد عن معالجة البيانات.

مكونات YARN

يتكون YARN من عدة مكونات رئيسية تعمل معًا لتوفير إدارة موارد فعالة:

Resource Manager (RM): هو المكون المركزي في YARN، وهو المسؤول عن تخصيص الموارد للتطبيقات المختلفة. يتلقى RM طلبات الموارد من التطبيقات ويخصص الموارد المتاحة بناءً على سياسات التخصيص المحددة.
Node Manager (NM): يعمل على كل عقدة في مجموعة Hadoop، وهو المسؤول عن إدارة الموارد المحلية على تلك العقدة. يتلقى NM تعليمات من RM ويخصص الموارد للتطبيقات التي تعمل على تلك العقدة.
Application Master (AM): هو المسؤول عن إدارة دورة حياة التطبيق، بما في ذلك التفاوض على الموارد مع RM، وجدولة المهام، ومراقبة التقدم. لكل تطبيق AM خاص به.
Containers: هي وحدات تخصيص الموارد في YARN. يحدد كل container كمية الذاكرة ووحدة المعالجة المركزية والموارد الأخرى التي يمكن للتطبيق استخدامها.

مكونات YARN ووظائفها
المكون	الوظيفة
Resource Manager (RM)	تخصيص الموارد للتطبيقات
Node Manager (NM)	إدارة الموارد المحلية على كل عقدة
Application Master (AM)	إدارة دورة حياة التطبيق
Containers	وحدات تخصيص الموارد

كيف يعمل YARN؟

1. يقوم المستخدم بتقديم تطبيق إلى YARN. 2. يتفاوض Application Master (AM) للتطبيق على الموارد مع Resource Manager (RM). 3. يقوم RM بتخصيص الموارد للتطبيق على شكل containers على Node Managers (NMs) المختلفة. 4. يقوم AM بتشغيل المهام داخل الـ containers. 5. يراقب RM تقدم التطبيق ويتخذ قرارات بشأن تخصيص الموارد بناءً على ذلك.

فوائد استخدام YARN

قابلية التوسع: يمكن لـ YARN التعامل مع مجموعات بيانات كبيرة جدًا.
المرونة: يمكن لـ YARN تشغيل مجموعة متنوعة من التطبيقات، وليس فقط MapReduce.
كفاءة الموارد: يستخدم YARN الموارد المتاحة بشكل أكثر كفاءة من MapReduce.
دعم متعدد اللغات: YARN يدعم العديد من لغات البرمجة مثل Java وPython وScala.

YARN و MapReduce

على الرغم من أن YARN يفصل إدارة الموارد عن معالجة البيانات، إلا أنه لا يزال متوافقًا مع MapReduce. في الواقع، يستخدم MapReduce 2.0 YARN كإطار عمل لإدارة الموارد. يمكن تشغيل تطبيقات MapReduce على YARN بنفس الطريقة التي يتم بها تشغيلها على Hadoop 1.0، ولكن مع فوائد إضافية من حيث قابلية التوسع والمرونة.

بدائل YARN

هناك العديد من بدائل YARN لإدارة الموارد في Hadoop، بما في ذلك:

Mesos
Kubernetes
Spark (يستخدم مديره الخاص للموارد)

استخدامات YARN

معالجة البيانات الضخمة: YARN هو نظام أساسي مثالي لمعالجة كميات كبيرة من البيانات.
تحليلات البيانات: يمكن استخدام YARN لتشغيل تطبيقات تحليل البيانات المختلفة.
التعلم الآلي: يمكن استخدام YARN لتدريب نماذج التعلم الآلي على مجموعات بيانات كبيرة.
تحليل السلاسل الزمنية: YARN يساعد في معالجة وتحليل بيانات السلاسل الزمنية بشكل فعال.

استراتيجيات تداول ذات صلة (تنبيه: هذه أمثلة و ليست مرتبطة بشكل مباشر بـ YARN، ولكنها مرتبطة بتحليل البيانات الضخمة التي يمكن لـ YARN دعمها)

التحليل الفني و حجم التداول (تنبيه: هذه أمثلة و ليست مرتبطة بشكل مباشر بـ YARN، ولكنها مرتبطة بتحليل البيانات الضخمة التي يمكن لـ YARN دعمها)

موارد إضافية

ابدأ التداول الآن

سجل في IQ Option (الحد الأدنى للإيداع $10) افتح حساباً في Pocket Option (الحد الأدنى للإيداع $5)

انضم إلى مجتمعنا

اشترك في قناة Telegram الخاصة بنا @strategybin للحصول على: ✓ إشارات تداول يومية ✓ تحليلات استراتيجية حصرية ✓ تنبيهات باتجاهات السوق ✓ مواد تعليمية للمبتدئين