YARN 架构

1. YARN 架构

YARN (Yet Another Resource Negotiator) 是 Apache Hadoop 2.0 引入的一个资源管理系统。它将 Hadoop 1.0 中 MapReduce 兼具资源管理和作业调度功能的角色拆分，使得 Hadoop 可以支持更多样化的计算框架，而不仅仅是 MapReduce。本文将深入探讨 YARN 架构，帮助初学者理解其核心概念和运作机制。

YARN 的诞生背景

在 Hadoop 1.0 中，MapReduce 框架负责整个集群的资源管理和作业调度。这意味着 MapReduce 承担了双重角色，限制了 Hadoop 集群扩展性和灵活性。随着数据规模的增长和计算需求的多元化，这种架构逐渐暴露出其局限性。

• 资源利用率低：MapReduce 框架通常会预留大量资源，即使这些资源在某些时候并没有被充分利用。
• 扩展性差：MapReduce 框架的扩展性受到限制，难以支持更多样化的计算框架。
• 灵活性不足：Hadoop 只能运行 MapReduce 作业，难以支持其他计算模型，如 流处理、交互式查询 等。

为了解决这些问题，Apache Hadoop 2.0 引入了 YARN，将资源管理和作业调度功能分离，从而提高了集群的资源利用率、扩展性和灵活性。

YARN 架构概述

YARN 架构的核心在于将集群资源管理与作业调度分离。它主要由以下几个组件组成：

• ResourceManager (RM)：集群资源管理器的中心，负责整个集群的资源管理和分配。
• NodeManager (NM)：运行在每个节点上的组件，负责管理单个节点上的资源，并执行应用程序的容器。
• ApplicationMaster (AM)：每个应用程序的管理者，负责与 ResourceManager 协商资源，并与 NodeManager 合作执行应用程序的任务。
• Container：YARN 中资源的抽象，包含一定量的 CPU、内存、磁盘和网络带宽。

YARN 组件关系

组件	职责	与其他组件交互
ResourceManager (RM)	集群资源管理和分配	与 NodeManager, ApplicationMaster 交互
NodeManager (NM)	节点资源管理和任务执行	与 ResourceManager, ApplicationMaster 交互
ApplicationMaster (AM)	应用程序管理和任务调度	与 ResourceManager, NodeManager 交互
Container	资源抽象	由 NodeManager 管理，ApplicationMaster 使用

YARN 的核心组件详解

ResourceManager (RM)

ResourceManager 是 YARN 集群的“大脑”，负责全局的资源管理和调度。它主要包含以下两个组件：

• **Scheduler:** 负责将集群资源分配给不同的应用程序，并根据一定的调度策略（如 FIFO Scheduler、Capacity Scheduler、Fair Scheduler）进行调度。
• **ApplicationsManager:** 负责接收应用程序的提交请求，协商资源，启动 ApplicationMaster，并监控应用程序的运行状态。

ResourceManager 接收来自 ApplicationMaster 的资源请求，并根据调度策略分配资源。它还负责监控 NodeManager 的健康状态，并在 NodeManager 发生故障时进行相应的处理。

NodeManager (NM)

NodeManager 运行在每个数据节点上，负责管理单个节点上的资源，并执行应用程序的容器。它主要包含以下几个组件：

• **Resource Manager Plugin:** 与 ResourceManager 交互，接收资源分配指令。
• **Container Manager:** 负责启动、监控和管理容器。
• **Node Status Reporter:** 定期向 ResourceManager 报告节点的状态信息。

NodeManager 负责启动和管理容器，并监控容器的运行状态。它还负责收集节点的资源使用信息，并向 ResourceManager 报告。

ApplicationMaster (AM)

ApplicationMaster 是每个应用程序的管理者，负责与 ResourceManager 协商资源，并与 NodeManager 合作执行应用程序的任务。它主要包含以下几个功能：

• 与 ResourceManager 协商资源，申请 Container。
• 将应用程序的任务分配给 Container。
• 监控任务的运行状态，并处理任务的失败。
• 向 ResourceManager 报告应用程序的运行状态。

ApplicationMaster 负责将应用程序分解成一系列的任务，并将这些任务分配给不同的 Container 执行。它还负责监控任务的运行状态，并在任务失败时进行重试。

Container

Container 是 YARN 中资源的抽象，包含一定量的 CPU、内存、磁盘和网络带宽。它代表了 YARN 能够分配给应用程序的最小资源单位。

ApplicationMaster 向 ResourceManager 申请 Container，并指定 Container 的资源需求。ResourceManager 将 Container 分配给 NodeManager，NodeManager 负责启动和管理 Container。

YARN 的工作流程

1. **应用程序提交:** 用户将应用程序提交给 ResourceManager。 2. **资源协商:** ResourceManager 接收应用程序的提交请求，并为应用程序分配一个 ApplicationMaster。 3. **ApplicationMaster 启动:** ResourceManager 启动 ApplicationMaster，并将其分配到集群中的一个 NodeManager 上。 4. **资源申请:** ApplicationMaster 向 ResourceManager 申请 Container 资源。 5. **资源分配:** ResourceManager 根据调度策略，将 Container 资源分配给 ApplicationMaster。 6. **任务分配:** ApplicationMaster 将应用程序的任务分配给 Container 执行。 7. **任务执行:** NodeManager 启动和管理 Container，执行应用程序的任务。 8. **状态监控:** ApplicationMaster 监控任务的运行状态，并向 ResourceManager 报告应用程序的运行状态。 9. **应用程序完成:** 应用程序完成执行后，ApplicationMaster 向 ResourceManager 报告，ResourceManager 释放应用程序的资源。

YARN 的调度策略

YARN 提供了多种调度策略，以满足不同场景的需求。常用的调度策略包括：

• **FIFO Scheduler:** 按照作业提交的顺序进行调度，简单易用，但可能导致资源浪费。
• **Capacity Scheduler:** 预先为不同的队列分配一定的资源容量，允许队列之间共享资源，可以更好地控制资源的分配。
• **Fair Scheduler:** 根据用户的优先级和资源使用情况进行调度，确保每个用户都能公平地获得资源。

选择合适的调度策略对于提高集群的资源利用率和性能至关重要。

YARN 与 MapReduce 的关系

在 Hadoop 2.0 之后，MapReduce 框架不再承担资源管理和作业调度的角色，而是作为 YARN 的一个应用程序运行。MapReduce ApplicationMaster 负责与 ResourceManager 协商资源，并与 NodeManager 合作执行 MapReduce 任务。

这意味着 YARN 可以支持更多样化的计算框架，而不仅仅是 MapReduce。例如，Spark、Flink、Storm 等大数据处理框架都可以运行在 YARN 上。

深入理解 YARN 的高级概念

• **YARN 的高可用性:** 通过使用 ZooKeeper 实现 ResourceManager 的高可用性，确保集群的稳定运行。
• **YARN 的多租户支持:** 通过使用 Capacity Scheduler 和 Fair Scheduler 实现多租户支持，允许不同的用户或团队共享集群资源。
• **YARN 的安全机制:** 通过使用 Kerberos 实现 YARN 的安全机制，保护集群的安全性。
• **YARN 的监控和管理:** 通过使用 Ambari、Cloudera Manager 等工具对 YARN 集群进行监控和管理。

YARN 在二元期权交易中的应用 (类比)

虽然 YARN 本身不直接应用于二元期权交易，但我们可以将其架构类比于二元期权交易的风险管理和资源分配：

• **ResourceManager:** 类似于交易平台的风险管理部门，负责整体风险控制和资源（资金）的分配。
• **NodeManager:** 类似于交易员，负责执行具体的交易策略，并管理自己的交易资金。
• **ApplicationMaster:** 类似于交易策略，负责制定交易计划并向风险管理部门申请资金（资源）。
• **Container:** 类似于单笔交易，包含一定的风险敞口和潜在收益。

高效的资源分配（资金管理）和风险控制是成功二元期权交易的关键，正如 YARN 在大数据处理中的作用一样。 了解 技术分析、基本面分析 和 风险回报比 对于有效利用资源至关重要。 此外，关注 成交量分析 和 移动平均线 可以帮助更好地评估交易机会。 布林带、相对强弱指标、MACD 等工具也都是常用的分析方法。 了解 期权定价模型 和 Delta 中性策略 有助于更深入地理解二元期权交易。 此外，止损单 和 限价单 是常用的风险管理工具。 学习 资金管理规则 和 情绪控制技巧 也是至关重要的。 关注 市场新闻 和 经济指标 可以帮助做出更明智的交易决策。 理解 二元期权平台选择 和 监管合规性 也是必要的。

总结

YARN 架构是 Hadoop 2.0 的核心，它将资源管理和作业调度功能分离，提高了集群的资源利用率、扩展性和灵活性。理解 YARN 的核心概念和运作机制对于掌握 Hadoop 技术至关重要。通过选择合适的调度策略和利用高级功能，可以构建一个高效、稳定、安全的大数据处理平台。

立即开始交易

注册 IQ Option （最低存款 $10） 开设 Pocket Option 账户 （最低存款 $5）

加入我们的社区

订阅我们的 Telegram 频道 @strategybin 获取： ✓ 每日交易信号 ✓ 独家策略分析 ✓ 市场趋势警报 ✓ 新手教育资源