青云QingCloud Storm 服务上线，集群部署从未如此简单

Storm 是一个开源的分布式实时计算系统，通常被比作“实时的 Hadoop ”，为实时计算提供了一些简单优美的原语，支持多种编程语言，并内建流式窗口 API 及分布式缓存 API，极大简化了流式数据处理过程。Storm 不仅高可靠、易扩展，而且处理速度极快，每个计算节点每秒能处理上百万条元组信息（Tuple），因此常被用于实时分析、在线机器学习、流计算、分布式 RPC、ETL 等。

目前，青云QingCloud Storm 服务作为大数据基础平台的重要组件现已正式上线。用户能够在 2-3 分钟内创建一个 Storm 集群。除此之外，青云QingCloud 提供的 Storm 集群服务还包括在线伸缩、监控和告警等功能，帮助您更好地管理集群。

系统部署架构

Storm 集群架构

Storm 将实时计算逻辑包装成计算拓扑（Topology）。它类似 Hadoop 中的 Job，是一组由 Spouts 和 Bolts 通过 Stream Grouping 连接而成的图形结构，被部署到 Storm 集群中持续运行，Storm 集群采用的是 Master/Slave 架构。

如上图所示，青云的 Storm 集群包括如下五种节点类型：

• 主节点：运行了 Nimbus、DRPC、UI 和 Logviewer 服务，负责接收客户端提交的计算拓扑，并协调分派计算任务。

• 从节点：运行了 Supervisor 和 Logviewer 服务。其中，Supervisor 服务主要用于接收计算任务并按需启动或停止工作进程（Worker），而 Logviewer 服务方便用户查看运行日志。

• RPC 节点：运行了 DRPC 和 Logviewer 服务，用于接收 RPC 请求，并将计算拓扑的处理结果返回给客户端。

• 客户端节点：安装了 Python、JRE/JDK 和 Storm 软件，用于提交计算拓扑。

• Zookeeper 集群：用于协调 Storm 集群。

创建 Storm 集群从未如此简单

２到３分钟创建一个 Storm 集群

通常包括 Storm 在内的大数据平台的运维是非常繁琐的，在青云上，您可以在 2 到 3 分钟创建一个 Storm 集群。

集群支持横向与纵向在线伸缩，还提供了监控告警等功能，使得管理集群异常方便；集群将运行于 100% 二层隔离的私有网络内，结合青云提供的高性能硬盘，在保障高性能的同时兼顾您的数据安全。

第一步：选择基本配置

在创建的对话框中，您需要选择 Storm 版本号、类型、名称、关联的配置组，然后点击下一步。

第二步：配置主节点

输入主节点的数量，并选择主节点配置、容量，以定义 Master 集群的规模和性能 。

PS：主节点上运行了 Nimbus、DRPC、UI 等服务，建议在生产环境中使用至少 2 个主节点，以实现主节点集群的 HA。主机配置１核 2G 仅供测试使用，生产环境建议至少使用 2 核 4G。节点数量和主机配置，在创建之后可以在线伸缩。

第三步：配置从节点

输入从节点的数量，并选择从节点配置、容量，以定义 Slave 集群的规模和性能。

PS：主节点上运行了 Supervisor 服务并运行 Worker 进程，请在生产环境使用至少 2 个主节点，以实现从节点集群的 HA。从节点作为工作节点，通常需要更高的配置。

第四步：配置 RPC 节点

输入 RPC 节点的数量，并选择 RPC 节点配置、容量，以定义 RPC 集群的规模和性能。

PS：主节点已经启用了 DRPC 服务，因此低负载时 DRPC 节点不是必须的；如果您需要高负载 RPC 服务，可以添加额外的 RPC 节点。

第五步：配置 Zookeeper 和网络

选择 Storm 集群所依赖的 Zookeeper 服务，集群将创建于 ZooKeeper 所在的私有网络中，创建后可以切换到其他私有网络，但需要保证新的私有网络内仍能连接到 Zookeeper。您可以让 DHCP 服务自动分配 Storm 集群各节点的私有网络 IP，也可以手动指定。

第六步： 创建完成

当 Storm 创建完成之后，您可以查看每个节点的运行状态。如图所示，当节点显示为“活跃”状态，表示该节点启动正常。当每个节点都启动正常后 Storm 集群显示为“活跃”状态，表示您已经可以正常使用 Storm 服务了。

PS：为了保障数据安全, Storm 集群需要运行在受管私有网络中。所以在创建一个 Storm 集群之前，至少需要一个路由器（或 VPC 网络）和一个受管私有网络，受管私有网络需要和路由器（或 VPC 网络）连接，并开启 DHCP 服务（默认开启）。