百度360必应搜狗淘宝本站头条
外键约束 oraclephp简单源码宏程序代码一览表唯一索引 oraclelinux有没有pe工具
当前位置：网站首页 > 技术资源 > 正文

安装CDH6.3

moboyou 2025-03-29 15:24 74 浏览

文档编写目的

Cloudera在2019年7月31日，对外宣布正式发布Cloudera Enterprise 6.3，相关介绍可以参考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0发布》，《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致，主要包括以下四部分：

1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等；

2.外部数据库如MySQL安装

3.安装Cloudera Manager；

4.安装CDH集群；

请务必注意CDH6的安装前置条件包括如下：

  • 外部数据库支持：

MySQL 5.7或更高

MariaDB 5.5或更高

PostgreSQL 8.4或更高

Oracle 12c或更高

  • JDK

Oracle JDK1.8，将不再支持JDK1.7

  • 操作系统支持

RHEL 6.8或更高

RHEL 7.2或更高

SLES 12 SP2或更高

Ubuntu 16或更高

  • 本次Fayson的测试环境为

1.CM和CDH版本为6.3

2.Redhat7.4

3.JDK1.8.0_181

4.MariaDB-5.5.56

5.root用户安装

前置准备

2.1 hostname及hosts配置

集群中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过/etc/hosts配置，主机名通过/etc/hostname进行配置。

以cm节点（172.31.13.38）为例：

  • hostname配置

/etc/hostname文件如下：

或者你可以通过命令修改立即生效

  • hosts配置

/etc/hosts文件如下:

以上两步操作，在集群中其它节点做相应配置。确认需要安装的4台主机的hosts文件：

2.2 禁用SELinux

在所有节点执行setenforce 0 命令，此处使用批处理shell执行：

集群所有节点修改/etc/selinux/config文件如下：

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected. 
# mls - Multi Level Security protection.
SELINUXTYPE=targeted

2.3 关闭防火墙

集群所有节点执行 systemctl stop命令，此处通过shell批量执行命令如下：

2.4 集群时钟同步

在Redhat7.x的操作系统上，已经默认的安装了chrony，我们这里先卸载chrony，然后安装ntp。使用ntp来配置各台机器的时钟同步，将cm（172.31.13.38）服务作为本地ntp服务器，其它3台服务器与其保持同步。

1.所有机器卸载chrony

2.所有机器安装ntp

3.cm机器配置时钟与自己同步

4.集群其它节点，配置找cm机器去同步

5.重启所有机器的ntp服务

6.验证始终同步，在所有节点执行ntpq -p命令，如下使用脚本批量执行

左边出现*号表示同步成功。

2.5 设置swap

1.在所有机器执行以下命令以临时设置swap为1，并即时生效

确保最后swap打印应该都为1

2.为所有机器永久设置swap为1，修改/etc/sysctl.conf中vm.swappiness为1，没有则新增。

将/etc/sysctl.conf文件同步到集群所有机器

2.6 设置透明大页面

1.所有节点执行以下命令关闭透明大页面，并即时生效

2.修改所有节点的/etc/rc.d/rc.local文件的权限以实现开机执行

3.在所有节点的/etc/rc.d/rc.local文件中新增如下内容，以实现开机自动关闭透明大页面。

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi

将该文件同步到所有节点

2.7 配置操作系统repo

Fayson用的是AWS的环境，这步是可以省略的，放在这里供物理机部署的兄弟们参考。

  • 挂载操作系统iso文件

  • 配置操作系统repo
[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/local_os.repo
[local_iso] 
name=CentOS-$releasever - Media
baseurl=file:///media/DVD1
gpgcheck=0
enabled=1
[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist

2.8 安装httpd服务

  • 安装httpd服务
  • 启动httpd服务
  • 安装完httpd后，重新制作操作系统repo，换成http的方式方便其它服务器也可以访问

1.修改
/etc/httpd/conf/httpd.conf配置文件，在中修改以下内容

2.保存httpd.conf的修改，并重启httpd服务

2.9 安装MariaDB

1.安装MariaDB

2.启动并配置MariaDB

3.建立CM，Hive等需要的表

4.安装JDBC驱动

Cloudera Manager安装

3.1 配置本地repo源

1.下载CM6.3的安装包，地址为：

https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
https://archive.cloudera.com/cm6/6.3.0/allkeys.asc

2.下载CDH6.3的安装包，地址为：

https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel
https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha1
https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha256
https://archive.cloudera.com/cdh6/6.3.0/parcels/manifest.json

3.将Cloudera Manager安装需要的6个rpm包以及一个asc文件下载到本地，放在同一目录，执行createrepo命令生成rpm元数据。

[root@ip-172-31-13-38 cm6.3]# createrepo .

4.配置Web服务器

将上述cdh6.3/cm6.3目录移动到/var/www/html目录下, 使得用户可以通过HTTP访问这些rpm包。

验证浏览器能否正常访问

5.制作Cloudera Manager的repo源

6.验证安装JDK

3.2 安装Cloudera Manager Server

1.通过yum安装Cloudera Manager Server

2.初始化数据库

3.启动Cloudera Manager Server

4.检查端口是否监听

5.通过
http://cm_ip:7180/cmf/login访问CM

注意：完全启动成功需要几分钟时间。

CDH安装

4.1 CDH集群安装向导

1.admin/admin登录到CM

2.同意license协议，点击继续

3.选择60试用，点击继续

4.点击“继续”

5.点击“继续”，输入集群名称，可以使用默认的“Cluster 1”。

6.输入主机IP或者名称，点击搜索找到主机后点击继续

7.选择自定义存储库，输入cm的http地址

“CDH and other software”中选择“使用 Parcel (建议)”，点击“ 更多选项”，点击“-”删除其它所有地址，输入
http://172.31.13.38/cdh6.3，点击“保存更改”

点击“继续”

8.点击“继续”，进入下一步安装jdk

9.点击“继续”，进入下一步配置ssh账号密码

10.点击“继续”，进入下一步，安装Cloudera Manager相关到各个节点

等待Agent安装完毕后，自动跳转到下一步开始分发Parcel

11.点击“继续”，进入下一步安装cdh到各个节点

12.点击Inspect Network Performance和Inspect Hosts，检查主机

如果有错误或者黄色警告，查看“显示检查器结果”，并逐项解决，然后“重新运行”检查，直到所有的检查都通过，否则没办法点击继续下一步。

4.2 集群设置安装向导

1.选择需要安装的服务，根据需要选择，这里随便选择Data Warehouse，也可以自定义服务

2.点击“继续”，进入集群角色分配，一台机器作为管理节点，另外三台机器作为DataNode

注意：Activity Monitor和Telemetry Publisher不用选择任何主机，留空，即不安装，因为用不到。

3.点击“继续”，进入下一步，测试数据库连接

4.测试成功，点击“继续”，进入目录设置，此处使用默认默认目录，根据实际情况进行目录修改

5.点击“继续”，进入各个服务启动

6.安装成功后进入home管理界面

4.3 组件版本检查

可以看到Hadoop3.0，Flume1.9，HBase2.1，Hive2.1.1，Spark2.4，Hue4.2.0，Impala3.2，Kafka2.2.1，Kudu1.0，Oozie5.1，Pig0.17，Senty2.1，Solr7.4，Sqoop1.4.7，Zookeeper3.4.5等。

总结

1.从安装方式上来看，CDH6与CDH5变化不大，这也方便了CDH5的用户可以较为快速的迁移到CDH6，以及适应CDH6的安装与使用。

2.安装向导界面有一些变化，现在可以一目了然的看到一共多少步骤，以及每个步骤是干什么。

3.安装条件前置没有任何变化，包括防火墙，Selinux关闭，ntp同步等等。可以参考Fayson之前的文章《CDH安装前置准备》

4.进到主界面变化也不大，主要是Cloudera的logo变成了黑色，与Cloudera主页的整体风格一致。

5.在配置Cloudera Manager连接到数据库时的脚本有所变化。以前是
/usr/share/cmf/schema/scm_prepare_database.sh，现在是
/opt/cloudera/cm/schema/scm_prepare_database.sh

6.Cloudera Manager服务的状态在Redhat7通过systemctl status cloudera-scm-server查看是显示正确，而以前是不正确的，可以参考Fayson之前的文章《Cloudera Manager服务在RedHat7状态显示异常分析》

7.Cloudera Manager的rpm安装包由之前的7个变成了6个，去掉了之前的JDK6的包，然后自带JDK1.8.0_181，将不再支持JDK1.7。

8.注意CM的安装除了下载rpm包以外，还要下载allkeys.asc文件，否则安装agent的时候会报以下错误：

9.对于离线安装CDH6.x，分发Parcel出现hash校验失败的问题，是因为在CM6中修复了一个bug，让它不再忽略由http服务器发送的“Content-Encoding”的header信息，但是我们在Redhat中安装的httpd服务，当它传输parcel文件时，默认会错误的设置“Content-Encoding”。于是CM server会错误的认为parcel文件已经被httpd压缩并尝试解压缩。所以会导致失败。解决办法是参考2.8章节的，设置httpd的conf文件，AddType application/x-gzip .gz .tgz .parcel，然后重启httpd服务和CM服务。这个问题在beta的时候就已经存在了，具体请参考《0350-Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析》

10.与CDH6.1的安装相比，6.2/6.3有一些细微的差别，首先多了一个步骤可以自定义集群的名字，默认“Cluster 1”；另外在“检查主机”那个步骤，多了一个选项“检查网络性能”，这个功能是为CDH6.2/6.3的新功能SDX服务的，因为SDX是存储计算分离的架构，如果网络是瓶颈，可能并不适合SDX。

相关推荐

Excel技巧:SHEETSNA函数一键提取所有工作表名称批量生产目录

首先介绍一下此函数：SHEETSNAME函数用于获取工作表的名称，有三个可选参数。语法：=SHEETSNAME([参照区域],[结果方向],[工作表范围])（参照区域，可选。给出参照，只返回参照单元格...

Excel HOUR函数:“小时”提取器_excel+hour函数提取器怎么用

一、函数概述HOUR函数是Excel中用于提取时间值小时部分的日期时间函数，返回0（12:00AM）到23（11:00PM）之间的整数。该函数在时间数据分析、考勤统计、日程安排等场景中应用广泛。语...

Filter+Search信息管理不再难|多条件|模糊查找|Excel函数应用

原创版权所有介绍一个信息管理系统，要求可以实现:多条件、模糊查找，手动输入的内容能去空格。先看效果，如下图动画演示这样的一个效果要怎样实现呢？本文所用函数有Filter和Search。先用filter...

FILTER函数介绍及经典用法12:FILTER+切片器的应用

EXCEL函数技巧：FILTER经典用法12。FILTER+切片器制作筛选按钮。FILTER的函数的经典用法12是用FILTER的函数和切片器制作一个筛选按钮。像左边的原始数据，右边想要制作一...

office办公应用网站推荐_office办公软件大全

以下是针对Office办公应用（Word/Excel/PPT等）的免费学习网站推荐，涵盖官方教程、综合平台及垂直领域资源，适合不同学习需求：一、官方权威资源1.微软Office官方培训...

WPS/Excel职场办公最常用的60个函数大全(含卡片)，效率翻倍!

办公最常用的60个函数大全：从入门到精通，效率翻倍！在职场中，WPS/Excel几乎是每个人都离不开的工具，而函数则是其灵魂。掌握常用的函数，不仅能大幅提升工作效率，还能让你在数据处理、报表分析、自动...

收藏|查找神器Xlookup全集|一篇就够|Excel函数|图解教程

原创版权所有全程图解，方便阅读，内容比较多，请先收藏！Xlookup是Vlookup的升级函数，解决了Vlookup的所有缺点，可以完全取代Vlookup，学完本文后你将可以应对所有的查找难题，内容...

批量查询快递总耗时?用Excel这个公式，自动计算揽收到签收天数

批量查询快递总耗时？用Excel这个公式，自动计算揽收到签收天数在电商运营、物流对账等工作中，经常需要统计快递“揽收到签收”的耗时——比如判断某快递公司是否符合“3天内送达”的服务承...

Excel函数公式教程(490个实例详解)

Excel函数公式教程（490个实例详解）管理层的财务人员为什么那么厉害？就是因为他们精通excel技能！财务人员在日常工作中，经常会用到Excel财务函数公式，比如财务报表分析、工资核算、库存管理等...

Excel(WPS表格)Tocol函数应用技巧案例解读，建议收藏备用!

工作中，经常需要从多个单元格区域中提取唯一值，如体育赛事报名信息中提取唯一的参赛者信息等，此时如果复制粘贴然后去重，效率就会很低。如果能合理利用Tocol函数，将会极大地提高工作效率。一、功能及语法结...

Excel中的SCAN函数公式，把计算过程理清，你就会了

Excel新版本里面，除了出现非常好用的xlookup，Filter公式之外，还更新一批自定义函数，可以像写代码一样写公式其中SCAN函数公式，也非常强大，它是一个循环函数，今天来了解这个函数公式的计...

Excel(WPS表格)中多列去重就用Tocol+Unique组合函数，简单高效

在数据的分析和处理中，“去重”一直是绕不开的话题，如果单列去重，可以使用Unique函数完成，如果多列去重，如下图：从数据信息中可以看到，每位参赛者参加了多项运动，如果想知道去重后的参赛者有多少人，该...

Excel(WPS表格)函数Groupby，聚合统计，快速提高效率!

在前期的内容中，我们讲了很多的统计函数，如Sum系列、Average系列、Count系列、Rank系列等等……但如果用一个函数实现类似数据透视表的功能，就必须用Groupby函数，按指定字段进行聚合汇...

Excel新版本，IFS函数公式，太强大了!

我们举一个工作实例，现在需要计算业务员的奖励数据，右边是公司的奖励标准：在新版本的函数公式出来之前，我们需要使用IF函数公式来解决1、IF函数公式IF函数公式由三个参数组成，IF(判断条件，对的时候返...

Excel不用函数公式数据透视表，1秒完成多列项目汇总统计

如何将这里的多组数据进行汇总统计？每组数据当中一列是不同菜品，另一列就是该菜品的销售数量。如何进行汇总统计得到所有的菜品销售数量的求和、技术、平均、最大、最小值等数据？不用函数公式和数据透视表，一秒就...

一周热门
最近发表
标签列表
蜀ICP备2024111239号-28