亲宝软件园·资讯

展开

CDH6.2.0部署-亲自操作验证可行

执手仗剑天涯 人气:1

CDH6.2.0部署

PDF文档：https://files.cnblogs.com/fileshttps://img.qb5200.com/download-x/duxingren/CDH6.2-pdf.zip

郑重声明：并非拿来主义。亲手实践并花费一天时间整理文档。再三感谢此链接。

补充了再参考文献中遇到的问题并重点圈画出来。值得一读。谢谢各位。

参考文献：https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

参考文献：https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

参考文献：https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

常见的 JDK 有 Oracle JDK、和 Open JDK，而常用到的 Open JDK有 Linux yum 版的 Open JDK、Zulu JDK、GraalVM CE JDK等。安装 CDH 环境的 JDK 时还是建议先使用官方提供的下载资源列表里的 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm。如果公司有要求必须使用Open JDK，可以先安装下载包中的Oracle JDK 安装，等CDH安装完毕，需要的组件服务安装配置完成之后，再升级为自己需公司要求的 Open JDK，且强烈建议这样做。

对于包中个组件的版本可查看 CDH 6.2.0 Packaging，或者镜像库中查看 noarch | x86_64 。注意：从cdh6.0开始，Hadoop的版本升级到了3.0

CDH 6.2.0 Packaging：

https:/https://img.qb5200.com/download-x/docs.cloudera.comhttps://img.qb5200.com/download-x/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html

Noarch：

https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/noarch/

x86_64：

https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/x86_64/

Cloudera Enterprise 6发行指南

https:/https://img.qb5200.com/download-x/docs.cloudera.comhttps://img.qb5200.com/download-x/documentation/enterprise/6/release-notes/topics/rg_requirements_supported_versions.html#cm_cdh_compatibility

 

1.环境准备

1.1 环境清除或重装

假设旧环境已经安装过CDH或HDP或者其它，需要清除这些，清除相对麻烦些，删除的时候需谨慎。但整体可以这样快速清除

 

1 获取root用户

2 卸除通过rmp安装的服务：

rpm -qa

# 或者指定某些服务

rpm -qa 'cloudera-manager-*'

# 移除服务

rpm -e 上面命令查到的名字 --nodeps

# 清除yum 缓存

sudo yum clean all

3 查看进程

ps -aux > ps.txt，通过第一列USER 和 最后一列COMMAND 确定是否为清除的进程，如果是根据第二列PID kill掉：kill -9 pid

4 查看系统的用户信息：cat /etc/passwd

5 删除多余的用户：userdel 用户名

6 搜索这个用户相关的的文件，并删除：

 find / -name 用户名*

 # 删除查到的文件

 rm -rf 文件

7 在删除时有时可能文件被占用，可以先通过 lsof 命令找到被占用的进程，关闭后再删除。

8 虽然查不到进程被占用，可能文件被挂载了，卸除后再删除:

umount cm-5.16.1/run/cloudera-scm-agent/process，

然后再

rm -rf cm-5.16.1/。

当卸除命令执行后还是不能删除时，可以多运行几次，再尝试删除文件。

1.2 Apache HTTP 服务安装

因为有些服务器对访问外网有严格限制时，可以配置一个 HTTP服务，将下载的资源上传上去，方便后面的安装。

Step 1：先查Apache http服务状态

如果状态可查到，只需要修改配置文件(查看Step 3)，重启服务就行。如果状态查询失败，需要先安装 Apache HTTP 服务(接着Step 2)。

sudo systemctl start httpd

Step 2：安装 Apache http服

 yum -y install httpd

Step 3：修改 Apache http 配置

配置如下内容。最后保存退出。可以查看到配置的文档路径为：/var/www/html。其他的配置项可以默认，也可以根据情况修改。

vim /etc/httpd/conf/httpd.conf

# 大概在 119 行

DocumentRoot "/var/www/html"

# 大概在 131 行，<Directory "/var/www/html"> </Directory>标签内对索引目录样式设置

# 最多显示100个字符，utf-8字符集，开启目录浏览修饰，目录优先排序

IndexOptions NameWidth=100 Charset=UTF-8 FancyIndexing FoldersFirst

配置完后，记得重启服务。

Step 4：创建资源路径

sudo mkdir -p /var/www/html/cloudera-repos

1.3 Host 配置

将集群的Host的ip和域名配置到每台机器的/etc/hosts。

注意 hostname必须是一个FQDN（全限定域名），例如myhost-1.example.com，否则后面转到页面时在启动Agent时有个验证会无法通过↘。

# cdh1

sudo hostnamectl set-hostname cdh1.example.com

# cdh2

sudo hostnamectl set-hostname cdh2.example.com

# cdh3

sudo hostnamectl set-hostname cdh3.example.com

#配置 /etc/hosts

192.168.104.103 cdh1.example.com cdh1

192.168.104.104 cdh2.example.com cdh2

192.168.104.105 cdh3.example.com cdh3

# 配置 /etc/sysconfig/network

# cdh1

HOSTNAME=cdh1.example.com

# cdh2

HOSTNAME=cdh2.example.com

# cdh3

HOSTNAME=cdh3.example.com

1.4 NTP

NTP服务在集群中是非常重要的服务，它是为了保证集群中的每个节点的时间在同一个频道上的服务。

规划如下，当可以访问时间同步服务，例如可以直接和亚洲NTP服务进行同步。例如不能访问时，可以将cdh1.example.com配置为NTP服务端。集群内节点和这个服务进行时间同步。

ip    用途

asia.pool.ntp.org   亚洲NTP时间服务地址

cdh1.example.com      ntpd服务，以本地时间为准

cdh2.example.com      ntpd客户端。与ntpd服务同步时间

cdh3.example.com      ntpd客户端。与ntpd服务同步时间

我的做法是直接yum安装一下ntp服务。因为都可以访问外网。

step1 ntpd service

# NTP服务，如果没有先安装

systemctl status ntpd.service

step2 与系统时间一起同步

非常重要 硬件时间与系统时间一起同步。

修改配置文件vim /etc/sysconfig/ntpd。末尾新增代码SYNC_HWCLOCK=yes

# Command line options for ntpd

#OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

OPTIONS="-g"

SYNC_HWCLOCK=yes

step3 添加NTP服务列表

编辑vim /etc/ntp/step-tickers

# List of NTP servers used by the ntpdate service.

#0.centos.pool.ntp.org

cdh1.example.com

step4 NTP服务端ntp.conf

修改ntp配置文件vim /etc/ntp.conf

driftfile /var/lib/ntphttps://img.qb5200.com/download-x/drift

logfile /var/log/ntp.log

pidfile   /var/run/ntpd.pid

leapfile  /etc/ntp.leapseconds

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

#允许任何IP的客户端进行时间同步，但不允许修改NTP服务端参数，default类似于0.0.0.0

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

#restrict 10.135.3.58 nomodify notrap nopeer noquery

#允许通过本地回环接口进行所有访问

restrict 127.0.0.1

restrict  -6 ::1

# 允许内网其他机器同步时间。网关和子网掩码。注意有些集群的网关可能比价特殊，可以用下面的命令查看

# 查看网关信息：/etc/sysconfig/network-scripts/ifcfg-网卡名；route -n、ip route show 

restrict 192.168.33.2 mask 255.255.255.0 nomodify notrap

# 允许上层时间服务器主动修改本机时间

#server asia.pool.ntp.org minpoll 4 maxpoll 4 prefer

# 外部时间服务器不可用时，以本地时间作为时间服务

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

step5 NTP客户端ntp.conf

vim /etc/ntp.conf

driftfile /var/lib/ntphttps://img.qb5200.com/download-x/drift

logfile /var/log/ntp.log

pidfile   /var/run/ntpd.pid

leapfile  /etc/ntp.leapseconds

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

restrict 127.0.0.1

restrict -6 ::1

server 192.168.33.3 iburst

step6 NTP服务重启和同步

#重启服务

systemctl restart ntpd.service

#开机自启

chkconfig ntpd on

ntpq -p

ntpdate -u  cdh1.example.com

 

step7 NTP服务状态查看

如果显示如下则同步是正常的状态(状态显示 PLL,NANO)：

[root@cdh1 ~]# ntpstat

synchronised to NTP server (84.16.73.33) at stratum 2

   time correct to within 127 ms

   polling server every 1024 s

[root@cdh1 ~]# ntptime

ntp_gettime() returns code 0 (OK)

  time e2478ca0.ddc19360  Mon, Apr 20 2020 10:51:12.866, (.866235678),

  maximum error 456301 us, estimated error 250 us, TAI offset 0

ntp_adjtime() returns code 0 (OK)

  modes 0x0 (),

  offset -87.932 us, frequency 14.716 ppm, interval 1 s,

  maximum error 456301 us, estimated error 250 us,

  status 0x2001 (PLL,NANO),

  time constant 10, precision 0.001 us, tolerance 500 ppm,

[root@cdh1 ~]# timedatectl

      Local time: Mon 2020-04-20 10:51:21 CST

  Universal time: Mon 2020-04-20 02:51:21 UTC

        RTC time: Mon 2020-04-20 02:51:21

       Time zone: Asia/Shanghai (CST, +0800)

     NTP enabled: yes

NTP synchronized: yes

 RTC in local TZ: no

      DST active: n/a14

1.5 MySQL

Download MySQL

https:/https://img.qb5200.com/download-x/dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.27-el7-x86_64.tar.gz

step1 配置环境变量

# 配置Mysql环境变量

export PATH=$PATH:/usr/local/mysql/bin

step2 创建用户和组

#①建立一个mysql的组

groupadd mysql

#②建立mysql用户，并且把用户放到mysql组

useradd -r -g mysql mysql

#③还可以给mysql用户设置一个密码（mysql）。回车设置mysql用户的密码

passwd mysql

#④修改/usr/local/mysql 所属的组和用户

chown -R mysql:mysql /usr/local/mysql/

step3 设置MySQL配置文件

编辑/etc/my.cnf文件：vim /etc/my.cnf。设置为如下：

 

[mysqld]

basedir = /usr/local/mysql

datadir = /usr/local/mysqlhttps://img.qb5200.com/download-x/data

port = 3306

socket=/var/lib/mysql/mysql.sock

character-set-server=utf8

 

transaction-isolation = READ-COMMITTED

# Disabling symbolic-links is recommended to prevent assorted security risks;

# to do so, uncomment this line:

symbolic-links = 0

server_id=1

max_connections = 550

log_bin=/var/lib/mysql/mysql_binary_log

binlog_format = mixed

read_buffer_size = 2M

read_rnd_buffer_size = 16M

sort_buffer_size = 8M

join_buffer_size = 8M

 

# InnoDB settings

innodb_file_per_table = 1

innodb_flush_log_at_trx_commit  = 2

innodb_log_buffer_size = 64M

innodb_buffer_pool_size = 4G

innodb_thread_concurrency = 8

innodb_flush_method = O_DIRECT

innodb_log_file_size = 512M

[client]

default-character-set=utf8

socket=/var/lib/mysql/mysql.sock 

[mysql]

default-character-set=utf8

socket=/var/lib/mysql/mysql.sock

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

step4 配置解压和设置

# 解压到 /usr/local/ 下

tar -zxf mysql-5.7.27-el7-x86_64.tar.gz -C /usr/local/

# 重命名

mv /usr/local/mysql-5.7.27-el7-x86_64/ /usr/local/mysql

# 实现mysqld -install这样开机自动执行效果

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql

vim /etc/init.d/mysql

# 添加如下配置

basedir=/usr/local/mysql

datadir=/usr/local/mysqlhttps://img.qb5200.com/download-x/data

#创建存放socket文件的目录

mkdir -p /var/lib/mysql

chown mysql:mysql /var/lib/mysql

#添加服务mysql

chkconfig --add mysql

# 设置mysql服务为自动

chkconfig mysql on

step5 开始安装

#初始化mysql。注意记录下临时密码： ?w=HuL-yV05q（每个都不一样的）

/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysqlhttps://img.qb5200.com/download-x/data

#给数据库加密

/usr/local/mysql/bin/mysql_ssl_rsa_setup --datadir=/usr/local/mysqlhttps://img.qb5200.com/download-x/data

# 启动mysql服务。过段时间，当不再刷屏时，按Ctrl + C退出后台进程

/usr/local/mysql/bin/mysqld_safe --user=mysql &

# 重启MySQL服务

/etc/init.d/mysql restart

#查看mysql进程

ps -ef|grep mysql

step6 登陆MySQL，完成后续设置

#第一次登陆mysql数据库，输入刚才的那个临时密码

/usr/local/mysql/bin/mysql -uroot -p

输入前面一步生成的临时密码，进入MySQL的命令行，其中密码密码可以访问☌随机密码生成☌网站生成安全强度较高的随机密码，生产环境一般是有强度要求。

--必须先修改密码

mysql> set password=password('V&0XkVpHZwkCEdY$');

--在mysql中添加一个远程访问的用户

mysql> use mysql;

mysql> select host,user from user;

-- 添加一个远程访问用户scm，并设置其密码为 scm

mysql> grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option;

--刷新配置

mysql> flush privileges;

1.6 剩下

Java-jdk环境：sudo yum install oracle-j2sdk1.8（特别重要，否则自制的jdk会让你绝望）

防火墙：

sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/config

setenforce 0

systemctl stop firewalld

systemctl disable firewalld

1.7 其他

Cloudera Manager和Cloudera Navigator使用的端口

 

https:/https://img.qb5200.com/download-x/docs.cloudera.comhttps://img.qb5200.com/download-x/documentation/enterprise/6/6.2/topics/cm_ig_ports_cm.html

2.下载资源

上传到Apache HTTP 服务器上的目录：/var/www/html/cloudera-repos。

2.1 简版下载

其中将下载资源上传到搭建的 Apache HTTP 服务节点，如果文件夹不存在，需要手动创建。记得文件路径有足够的权限：

 

# 注意文件的权限

chmod 555 -R /var/www/html/cloudera-repos

2.1.1 下载 parcel 包

https://archive.cloudera.com/cdh6/6.2.0/parcels

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1

manifest.json

将下载的包上传到 /var/www/html/cloudera-repos/cdh6/6.2.0/parcels

cdh 6.3.0的parcel 包访问：https://archive.cloudera.com/cdh6/6.3.0/parcels/

2.1.2 下载需要的rpm包

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm

enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm

oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

 

上传到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/RPMS/x86_64

CDH 6.3.0：https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/

 

2.1.3 获取 cloudera-manager 其他资源

2.1.3.1 获取cloudera-manager.repo

将下面下载的包上传到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum

https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/

cloudera-manager.repo

RPM-GPG-KEY-cloudera

 

2.1.3.2 获取allkeys.asc

将下面下载的包上传到 /var/www/html/cloudera-repos/cm6/6.2.0

https://archive.cloudera.com/cm6/6.2.0/

 

mv allkeys.asc /var/www/html/cloudera-repos/cm6/6.2.0

2.1.3.3 初始化repodata

进入到Apache HTTP服务器的：

/var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/目录下，然后执行

# 如果没有安装 createrepo，请 yum 安装 createrepo

yum -y install createrepo

cd /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/

yum repolist

createrepo .

2.1.4 下载数据库驱动

mysql-connector-java-5.1.46-bin.jar，记得务必将其名字改为mysql-connector-java.jar

 

#下载连接：

https:/https://img.qb5200.com/download-x/dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

# 解压

tar zxvf mysql-connector-java-5.1.46.tar.gz

# 重命名mysql-connector-java-5.1.46-bin.jar为mysql-connector-java.jar，并放到/usr/share/java/下（CDH脚本限制，必须这么规范不然无法初始化数据库）

mv mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

# 同时发送到其它节点

scp /usr/share/java/mysql-connector-java.jar root@cdh2:/usr/share/java/

scp /usr/share/java/mysql-connector-java.jar root@cdh3:/usr/share/java/

2.2 完整版下载（二选一）

不做整理

2.3 设置安装节点的 cloudera-manager yum信息

2.3.1 下载

wget http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

# 导入存储库签名GPG密钥：

sudo rpm --import http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera

2.3.2 修改

修改 cloudera-manager.repo。执行命令：

vim /etc/yum.repos.d/cloudera-manager.repo

修改为如下（注意，原先的https一定要改为http）

[cloudera-manager]

name=Cloudera Manager 6.2.0

baseurl=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/

gpgkey=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera

gpgcheck=1

enabled=1

autorefresh=0

type=rpm-md

2.3.3 更新yum

#清除 yum 缓存

sudo yum clean all

#更新yum

sudo yum update（此步操作甚至，会导致内核升级，开机无法进入系统）

可以yum makecache

3.安装

3.1 安装 Cloudera Manager

在 Server 端 执行

yum install -y cloudera-manager-daemons

yum install -y fcloudera-manager-agent

yum install -y cloudera-manager-server

在 Agent 端 执行

yum install -y cloudera-manager-agent

yum install -y cloudera-manager-daemons

在安装完后，程序会自动在server节点上创建一个如下文件或文件夹：

 ls /etc/cloudera-scm-agent/config.ini

 ls /etc/cloudera-scm-server/

 ls /opt/cloudera

为了后面安装的更快速，将下载的CDH包裹方到这里(仅Server端执行)：

cd /opt/cloudera/parcel-repo/

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1

wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/manifest.json

 

# 在manifest.json中找到对应版本的密钥(大概在755行)，复制到*.sha文件中

# 一般CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1文件的内容和parcel密钥是一致的，只需重命名即可.

copy CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1 CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

#修改属主属组。

chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/*

 

修改agent配置文件，将Cloudera Manager Agent 配置为指向 Cloudera Manager Serve。

这里主要是配置 Agent节点的 config.ini 文件。

vim /etc/cloudera-scm-agent/config.ini

#配置如下项

# Hostname of the CM server. 运行Cloudera Manager Server的主机的名称

server_host=cdh1.example.com

# Port that the CM server is listening on. 运行Cloudera Manager Server的主机上的端口

server_port=7182

#1位启用为代理使用 TLS 加密，如果前面没有设置，一定不要开启TLS

#use_tls=1

3.2 设置 Cloudera Manager 数据库

Cloudera Manager Server包含一个可以数据库prepare的脚本，主要是使用这个脚本完成对数据库的相关配置进行初始化，这里不对元数据库中的表进行创建。

3.2.1 创建 Cloudera 软件对应的数据库：

# 登陆 Mysql后执行如下命令

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

# 顺便把其他的数据库也创建

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

3.2.2 初始化数据库

这一步会在/etc/cloudera-scm-serverhttps://img.qb5200.com/download-x/db.properties更新配置

请确认/usr/share/java是否有mysql-connector-java.jar

 

[root@cdh1 ~]#  sudo /opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost  mysql scm scm scm

 

参数说明：

options 指定操作，如果数据库不再本地请用-h或--host 指定mysql的host，不指定默认为localhost

databaseType 指定为mysql，也可以是其它类型的数据，例如：oracle等

databaseName 指定为scm数据库，这里使用 scm库

databaseUser 指定mysql用户名，这里使用 scm

password 指定mysql其用户名的密码，这里使用scm

这一步如果我们用的是自己配置的JDK可能会报如下的错误:

解决办法，打开执行的脚本/opt/cloudera/cm/schema/scm_prepare_database.sh 在108行local JAVA8_HOME_CANDIDATES=()方法中将自己配置的JAVA_HOME填入：

  local JAVA8_HOME_CANDIDATES=(

     '/usr/java/jdk1.8.0_181-cloudera'

    '/usr/java/jdk1.8'

    '/usr/java/jre1.8'

    '/usr/lib/jvm/j2sdk1.8-oracle'

    '/usr/lib/jvm/j2sdk1.8-oracle/jre'

    '/usr/lib/jvm/java-8-oracle'

  )

3.3 安装CDH和其他软件

只需要在 Cloudera Manager Server 端启动 server即可，Agent 在进入Web页面后徐步骤中会自动帮我们启动。

 

3.3.1 启动Cloudera Manager Server

sudo systemctl start cloudera-scm-server

sudo systemctl status cloudera-scm-server

sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

# 当您看到此日志条目时，Cloudera Manager管理控制台已准备就绪：

# INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

 

问题解决：

修改文件权限问题，修改时区。如果问题不能解决，请更换为Oracle JDK。

时区问题可以在/opt/cloudera/cm/bin/cm-server文件中，大概第40行添加CMF_OPTS="$CMF_OPTS -Duser.timezone=Asia/Shanghai"

 

如果提示如下错误，请删除/var/lib/cloudera-scm-agent/cm_guid的guid。

[15/Jun/2019 13:54:55 +0000] 24821 MainThread agent        ERROR    Error, CM server guid updated, expected 198b7045-53ce-458a-9c0a-052d0aba8a22, received ea04f769-95c8-471f-8860-3943bfc8ea7b

3.3.2 转到 Web 浏览器

在Web浏览器数据 http://192.168.104.103:7180

登录Cloudera Manager Admin Console，默认凭证为

Username: admin

Password: admin

登陆用户名后，显示如下页面，根据提示进行安装即可：欢迎 -> Accept License -> Select Edition。

这一步选择安装的版本，不同版本支持的主要功能已列出，第一列为Cloudera免费的快速体验版；第二列为Cloudera为企业级试用版（免费试用60天）；第三列是功能和服务最全的Cloudera企业版，是需要认证且收费的。Cloudera Express 和 Cloudera Enterprise 中的可用功能的完整列表。

 

选择第一列，快速体验版服务，完全免费，功能和服务对于需求不是很特殊和复杂的试用基本没什么问题，如果后期功能不够，或满足不了需求，想使用Cloudera的企业版也不用担心，在Cloudera Manager页面，点击页面头部的管理菜单，在下拉列表中单机许可证，可在页面上选择：试用Cloudera Enterprise 60天 、升级至Cloudera Enterprise ，更详细的升级说明可查看 从Cloudera Express升级到Cloudera Enterprise ➹。

选择第二列，可以直接免费体验Cloudera Enterprise全部功能60天，且这个每次只能试用一次，关于许可证到期或试用许可证的说明可访问 Managing Licenses ➹。

选择第三列，使用Cloudera企业版，需要获取许可证，要获得Cloudera Enterprise许可证，请填写此表单 或致电866-843-7207。关于许可证的详细说明可以访问Managing Licenses。其功能和价格可参考 功能和价格 页面。

 

4.集群安装

Cluster Basics：给集群设置一个名字。

* Specify Hosts：输入集群的主机名，多个换行添加，例如：

cdh1.example.com

cdh2.example.com

cdh3.example.com

以单节点方式安装，Web页面到达集群设置选择安装组件服务时，另起一个页面，进入Cloudera Manager，选择 主机 -> 所有主机 -> Add Hosts ，根据提示依次将其它节点添加到这个集群名字下，中间输入每个机器的root的密码完成验证即可。

 

 

 

使用向导设置群集

 

 

 

审核更改默认即可直接下一步

 

 

 

 

至此完成。后续使用文档有时间更新。

参考文献：https://blog.csdn.net/github_39577257/articlehttps://img.qb5200.com/download-x/details/92471365

 

 

 

 

 

 

 

 

 

 

 

 

加载全部内容
相关教程
猜你喜欢
用户评论