Hadoop2.X/YARN环境搭建 Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置
人气:0想了解Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置的相关内容吗，在本文为您仔细讲解Hadoop2.X/YARN环境搭建的相关知识和一些Code实例，欢迎阅读和指正，我们先划重点：Hadoop2.X,YARN,环境搭建,CentOS7.0,JDK配置，下面大家一起来学习吧。
Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上）
原材料：在Oracle官网下载的32位JDK：
说明：
1、CentOS 7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning出现，避免真的有神马问题，选择i586的JDK（即32位的），当然，64位的CentOS 7 肯定是兼容32位JDK的，记住：64位系统肯定兼容32位的软件，32位系统不能兼容64位软件。64位只是说明了CPU一次运算的位数为64位,比32位多，64位性能更高。
2、以前的Linux版本JDK有”.bin”文件可供下载，但是，现在官网只提供rpm的安装包与tar.gz的压缩包了，rpm安装包是RedHat系列系统（RedHat/RHEL/Fedora/CentOS）特有的安装文件，直接运行即可，但我们不知道其中的配置方法。所以，为接近底层，我选择tar.gz的压缩包予以安装。
安装方式：
自带的OpenJDK与之后安装的JDK，不可兼得，故而有两种操作：1、卸载删除原有的OpenJDK，再安装JDK 2、二者依然共存，但是，配置何者为真正有效的JDK
Method 1: 卸载删除原有的OpenJDK，再安装JDK
第一步：卸载删除OpenJDK
卸载删除OpenJDK，首先需要知道到底要删除哪些东西：
[Randy@localhost ~]$ rpm -qa|grep openjdk -i #查找已经安装的OpenJDK，-i表示忽略“openjdk”的大小写
现在将之全部删除：
[Randy@localhost ~]$ sudo yum remove java-1.6.0-openjdk-devel-1.6.0.0-6.1.13.4.el7_0.x86_64 java-1.7.0-openjdk-devel-1.7.0.65-2.5.1.2.el7_0.x86_64 java-1.7.0-openjdk-headless-1.7.0.65-2.5.1.2.el7_0.x86_64 java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el7_0.x86_64 java-1.6.0-openjdk-1.6.0.0-6.1.13.4.el7_0.x86_64#用RedHat系列系统自带的yum进行删除openjdk，yum类似ubuntu中的apt-get,均用于安装、卸载及更新系统自带的软件，注意：以上均以空格间隔
第二步：安装JDK
1、解压
首先解压下载得来的JDK：（JDK的tar.gz压缩包放在了~/dev目录下）
[Randy@localhost ~]$ sudo mkdir /usr/lib/jdk #如若没有/usr/lib/jdk路径，则执行此句予以创建jdk文件夹
[Randy@localhost ~]$ sudo tar -zxvf jdk-8u11-linux-i586.tar.gz -C /usr/lib/jdk #注意：-C, --directory=DIR 改变至目录 DIR
[Randy@localhost ~]$ ls /usr/lib/jdk
jdk1.8.0_11
[Randy@localhost ~]$ ls /usr/lib/jdk/jdk1.8.0_11/
bin javafx-src.zip man THIRDPARTYLICENSEREADME-JAVAFX.txt
COPYRIGHT jre README.html THIRDPARTYLICENSEREADME.txt
db lib release
include LICENSE src.zip
[Randy@localhost ~]$
移动jdk1.8.0_11中的文件到/usr/lib/jdk,并删除jdk1.8.0_11文件夹：
[Randy@localhost ~]$ sudo cp -rf /usr/lib/jdk/jdk1.8.0_11/* /usr/lib/jdk/ #移动
[Randy@localhost ~]$
[Randy@localhost ~]$ ls /usr/lib/jdk
bin javafx-src.zip LICENSE src.zip
COPYRIGHT jdk1.8.0_11 man THIRDPARTYLICENSEREADME-JAVAFX.txt
db jre README.html THIRDPARTYLICENSEREADME.txt
include lib release
[Randy@localhost ~]$ sudo rm -rf /usr/lib/jdk/jdk1.8.0_11/ #删除
[Randy@localhost ~]$ ls /usr/lib/jdk
bin javafx-src.zip man THIRDPARTYLICENSEREADME-JAVAFX.txt
COPYRIGHT jre README.html THIRDPARTYLICENSEREADME.txt
db lib release
include LICENSE src.zip
[Randy@localhost ~]$
2、配置环境变量
[Randy@localhost ~]$ sudo vim /etc/profile
在最后一行插入：
#JAVA Environment
export JAVA_HOME=/usr/lib/jdk
export JRE_HOME=/usr/lib/jdk/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib
3、修改系统默认的JDK
[Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/java java /usr/lib/jdk/bin/java 300 #使系统默认的java命令是/usr/lib/jdk/bin中的java命令
[Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jdk/bin/javac 300 #使系统默认的javac命令是/usr/lib/jdk/bin中的javac命令
[Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jdk/bin/jar 300 #使系统默认的jar命令是/usr/lib/jdk/bin中的jar命令
[Randy@localhost ~]$ sudo update-alternatives --config java #配置默认java命令
共有 1 个提供“java”的程序。
选项 命令
-----------------------------------------------
*+ 1 /usr/lib/jdk/bin/java
按 Enter 保留当前选项[+]，或者键入选项编号：1
[Randy@localhost ~]$ sudo update-alternatives --config javac #配置默认java命令
共有 1 个提供“java”的程序。
选项 命令
-----------------------------------------------
*+ 1 /usr/lib/jdk/bin/javac
按 Enter 保留当前选项[+]，或者键入选项编号：1
第三步：测试JDK
[Randy@localhost ~]$ java -version
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) Server VM (build 25.11-b03, mixed mode)
[Randy@localhost ~]$ javac -version
javac 1.8.0_11
测试是遇到了一个问题：
[Randy@localhost ~]$ java
-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
[Randy@localhost ~]$ ls /lib/ld-linux
ls: 无法访问/lib/ld-linux: 没有那个文件或目录
[Randy@localhost ~]$ java -version
-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
[Randy@localhost ~]$
解决方法是:
[Randy@localhost ~]$ sudo yum install glibc.i686 #在64系统里执行32位程序如果出现/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory，安装下glic即可
Method 2: 二者共存，配置何者为真正有效的JDK
与Method1类似，只是不需要卸载删除OpenJDK
1、解压
首先解压下载得来的JDK：（JDK的tar.gz压缩包放在了~/dev目录下）
[Randy@localhost ~]$ sudo mkdir /usr/lib/jdk #如若没有/usr/lib/jdk路径，则执行此句予以创建jdk文件夹
[Randy@localhost ~]$ sudo tar -zxvf jdk-8u11-linux-i586.tar.gz -C /usr/lib/jdk #注意：-C, --directory=DIR 改变至目录 DIR
[Randy@localhost ~]$ ls /usr/lib/jdk
jdk1.8.0_11
[Randy@localhost ~]$ ls /usr/lib/jdk/jdk1.8.0_11/
bin javafx-src.zip man THIRDPARTYLICENSEREADME-JAVAFX.txt
COPYRIGHT jre README.html THIRDPARTYLICENSEREADME.txt
db lib release
include LICENSE src.zip
[Randy@localhost ~]$
移动jdk1.8.0_11中的文件到/usr/lib/jdk,并删除jdk1.8.0_11文件夹：
[Randy@localhost ~]$ sudo cp -rf /usr/lib/jdk/jdk1.8.0_11/* /usr/lib/jdk/ #移动
[Randy@localhost ~]$
[Randy@localhost ~]$ ls /usr/lib/jdk
bin javafx-src.zip LICENSE src.zip
COPYRIGHT jdk1.8.0_11 man THIRDPARTYLICENSEREADME-JAVAFX.txt
db jre README.html THIRDPARTYLICENSEREADME.txt
include lib release
[Randy@localhost ~]$ sudo rm -rf /usr/lib/jdk/jdk1.8.0_11/ #删除
[Randy@localhost ~]$ ls /usr/lib/jdk
bin javafx-src.zip man THIRDPARTYLICENSEREADME-JAVAFX.txt
COPYRIGHT jre README.html THIRDPARTYLICENSEREADME.txt
db lib release
include LICENSE src.zip
[Randy@localhost ~]$
2、配置环境变量
[Randy@localhost ~]$ sudo vim /etc/profile
在最后一行插入：
#JAVA Environment
export JAVA_HOME=/usr/lib/jdk
export JRE_HOME=/usr/lib/jdk/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib
3、修改系统默认的JDK
[Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/java java /usr/lib/jdk/bin/java 300 #使系统默认的java命令是/usr/lib/jdk/bin中的java命令
[Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jdk/bin/javac 300 #使系统默认的javac命令是/usr/lib/jdk/bin中的javac命令
[Randy@localhost ~]$ sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jdk/bin/jar 300 #使系统默认的jar命令是/usr/lib/jdk/bin中的jar命令
[Randy@localhost ~]$ sudo update-alternatives --config java #配置默认java命令
共有 3 个提供“java”的程序。
选项 命令
-----------------------------------------------
* 1 /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el7_0.x86_64/jre/bin/java
/usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java
+ 3 /usr/lib/jdk/bin/java
按 Enter 保留当前选项[+]，或者键入选项编号：3
[Randy@localhost ~]$ sudo update-alternatives --config javac #配置默认java命令
共有 3 个提供“javac”的程序。
选项 命令
-----------------------------------------------
* 1 /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el7_0.x86_64/jre/bin/javac
/usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/javac
+ 3 /usr/lib/jdk/bin/javac
按 Enter 保留当前选项[+]，或者键入选项编号：3
[Randy@localhost ~]$
第三步：测试JDK
[Randy@localhost ~]$ java -version
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) Server VM (build 25.11-b03, mixed mode)
[Randy@localhost ~]$ javac -version
javac 1.8.0_11
测试是遇到了一个问题：
[Randy@localhost ~]$ java
-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
[Randy@localhost ~]$ ls /lib/ld-linux
ls: 无法访问/lib/ld-linux: 没有那个文件或目录
[Randy@localhost ~]$ java -version
-bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
[Randy@localhost ~]$
解决方法是:
[Randy@localhost ~]$ sudo yum install glibc.i686 #在64系统里执行32位程序如果出现/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory，安装下glic即可
附:
说完了JDK的环境配置，顺便聊聊CentOS 7自带的数据库MariaDB的设置。
现在，RHEL 7/CentOS 7自带的数据库都不再是MySQL了，主要是因为开源的能力更大，现在google也正将其数据从MySQL迁移到MariaDB。为体验最先进的思想，以后我的Hive数据库平台将是MariaDB
系统装好后，系统的mariadb服务是出于stop状态的，所以应该先启动服务：
[Randy@localhost ~]$ sudo systemctl start mariadb #之前CentOS版本执行sudo service mariadb start，而CentOS7执行service 命令也可生效，但提示：Redirecting to /bin/systemctl start mariadb.service
[Randy@localhost ~]$ sudo systemctl stop mariadb #停止mariadb服务
[Randy@localhost ~]$ sudo systemctl status mariadb #查看mariadb状态
[Randy@localhost ~]$
设置mariadb的root密码为“root”：
命令格式：
sudo mysqladmin -u 用户名 password "新密码"
如果root已经设置过密码，采用如下方法：
sudo mysqladmin -u 用户名 password 旧密码 "新密码"
由于安装系统后没有密码，所以设定root用户密码为“root”:
[Randy@localhost ~]$ sudo mysqladmin -u root password "root"
测试：
[Randy@localhost ~]$ mysql -u root -proot
显示：
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 3
Server version: 5.5.37-MariaDB-log MariaDB Server
Copyright (c) 2000, 2014, Oracle, Monty Program Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]>
加载全部内容