hadoop2.7.6高可用集群搭建

一、准备工具

1. hadoop-2.7.6.tar.gz

2. jdk-7u80-linux-x64.tar.gz

3. zookeeper-3.4.12.tar.gz

4. VM肯定要有了，土豪除外

二、虚拟机准备

1.安装虚拟机

做了7台CentOS7，这里我全部用的root用户，当让如果生产环境要新建用户的，要做免密登录。

1.1静态ip配置（为了方便好记，nat模式改了静态ip）

/etc/sysconfig/network-scripts/ifcfg-ensxx

此文件红色部分设置

HWADDR="00:0C:29:98:6A:14"

TYPE="Ethernet"

BOOTPROTO="static"

DEFROUTE="yes"

PEERDNS="yes"

PEERROUTES="yes"

IPV4_FAILURE_FATAL="no"

IPV6INIT="yes"

IPV6_AUTOCONF="yes"

IPV6_DEFROUTE="yes"

IPV6_PEERDNS="yes"

IPV6_PEERROUTES="yes"

IPV6_FAILURE_FATAL="no"

NAME="ens33"

UUID="c41f2902-33b0-45be-b23d-634d6cd36480"

ONBOOT="yes"

IPADDR=192.168.136.147

IPGATEWAY=192.168.136.1

DNS1=114.114.114.114

DNS2=8.8.8.8

当然如果你复制的时候注意这个玩意HWADDR="00:0C:29:98:6A:14"

Mac地址没台都不一样，如果你不小心给弄错了，那使用ip addr命令拿到mac地址改过来就好了。

修改好后记得重启网观 service network restart

2.配置host(所有的机器外面改完一个一个copy吧)

文件位置 /etc/hosts

当然你想在win上访问，那本地host也需要配置下C:\Windows\System32\drivers\etc

3.防火墙配置

Centos7默认使用的firewalld 不过我习惯了iptables

不过最后还是关了所有的防火墙，好配置，不然还得对端口去。太多麻烦

3.1关闭firewall

1. #停止firewalld服务

2. systemctl stop firewalld

3. #禁用firewalld服务

4. systemctl mask firewalld

3.2 编辑防火墙

没有的话先安装了：yum install iptables-services

vi /etc/sysconfig/iptables

3.3 开启iptables

service iptables start

systemctl enable iptables.service 设置开机启动

（我是不想设定了还得关了）

service iptables stop 关闭

4安装JDK

因为用的cenos7所以有自带的jdk

4.1先卸载OpenJDK

rpm -qa | grep java 查看下

java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

python-javapackages-3.4.1-5.el7.noarch

tzdata-java-2014b-1.el7.noarch

javapackages-tools-3.4.1-5.el7.noarch

java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

卸载命令

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

这两个就可以了，其他的不用了。

4.2安装配置jdk

拷贝jdk到/usr/jvm下没有自己创建，自己愿意放哪里都行。

解压 tar -zxvf jdk-7u80-linux-x64.tar.gz 配置环境变量

vi /etc/profile

添加

export JAVA_HOME=/usr/jvm/jdk1.7.0_80

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

保存退出

source /etc/profile 使配置文件生效

java –version 检查版本是否你配置的

三、规划机器

主机名 IP 安装的软件运行的进程

hadoops1 192.168.136.141 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)

hadoops2 192.168.136.142 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)

hadoops3 192.168.136.143 jdk、hadoop ResourceManager

hadoops4 192.168.136.144 jdk、hadoop ResourceManager

hadoops5 192.168.136.145 jdk、hadoop、zookeeper DataNode、NodeManager、

JournalNode、QuorumPeerMain

hadoops6 192.168.136.146 jdk、hadoop、zookeeper DataNode、NodeManager、

JournalNode、QuorumPeerMain

hadoops7 192.168.136.147 jdk、hadoop、zookeeper DataNode、NodeManager、

JournalNode、QuorumPeerMain

四、配置服务器间免密登录

1. 首先配置 hadoops1到hadoops2~7的免密登录

在hadoops1上产生一对公匙

ssh-keygen -t rsa

回车三次全默认

将公钥拷贝到其他节点，包括自己

ssh-copy-id hadoops这个要输入yes 然后在输入密码

ssh-copy-id hadoops1

ssh-copy-id hadoops2

ssh-copy-id hadoops3

ssh-copy-id hadoops4

ssh-copy-id hadoops5

ssh-copy-id hadoops6

ssh-copy-id hadoops7

2. 配置hadoops3到hadoops4~7的免密登录

ssh-keygen -t rsa

回车三次全默认

将公钥拷贝到其他节点，

ssh-copy-id hadoops4（个人觉得没用得测试）

ssh-copy-id hadoops5

ssh-copy-id hadoops6

ssh-copy-id hadoops7

3. 配置hadoops4到hadoops5~6的免密登录

ssh-keygen -t rsa

回车三次全默认

将公钥拷贝到其他节点

ssh-copy-id hadoops3（个人觉得没用得测试）

ssh-copy-id hadoops5

ssh-copy-id hadoops6

ssh-copy-id hadoops7

4.配置hadoops2到hadoops1的免密登录

ssh-keygen -t rsa

回车三次全默认

将公钥拷贝到其他节点，包括自己

ssh-copy-id hadoops1

namenode之间的互相访问

namenode到各resourcemanage与datanode的访问

resourcemanage到datanode的访问

resourcemanage之间的resourcemanage（个人觉得没用得测试）

五、安装配置zooekeeper集群

我放在了/home/soft下面

在hadoops5上面先安装派之zookeeper

1.解压 tar -zxvf zookeeper-3.4.12.tar.gz

2.修改配置

cd /home/soft/zookeeper-3.4.12/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改：dataDir=/home/soft/zookeeper-3.4.12/tmp

在最后添加：

server.1=hadoops5:2888:3888

server.2= hadoops6:2888:3888

server.3= hadoops7:2888:3888

保存退出

然后在zookeeper下创建一个tmp文件夹

mkdir /home/soft/zookeeper-3.4.12/tmp

再创建一个空文件

touch /home/soft/zookeeper-3.4.12/tmp/myid

最后向该文件写入ID

echo 1 > /home/soft/zookeeper-3.4.12/tmp/myid

3.将配置好的zookeeper拷贝到6跟7上面（记得创建文件夹）

scp -r /home/soft/zookeeper-3.4.12/ hadoops6:/home/soft/

scp -r /home/soft/zookeeper-3.4.12/ hadoops7:/home/soft/

4.修改hadoops5跟hadoops6的/home/soft/zookeeper-3.4.12/tmp/myid

echo 2 > /home/soft/zookeeper-3.4.12/tmp/myid

echo 3 > /home/soft/zookeeper-3.4.12/tmp/myid

六、安装配置hadoop集群

首先在hadoops1上面安装配置hadoop 我放在了 /home/soft下面

1. 解压

tar -zxvf hadoop-2.7.6.tar.gz

2. 配置HDFS

2.1将hadoop添加到环境变量中

vim /etc/profile

export HADOOP_HOME= /home/soft/hadoop-2.7.6

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

最后在source /etc/profile 自己记得就好，还有其它机器一样

2.2.1修改hadoo-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_55

2.2.2修改core-site.xml

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/soft/hadoop-2.7.6/tmp</value>

</property>

<name>ha.zookeeper.quorum</name>

<value>hadoops5:2181,hadoops6:2181,hadoops7:2181</value>

</property>

</configuration>

2.2.3修改hdfs-site.xml

<name>dfs.nameservices</name>

</property>

<name>dfs.ha.namenodes.ns1</name>

</property>

<name>dfs.namenode.rpc-address.ns1.nn1</name>

<value>hadoops1:9000</value>

</property>

<name>dfs.namenode.http-address.ns1.nn1</name>

<value>hadoops1:50070</value>

</property>

<name>dfs.namenode.rpc-address.ns1.nn2</name>

<value>hadoops2:9000</value>

</property>

<name>dfs.namenode.http-address.ns1.nn2</name>

<value>hadoops2:50070</value>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoops5:8485;hadoops6:8485;hadoops7:8485/ns1</value>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/soft/hadoop-2.7.6/journal</value>

</property>

<name>dfs.ha.automatic-failover.enabled</name>

</property>

<name>dfs.client.failover.proxy.provider.ns1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>

sshfence

shell(/bin/true)

</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

</property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

</property>

</configuration>

2.2.4修改mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

</configuration>

2.2.5修改yarn-site.xml

<name>yarn.resourcemanager.ha.enabled</name>

</property>

<name>yarn.resourcemanager.cluster-id</name>

</property>

<name>yarn.resourcemanager.ha.rm-ids</name>

</property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>hadoops3</value>

</property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>hadoops4</value>

</property>

<name>yarn.resourcemanager.zk-address</name>

<value>hadoops5:2181,hadoops6:2181,hadoops7:2181</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

2.2.6修改slaves(slaves是指定子节点的位置，因为要在itcast01上启动HDFS、在hadoops3与hadoops4启动yarn，所以hadoops1与hadoops2上的slaves文件指定的是datanode的位置，hadoops3与hadoops4上的slaves文件指定的是nodemanager的位置)

hadoops5

hadoops6

hadoops7

配置完成进行拷贝吧

七、启动zookeeper集群

切换到zookeeper的bin下 ./zkServer.sh start

查看 ./zkServer.sh status

我遇到了myid文件没有了情况重新创建一个就好了

八、启动hadoop相关进程

1. 启动journalnode（分别在在hadoops5、hadoops6、hadoops7上执行）

切换到hadoop的目录下

./sbin/hadoop-daemon.sh start journalnode

#运行jps命令检验，itcast05、itcast06、itcast07上多了JournalNode进程

然后就遇到问题了，配置文件中的中文注释乱码了，造成启动错误，只能全删了

2. 格式化HDFS(在hadoops1上执行即可)

hdfs namenode -format

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/soft/hadoop-2.7.6/tmp，然后将/home/soft/hadoop-2.7.6/tmp拷贝到hadoops2的/home/soft/hadoop-2.7.6/下。

scp -r /home/soft/hadoop-2.7.6/tmp/ root@hadoops2:/home/soft/hadoop-2.7.6/

3. 格式化ZK (在hadoops1上即可)

hdfs zkfc –formatZK

4. 启动HDFS(在hadoops1上即可)

sbin/start-dfs.sh

5. 启动YARN

(#####注意#####：是在hadoops3上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

sbin/start-yarn.sh

在hadoops4上启动resourceManager

./sbin/yarn-daemon.sh start resourcemanager

然后大坑就出来了，因为修改了ip，hostname默认位原来的ip，安全验证通不过。

Centos7 直接改这个文件/etc/hostname 就OK了，

来吧，三个都得改了

#>vi /etc/sysconfig/network

添加或修改:

NETWORKING=yes

HOSTNAME=xxx

#>vi /etc/hosts

修改 127.0.0.1这行中的 localhost.localdomain为 xxx

修改 ::1这行中的localhost.localdomain 为xxx

#>vi /etc/hostname

xxx

否则日志文件改不过来

6.验证HDFS HA

首先向hdfs上传一个文件

hadoop fs -put /etc/profile /profile

然后再kill掉active的NameNode

kill -9 <pid of NN>

这个时候hadoops2上的NameNode变成了active

在执行命令：

hadoop fs -ls /

刚才上传的文件依然存在！！！

手动启动那个挂掉的NameNode

sbin/hadoop-daemon.sh start namenode

7.验证YARN：

运行一下hadoop提供的demo中的WordCount程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

参考传智播客视频制作
有问题的话之后在改吧

乐享：知识积累，快乐无限。

用户名或密码错误

hadoop2.7.6高可用集群搭建

全部评论: 0 条

热门用户

热门标签

热门文章

最新发布