快速搭建Hadoop环境

快速搭建Hadoop环境
强烈推介IDEA2020.2破解激活,IntelliJ IDEA 注册码,2020.2 IDEA 激活码

快速搭建Hadoop环境

1、基础集群环境搭建

1.1安装jdk

a.上传jdk-8u151-linux-x64.tar.gz

b.解压到usr目录下

tar -zxvf jdk-8u151-linux-x64.tar.gz

c.配置环境变量
(1)vim /etc/profile
(2)在最后加入:

JAVA_HOME=/usr/java1.8
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH

(3)保存退出
d.source /etc/profile
e.检测是否安装成功,输入命令:java -version

1.2、修改主机名称,关闭防火墙

1、root账号下使用命令:hostnamectl set-hostname hadoop02
2、Xshell关闭连接窗口,重新连接即可更改过来
3、关闭防火墙(CentOS7)

  • (1)firewall-cmd --state #查看防火墙状态
  • (2)systemctl stop firewalld.service #停止firewall
  • (3)systemctl disable firewalld.service #禁止firewall开机启动

1.3、添加内网域名映射[Centos ip地址静态化

cd /etc/sysconfig/network-scripts 

ls找到对应的文件

BOOTPROTO=static
ONBOOT=yes
IPADDR= 192.168.137.100 //IP地址
NTSMASK=255.255.255.0 
GATEWAY=192.168.137.2  //默认网关

重启网关 Service network restart

修改配置文件:vim /etc/hosts
这里写图片描述

1.4、配置免密码登录

1、在root登录状态下,输入命令 ssh-keygen 或者 ssh-keygen -t rsa
2、之后你会发现,在/root/.ssh 目录下生成了公钥文件这里写图片描述

3、使用一个简单的方式,使用命令:
注:自己也要给自己复制秘钥
生产秘钥的地方 和验证秘钥的路径不一样]
ssh-copy-id hadoop02
建立hadoop01到hadoop02的免密码登录

这里写图片描述

2、Hadoop集群环境安装

2.1、Hadoop版本选择

1、Apache官方版本:
1.X
2.X 2.6.5 2.7.5 3.0.1
2、商业发行版本
提供完善的管理系统,修复bug可能会领先于官方版本
Cloudera公司的CDH:5.7.X

2.2、安装Hadoop

2.2.1、Hadoop伪分布式模式安装
Hadoop可以在单节点上以伪分布式的方式运行,Hadoop进程以分离的Java进程来运行,节点即作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。

Hadoop的配置文件位于hadoop-2.7.5/etc/hadoop/文件夹中,伪分布式需要修改两个配置文件core-site.xml和hdfs-site.xml(其中hdfs-site.xml用来配置数据块的副本数量,对于伪分布式来说,不管你配置几个副本数量,它始终都只有一个副本,所以可以不用管)。Hadoop分配置文件是xml格式,每个配置文件以声明property的name和value的方式来实现

1、修改hadoop-env.sh配置文件,添加jdk安装目录

[root@hadoop01 hadoop]# vim hadoop-env.sh

这里写图片描述

2、修改core-site.xml

<configuration>
    <!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.7.5/temp</value>
    </property>
</configuration>

3、修改slaves

hadoop01

4、添加hadoop环境变量:vim /etc/profile

HADOOP_HOME=/home/hadoop-2.7.5
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH

5、格式化namenode

[root@hadoop01 hadoop]#hadoop namenode -format

6、启动hdfs

[root@hadoop01 hadoop]#start-dfs.sh

7、检查是否启动成功
(1)利用jps工具检测各进程是否启动成功
(2)利用web UI 查看http://hadoop01:50070
这里写图片描述

在这里插入图片描述

本文来源蹊源的奇思妙想,由架构君转载发布,观点不代表Java架构师必看的立场,转载请标明来源出处:https://javajgs.com/archives/14756

发表评论