Centos7.X 安装 Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个能够对大量数据进行分布式处理的软件框架,Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理搭建Hadoop框架首先要配置JDK环境,其次是Hadoop的相关配置。

1、Jdk配置

hadoop安装的必备条件,这里就不介绍了。不懂的可以看我之前的内容。

2、Hadoop下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz

3、解压Hadoop

tar zxvf hadoop-3.1.4

4、修改etc/hadoop/core-site.xml文件配置

<configuration>
    <!--  -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 缓存存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadooptemp</value>
    </property>
</configuration>

 

5、修改etc/hadoop/hdfs-site.xml文件配置

<configuration>
    <!-- 默认为3,由于是单机,所以配置1 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- 配置http访问地址 -->
    <property>
      <name>dfs.http.address</name>
      <value>0.0.0.0:9870</value>
    </property>
</configuration>

6、修改etc/hadoop/hadoop-env.sh文件配置

export JAVA_HOME=/usr/local/java/jdk1.8.0_151

注:JAVA_HOME配置自己JDK的所在路径 

7、修改etc/hadoop/yarn-env.sh文件配置

export JAVA_HOME=/usr/local/java/jdk1.8.0_151

8、修改sbin/stop-dfs.sh文件配置(顶部添加)

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

9、修改sbin/start-dfs.sh文件配置(顶部添加)

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

10、在start-yarn.shstop-yarn.sh两个文件夹中添加如下配置

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

11、格式化Hadoop(sbin目录下)

./hdfs namenode -format

12、启动Hadoop(bin目录下)

./start-dfs.sh

13、浏览器输入你的ip:9870出现以下界面则搭建成功

本文章所有内容均来自网络收集均用于学习交流,若有侵权请携带相关证明,联系站长删除!
THE END
分享
二维码
打赏