如何在 Ubuntu上配置伪分布式Hadoop

作者:Rui 发布时间:August 28, 2015 分类:JAVA,BIGDATA,Linux 浏览:388

环境

  1. Ubuntu 12.04 TLS
  2. Oracle JDK 1.8
  3. Hadoop2.6.4

创建用户并设置SSH

创建用户

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop 
sudo adduser hadoop sudo
sudo su - hadoop

SSH Password-less login setting

cd ~/.ssh/                     
ssh-keygen -t rsa             
cat ./id_rsa.pub >> ./authorized_keys  

环境变量设置

解压 Hadoop2.6.4 并将Hadoop-2.6.4 放到 /home/hadoop.

vim ~/.bashrc

在此文件中添加一下变量

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_HOME=/home/hadoop/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

之后执行source 命令使其生效

source ~/.bashrc

设置hadoop配置文件

创建hadoop数据目录,此示例使用:/home/hadoop/dfs, 并在此文件下创建tmp,data,name三个文件夹 用来存放临时数据 datanode数据,namenode数据。

配置 core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file://home/hadoop/dfs/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://(ip or localhost):9000</value>
        </property>
</configuration>

配置 hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/hadoop/dfs/data</value>
        </property>
</configuration>

启动 Hadoop

启动之前,我们必须先format 初始化namenode

hdfs namenode -format

之后启动hadoop

start-dfs.sh

在启动之后使用jps 查看hadoop启动的进程,如果你看到如下图所示,恭喜你的hadoop启动成功了

QQ图片20160222120801.png

如果你在启动过程中遇到 "JAVA_HOME is not set and could not be found" 错误,请将JAVA_HOME变量写入
/home/hadoop/hadoop-2.6.4/etc/hadoop/hadoop-env.sh

成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
QQ图片20160222121835.png

伪分布式模式下可以不启动YARN服务。

标签: hadoop, ubuntu

添加新评论 »