Windows 下执行Hadoop MapReduce注意事项

作者:Rui 发布时间:February 19, 2016 分类:JAVA,Hadoop,BIGDATA 浏览:680

Exception: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
Window下执行mapreduce 需要安装hadoop window工具包

解决方案:
Window下执行mapreduce 需要下载 winutils 到 HADOOP_HOME/bin,而且需要将hadoop.dll放置 c://windows/system32 目录下。

winutils 下载地址:hadoop-winutils-2.6.0.zip

Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

widnow下远程执行mapreduce,默认获取的是系统用户,和使用的hadoop文件夹用户不一致。

解决方案:
添加环境变量 HADOOP_USER_NAME=hadoop用户

Hadoop connection refused

远程执行mapreduce报连接异常,默认个人配置的hadoop都是单机或者伪分布式,端口往往只监听本地地址

解决方案:
修改core-site.xml 将 hdfs地址修改为真实地址

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.56.101:9000</value>
    </property>
</configuration>

标签: hadoop

添加新评论 »