Hadoop – All specified directories are failed to load

作者:Rui 发布时间:September 9, 2015 分类:JAVA,Hadoop,BIGDATA 浏览:1,141 No Comments

Exception:

2015-09-22 15:57:54,057 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/data/hdfs/datanode: namenode clusterID = CID-ad31220c-f6e0-4c35-8731-b448f323f208; datanode clusterID = CID-b6802f1e-304b-4df7-8957-23a2958fa83b
2015-09-22 15:57:54,058 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to Master/10.147.6.205:9000. Exiting. 
java.io.IOException: All specified directories are failed to load.

namenode 和 datanode的version 不一致导致的错误

解决办法:

打开 usr/local/hadoop/dfs/datanode/current/VERSION 改变

CID-b6802f1e-304b-4df7-8957-23a2958fa83b

为:

CID-ad31220c-f6e0-4c35-8731-b448f323f208

Tips:

当你重新格式化namenode时,都要重新检查 namenode 和 datanode的version 的是否一致,他们必须要有一致的clusterID和namespaceID 才能够正常启动datanode

java.io.IOException: No FileSystem for scheme: hdfs

作者:Rui 发布时间:September 9, 2015 分类:JAVA,Hadoop,BIGDATA 浏览:984 No Comments

Exception : java.io.IOException: No FileSystem for scheme: hdfs

出现这个错误是因为缺少hadoop-hdfs jar包,在项目中进行如下依赖配置即可

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.5.1</version>
</dependency>

Apache Ivy 简介

作者:Rui 发布时间:September 9, 2015 分类:JAVA,BIGDATA 浏览:1,117 No Comments

Apache Ivy 一个灵活的包依赖管理软件,主要为Ant 添加包管理的功能。Ivy借助maven2的来解析依赖包。Apache Nutch就是使用该项目 来管理依赖包的。

使用简介

定义Ivy配置文件 Ivy.xml

<ivy-module version="2.0">
    <info organisation="org.apache" module="hello-ivy"/>
    <dependencies>
        <dependency org="commons-lang" name="commons-lang" rev="2.0"/>
        <dependency org="commons-cli" name="commons-cli" rev="1.0"/>
    </dependencies>
</ivy-module>

这样定义依赖和mavenPOM定义的中依赖类似:

<dependency>
    <groupId>commons-lang</groupId>
    <artifactId>commons-lang</artifactId>
    <version>2.0</version>
</dependency>

阅读剩余部分...

Typecho主题: Material

作者:Rui 发布时间:September 9, 2015 分类:WEB 浏览:1,254 No Comments

下载代码

git clone https://github.com/uidea/typecho-theme-modernist.git themes/modernist

启用

外观 -> Material Theme -> 启用即可

Flume 入门

作者:Rui 发布时间:September 9, 2015 分类:BIGDATA 浏览:724 No Comments

Flume NG 简介

Flume NG(Next Generation)是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

下载 Flume NG

在官网 有Flume的源码包和二进制包,你可以从这里下载,如果你不想了解Flume的源码,可以直接下载二进制包,这样更简单。

Building From Source

如果想编译Flume源码,你必须先下载Git,JDK1.6, Maven

  1. 下载源码
$ git clone https://git-wip-us.apache.org/repos/asf/flume.git flume
$ cd flume
$ git checkout trunk
  1. 编译源码

Apache Flume 需要额外的MAVEN 配置

export MAVEN_OPTS="-Xms512m -Xmx1024m -XX:PermSize=256m -XX:MaxPermSize=512m"
#Build the code and run the tests (note: use mvn install, not mvn package, since we deploy Jenkins SNAPSHOT jars daily, and Flume is a multi-module project)
$ mvn install
# ...or build the code without running the tests
$ mvn install -DskipTests

阅读剩余部分...