Apache Ivy 简介

作者:Rui 发布时间:September 9, 2015 分类:JAVA,BIGDATA 浏览:1,192

Apache Ivy 一个灵活的包依赖管理软件,主要为Ant 添加包管理的功能。Ivy借助maven2的来解析依赖包。Apache Nutch就是使用该项目 来管理依赖包的。

使用简介

定义Ivy配置文件 Ivy.xml

<ivy-module version="2.0">
    <info organisation="org.apache" module="hello-ivy"/>
    <dependencies>
        <dependency org="commons-lang" name="commons-lang" rev="2.0"/>
        <dependency org="commons-cli" name="commons-cli" rev="1.0"/>
    </dependencies>
</ivy-module>

这样定义依赖和mavenPOM定义的中依赖类似:

<dependency>
    <groupId>commons-lang</groupId>
    <artifactId>commons-lang</artifactId>
    <version>2.0</version>
</dependency>

阅读剩余部分...

Flume 入门

作者:Rui 发布时间:September 9, 2015 分类:BIGDATA 浏览:881

Flume NG 简介

Flume NG(Next Generation)是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

下载 Flume NG

在官网 有Flume的源码包和二进制包,你可以从这里下载,如果你不想了解Flume的源码,可以直接下载二进制包,这样更简单。

Building From Source

如果想编译Flume源码,你必须先下载Git,JDK1.6, Maven

  1. 下载源码
$ git clone https://git-wip-us.apache.org/repos/asf/flume.git flume
$ cd flume
$ git checkout trunk
  1. 编译源码

Apache Flume 需要额外的MAVEN 配置

export MAVEN_OPTS="-Xms512m -Xmx1024m -XX:PermSize=256m -XX:MaxPermSize=512m"
#Build the code and run the tests (note: use mvn install, not mvn package, since we deploy Jenkins SNAPSHOT jars daily, and Flume is a multi-module project)
$ mvn install
# ...or build the code without running the tests
$ mvn install -DskipTests

阅读剩余部分...

如何在 Ubuntu上配置伪分布式Hadoop

作者:Rui 发布时间:August 28, 2015 分类:JAVA,Linux,BIGDATA 浏览:533

环境

  1. Ubuntu 12.04 TLS
  2. Oracle JDK 1.8
  3. Hadoop2.6.4

创建用户并设置SSH

创建用户

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop 
sudo adduser hadoop sudo
sudo su - hadoop

SSH Password-less login setting

cd ~/.ssh/                     
ssh-keygen -t rsa             
cat ./id_rsa.pub >> ./authorized_keys  

环境变量设置

解压 Hadoop2.6.4 并将Hadoop-2.6.4 放到 /home/hadoop.

vim ~/.bashrc

在此文件中添加一下变量

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_HOME=/home/hadoop/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

阅读剩余部分...