Docker - Hadoop 2.7.1

通过 docker 来安装 hadoop 平台

https://hub.docker.com/r/sequenceiq/hadoop-docker/

# 下载与运行 hadoop 2.7.1 平台
$ docker run --name hadoop271 -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash

# /usr/local/hadoop
$ cd $HADOOP_PREFIX

# 运行 mapreduce - grep 例子
# 资料 input 已准备好在 hdfs
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'

# 运行 mapreduce - wordcount 例子
$ mkdir input2
$ cd input2
# 在 txt 中写些英文句子, 其中有些字重复
$ vi test1.txt
$ vi test2.txt
$ cd ..
# 先将资料 input2 放进 hdfs 
$ bin/hadoop fs -put input2/ /user/root
# 查看输入
$ bin/hadoop fs -ls /user/root/input2 
# 运行
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input2 output

# 查看输出
$ bin/hadoop fs -cat /user/root/output/*
或
$ bin/hdfs dfs -cat output/*

# 撤除输出
$ bin/hadoop fs -rmr /user/root/output

# 进入已开启的 hadoop271
$ docker exec -it hadoop271 bash