广告

本站里的文章大部分经过自行整理与测试

2016年4月30日星期六

Eclipse - hadoop-eclipse-plugin-2.7.2.jar

1. 下载 eclipse 插件 (放到 ~/Downloads)
https://github.com/moxm/hadoop-eclipse-plugin-2.7.2.jar

# 将 jar 放到 /opt/eclipse/plugins
$ cd ~/Downloads
$ sudo mv hadoop-eclipse-plugin-2.7.2.jar /opt/eclipse/plugins

2. 重启 eclipse

Window - Show View - Other... - MapReduce Tools - Map/Reduce Locations
Window - Preferences - Hadoop Map/Reduce
添加一个 HDFS Location
在 terminal 启动 hadoop 后, 就可以在以下连接 namenode 的 HDFS
3. 弄个 New Java Project : WordCount
a) 取出 WordCouont 源码, 放到 src 里
就在 hadoop-2.7.1/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar

b) 加入 3个 External JARs
  • hadoop-2.7.1/share/hadoop/common/lib/commons-cli-1.2.jar 
  • hadoop-2.7.1/share/hadoop/common/hadoop-common-2.7.1.jar 
  • hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.1.jar
c) 另也加入已设定好的 Hadoop 配置文件到 src 里
  • core-site.xml 
  • hdfs-site.xml 
  • mapred-site.xml 
  • yarn-site.xml 
  • hadoop-env.sh
d) 还需要配置文件 log4j.properties

log4j.rootLogger=INFO, stdout

#log4j.logger.org.springframework=INFO
#log4j.logger.org.apache.activemq=INFO
#log4j.logger.org.apache.activemq.spring=WARN
#log4j.logger.org.apache.activemq.store.journal=INFO
#log4j.logger.org.activeio.journal=INFO

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

没有评论:

发表评论