操作系统为ubuntu14.0
eclipse版本为4.4
hadoop版本为hadoop-1.2.1
hadoop环境为本地的伪分布是环境。
网络上虽然有很多的hadoop-x.xx.x-eclipse-plugin.jar包,但是很多时候跟你的eclipse版本并不匹配,所以自己编译eclipse插件就很必要。
hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-plugin 下面。
当然不能直接编译,编译之前需要对相关文件进行修改(首先你要有ant,没有的话需要下载并配置)
1 修改build.xml
打开eclipse-plugin下面的build.xml, 添加一些properties.如下,第一个为Hadoop的版本,ant下会使用到这个版本来打开获取一些JAR包,所以这个版本要跟你的hadoop版本一致,hadoop目录下的jar包名称也不能够修改,不然会导致找不到jar包,第二个参数是配置eclipse.home的值
- <property name='version' value='1.1.2'/>
- <property name='eclipse.home' location='/home/cheney/soft/eclipse'/>
接下来在 classpath下添加上hadoop目录下的所有jar包,不然编译的时候会找不到很多类
- <path id="classpath">
- <fileset dir="${hadoop.root}">
- <include name="*.jar"/>
- </fileset>
- <path refid="eclipse-sdk-jars"/>
- </path>
接着修改,(注意默认配置下,hadoop-core-${version}.jar包在Hadoop根目录下,但是配置文件中却指向了hadoop根目录下的build目录下,所以如果不修改xml配置文件去掉build的话,那么就需要在hadoop下简历build目录,并拷贝根目录下的hadoop-core-${version}.jar到build目录,,同样默认配置下commons-cli-1.2.jar取包位置也不是在根目录下的lib下,而hadoop1.2.1是放在lib下的 也需要修改,而且还要添加很多的jar包进来)修改xml配置文件进行添加是,注意别写错了版本,导致找不到jar文件
- <target name="jar" depends="compile">
- <mkdir dir="${build.dir}/lib"/>
- <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
- <copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>
- <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
- <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
- <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
- <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
- <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
- <jar
- jarfile="${build.dir}/hadoop-${name}-${version}.jar"
- manifest="${root}/META-INF/MANIFEST.MF">
- <fileset dir="${build.dir}" includes="classes/ lib/"/>
- <fileset dir="${root}" includes="resources/ plugin.xml"/>
- </jar>
- </target>
2 修改 eclipse-plugin目录下/META-INF/下的MANIFEST.MF,默认情况下MANIFEST.MF文件下的bundle-ClassPath只有如下所示
Bundle-ClassPath: classes/,
lib/hadoop-core.jar
没有包含所有的需要的jar包,需要修改为:
Bundle-ClassPath: classes/,
lib/hadoop-core.jar,
lib/commons-cli-1.2.jar,
lib/commons-configuration-1.6.jar,
lib/commons-httpclient-3.0.1.jar,
lib/commons-lang-2.4.jar,
lib/commons-jackson-core-asl-1.8.8.jar,
lib/commons-jackson-mapper-asl-1.8.8.jar
注意jar包的文件名不要写错,因为你的Hadoop可能跟我的hadoop使用的版本不同,导致文件名也不同,需要修改
以上修改完后,就可以进行ant了,切换到eclipse-plugin下ant即可,完成后,拷贝到eclipse下的plugins下,重启eclipse即可
存在的问题:
1 网上很多人写的文章中没有配置过第二步,没有第二步也能编译出来plugin jar包,但是在使用的时候会报错,说找不到Configuration类等,虽然你将需要的jar一起打包到了plugin jar包里面,但是因为你没有在MANIFEST.MF引用,还是不会加载。ubuntu下打完jar包在进行修改MANIFEST.MF也不行,可能是因为文件修改后文件MD5不对了导致他还是使用以前的还是什么其他原因,反正不会生效。window下是否可以没有进行测试。所以最好开始的时候就把jar包给配置好,这样就不会出很多问题了。
2 本人配置过eclipse4.4 加 hadoop 0.20.11U版本的plugin,除了以上步骤外,还需要修改
$HADOOP_HOME/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java
- import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
改为
- import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
但是eclipse3.3 + hadoop0.20.x则不需要修改以上代码,而且还需要在path初将json.jar包导入才行
相关推荐
windows平台.eclipse的hadoop2.6.1插件 jdk1.6编译的. hadoop是安装包是32位的
编译的eclipse hadoop 2.6.1插件
eclipse的hadoop2.73插件,可以实现eclipse的hadoop以及spark集成开发环境。
hadoop版本2.7.7 Eclipse 版本4.5.1,dfs location插件,自己编译成功,使用有效,将该jar包放到eclipse的plugins目录下
附件为eclipse的hadoop插件,使用hadoop2.7.4和 eclipse4.7.0 ,在win7 64bit 环境下进行编译生产。可以正常使用。
这是eclipse的Hadoop2x插件,可以根据自己的Hadoop版本来编译对应的插件
2. 上述文件是配套的,本人亲测可以组合使用,注意,插件是基于jdk1.8编译的,如果要自行尝试其他jdk和eclipse,要留心版本匹配。 3. 如有小伙伴急需又没有积分下载,可以给我留言,看到了就私信分享给你。
eclipse连接hadoop-2.7.5插件,刚做出来,亲测centos系统完美使用。
包含几个源编译中漏掉的包,servlet-api,commons-io,更新了htrace-core-3.1.0-incubating.jar
自己编译的hadoop-1.1.1 eclipse插件
win7下编译过的hadoop jar包 hadoop1.1.2 hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件,需要自己用ant编译。
最近学习hadoop,发现Hadoop不提供编译后的hadoop-eclipse插件,于是就自己动手编译了hadoop-eclipse-plugin-1.1.0.rar插件 Hadoop1.1.0是beta版本,有兴趣的朋友可以下载装装,感受下MapReduce编程框架
hadoop2.9.2 eclipse插件,里面有说明。1、使用hadoop-eclipse-plugin-2.9.2.jar该eclipse插件,可以访问远程的hdfs 2、使用hadoop-eclipse-plugin-2.9.2-local.jar,访问本地的文件系统 3、wintuils_hadoop.zip本地...
自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1
hadoop Eclipse插件Linux版本,编译环境hadoop2.2.0
是我自己编译的hadoop-1.0.4的eclipse插件,在eclipse-sdk-3.7.1上适用。在其他eclipse版本上应该也没有问题
hadoop--plugin-2.8.1的eclipse 插件,已经编译完成,下载hadoop2x-eclipse-plugin源代码https://github.com/winghc/hadoop2x-eclipse-plugin
这是linux下的eclipse的hadoop插件,很方便,编译好的,不需要再去编译,直接放到plungins文件夹下,稍加配置即可跑起来。
自己编译的hadoop-eclipse插件,亲测可用,适合hadoop-2.7.4版本
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler