上一篇文章中介绍了如何生成hadoop-x.xx.x-eclipse-plugin.jar的生成,本章介绍使用插件连接hadoop服务器,执行hadoop下的example程序。
eclipse版本3.4
hadoop本地伪分布式环境
1 将hadoop-x.xx.x-eclipse-plugin.jar 拷贝到eclipse目录下的plugins目录下,重启eclipse
2 启动eclipse后,点击Windows-->Preferrence-->hadoop map/reduce, Brower 选择下载的hadoop所在的路径:
3 点击菜单window->open perspective->other.. 打开Map/Reduce perspective,如下图:
4 点击左下角红圈,新建一个hadoop location,如下图所示
Location name 名称为表示,随便填一个就行
主要修改4个 Map/Reduce Master 的host和port 还有DFS Master的host和port
MR 的host和port的对应hadoop配置文件mapred-site.xml中mapred.job.tracker的ip和端口
而DFS master的host和port则对应 core-site.xml里fs.default.name里面的ip和端口
如果是本地配置,可以使用机器名,如果不是本地,则需要使用ip地址。点击finish即添加上
5 点击eclipse左边Project Explorer下的DFS Locations,将其展开,如下图所示:
6 导入hadoop目录下src下面的example文件夹,配置关联jar包,配置source文件位置,如下图所示
7 启动WordCount前,需要配置执行的参数,run->run open dialog...,配置参数修改为如下:(注意,hdfs下要有对应的目录才行)
碰到的问题:
1 连接的时候,报错连接不上表现为127.0.1.1:9000...等等无法连接,原因是因为ubuntu下会将系统hostname映射为127.0.1.1,如果你没有修改hostname为hadoop使用的机器名,则会报这个错误
解决方法:修改hostname为hadoop master的机器名。
2 连接上以后,出错报找不到Configuration类等信息,原因是因为hadoop plugin 没有将需要的jar包导入,或者导入了没有在MANIFEST.MF 引入。ubuntu下不能直接修改plugin jar包下的MANIFEST.MF,修改了也不起作用,需要在打包的时候修改MANIFEST.MF,然后在打plugin jar包
3 hdfs能够连接上,可以查看,但是运行程序的时候却报错:远程主机强迫关闭了一个现有的连接。主要是因为map/reduce的端口设置的不对,需要修改
相关推荐
本文档详细记录了如何在ubuntu下安装eclipse,以及如何在eclipse中安装hadoop插件,最后运行程序。
这是帮助想在eclipse上运行hadoop的插件,可以保证在eclipse上启动hadoop
hadoop eclipse插件 cdh3版本
使用Eclipse软件连接Hadoop的java-api时,配置的hadoop-eclipse的插件
自己编译的hadoop-1.1.1 eclipse插件
再把hadoop eclipse plugin 1 2 1 jar插件也编译成功了(这个大家多懂得 用eclipse开发hadoop程序必备的插件 ) 我尝试过可用 希望这两个包对大家有用 自己编译摸索很耗时间的 如果先没时间 可以用现成的用用 之后...
Tested with following eclipse version for hadoop2.7.2(http://pan.baidu.com/s/1i4plIfF): Eclipse Java EE IDE for Web Developers. Version: Mars.1 Release (4.5.1) Build id: 20150924-1200,附使用教程,不...
hadoop3x-eclipse-插件 hadoop 3.xx的eclipse插件 如何建造 [hdpusr @ demo hadoop2x-eclipse-plugin] $ cd src / contrib / eclipse-plugin 假设hadoop的安装目录为/ usr / share / hadoop [hdpusr @ apclt ...
大数据是当今的一个热门话题,相信搞JAVA的我们当然不能错过了,尤其是...hadoop可以不用eclipse插件也可以运行,但当然,对于我们初学的,有个插件肯定好很多,我们可以集中精力先让它跑起来,然后再慢慢去深入研究。
Tested with Eclipse Java EE IDE for Web Developers. 亲测可用,两个版本的hadoop-eclipse插件,插件版本过高也会出现eclipse连接不上的问题,所以给大家提供一高一低两个版本。
用eclipse将Hadoop程序打包成jar及直接设定参数运行
hadoop的eclipse插件,在Windows平台下的Eclipse Java EE IDE for Web Developers | version:Juno Service Release 1 测试通过
java 8 64位,hadoop2.7.4 eclipse-jee-oxygen-R-win32-x86_64,win10 自己测试成功
hadoop-eclipse-plugin-2.2.0插件 windows/linux用的eclpse插件 支持hadoop-2.2.0
hadoop2.6.0 插件,eclipse 版本:eclipse-java-luna-SR1a-linux-gtk-x86_64.tar.gz
Java idea 开发工具 hadoop-hdfs插件。 idea hadoop-hdfs插件,和eclipse上一样的Hadoop hdfs的插件功能一样;端口分别为50020和9000,不用点测试直接点应用即可 idea插件 hadoop hdfs
本hadoop eclipse 插件在 Eclipse Java EE IDE for Web Developers. Version: Helios Service Release 2 版本下编译打包. 如有其他版本需求可留言. 暂不支持提供myeclipse的插件(myeclipse插件太多,极有可能编译...
插件需要选择一个目录,该目录即不是hadoop的目录,也不是hadoop src目录,而是你自己随便建一个目录,在该目录下把所需要用到的jar放进去。jar如下: avro-1.5.3.jar commons-cli-1.2.jar commons-configuration-...
Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development...