博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用JAVA客户端对HDFS进行代码编写(五)
阅读量:5268 次
发布时间:2019-06-14

本文共 1064 字,大约阅读时间需要 3 分钟。

在linux中,在JAVA中编程,耗时的不是代码的编写而是环境的搭建,版本的选择。。。昨天eclipse突然抽风在linux运行不起来,耗了几个小时,试了各种办法、、。现在windows环境进行编码。JDK为1.7

  1. 首先新建一个Java project 。

  2. 手动导入hadoop的jar包,位置在hadoop解压文件的share文件下。主要是common中的hadoop-common-2.4.1包和common目录下lib文件中所有的包,lib里面是hadoop-common-2.4.1相关联的包;已经hdfs中的hadoop-hdfs-2.4.1包和下面的lib文件中所有包。

  3.  

  4. 在项目中见一个hdfsUtil类,用以操作hdfs中的文件。

     

     

public static void main(String[]args)throws Exception{

//读取classpath下的xxx-site.xml 配置文件,并解析其内容,封装到conf对象中

//也可以在代码中对conf中的配置信息进行手动设置,会覆盖掉配置文件中的读取的值

Configuration conf= new Configuration();

FileSystem fs=FileSystem.get(conf);

//根据配置信息,去获取一个具体文件系统的客户端操作实例对象

Path src=new Path("hdfs://weekend110:9000/apache-hive-0.14.0-bin.tar.gz");

FSDataInputStream in=fs.open(src);

FileOutputStream os=new FileOutputStream("/home/hadoop/Downloads/apache.tar.gz");

IOUtils.copy(in, os);

}

5.然后我们在linux的/home/hadoop/Downloads/目录下发现apache.tar.gz文件等于apache-hive-0.14.0-bin.tar.gz的大小。

6.此列验证只要把hadoop中相关的jar包导入到java的IDE中,可以通过代码来操作hadoop中的数据,hadoop是用java语音开发的他们之间具有天然的相容性。

7.这为以后通过JAVA编程的方式对数据的收集,整理,清洗,分析提供便利。

转载于:https://www.cnblogs.com/SamllBaby/p/5695476.html

你可能感兴趣的文章
12月21号例会记录
查看>>
POJ 2608
查看>>
初步认识三层架构
查看>>
安装测试
查看>>
head
查看>>
【JAVA编码专题】深入分析 Java 中的中文编码问题
查看>>
数据库锁
查看>>
pod install 无限卡顿
查看>>
论语·子路
查看>>
powershell获取windows子文件夹的大小
查看>>
Html ul、dl、ol 标签
查看>>
软工读书笔记 week4 ——《黑客与画家》下
查看>>
Astyle编程语言格式化工具的说明
查看>>
java中调用javascript
查看>>
PHP数组
查看>>
C语言数据结构之单链表的拆分
查看>>
Ext属性详细信息
查看>>
codeforces A. K-Periodic Array 解题报告
查看>>
安装wamp 缺少msvcr100.dll
查看>>
light oj 1079 01背包
查看>>