步骤:

第一步:创建一个Java项目,并将HDFS相关的jar包和jdk引入项目

第二步:编写代码并将项目打包成jar包,上传到虚拟机

第三步:编写shell脚本

思路:使用传参的方式来创建文件,先创建一个Configuration对象,用Configuration对象的set方法设置hdfs的地址,用FileSystem.get()创建一个FileSystem对象,将参数传给FileSystem对象的create()方法,返回一个FSDataOutputStream对象,最后将内容写入文件。

完整代码如下:

 没加System.setProperty("HADOOP_USER_NAME","root");之前因为权限问题 创建文件失败,加了这个指定了hadoop的用户为超级管理员后就好了。

项目演示:

 结果

查看hdfs上也创建成功了

 然后将项目打包成jar包后上传到虚拟机。

接下来就是编写shell脚本了

touch mkdir.sh     //创建文件

vi mkdir.sh           //编辑文件

mkdir.sh文件内容:

 执行结果:

ps:可以直接用文件名执行shell脚本,是因为在环境变量中添加了当前文件的路径,添加完后记得source /etc/profile 不然不起效,还有如果文件没有权限执行,可以 chmod +x 文件的路径。





Logo

加入社区!打开量化的大门,首批课程上线啦!

更多推荐