hadoop3.x 文件系统补充命令(hadoop fs、hdfs fs)

上接:hadoop3.x 文件系统常用命令(hadoop fs、hdfs dfs)

从 本地 到 HDFS 操作

从本地移动到HDFS(moveFromLocal)

hadoop fs  -moveFromLocal  ./1.txt  /top/malaoshi/data

追加(appendToFile)

hadoop fs -appendToFile ./2.txt /top/malaoshi/data/1.txt

从本地拷贝文件到HDFS(copyFromLocal)

类似 hadoop fs -put 命令,详见 链接

hadoop fs -copyFromLocal 1.txt /top/malaoshi/data/

从 HDFS 到 本地 操作

从HDFS拷贝到本地(copyToLocal)

类似 hadoop fs -get 命令,详见 链接

hadoop fs -copyToLocal /top/malaoshi/data/1.txt ./

合并多个文件下载(getmerge)

将 HDFS 目录中多个文件合并,然后下载

hadoop fs -getmerge /top/malaoshi/data/*.txt ./all.txt

HDFS 内操作

在HDFS中拷贝文件(cp)

hadoop fs -cp /top/malaoshi/data/1.txt /1.txt

在HDFS中移动文件(mv)

hadoop fs -mv /1.txt /top/malaoshi/data/1.txt

修改文件名(mv)

hadoop fs -mv /1.txt /2.txt

统计目录的大小(du)

显示该目录内文件的大小
hadoop fs -du  -h /top/malaoshi/data/

命令解释:

  • -h :人类可读的方式格式化文件大小(例如64.0m而不是67108864)

显示结果如下:

70  70  /top/malaoshi/data/data.txt

结果解释:

  • 第一列是该目录下总文件大小

  • 第二列是该目录下所有文件在集群上的总存储大小。与副本数有关,如果副本数是3 ,那么第二列是第一列的3倍

  • 第三列标示你查询的目录

显示该目录的大小
hadoop fs -du -s -h /top/malaoshi/data

设置文件副本数量

hadoop fs -setrep 10 /top/malaoshi/data/data.txt

注意: 此处设置的副本数只是 记录在 NameNode 的元数据 中,是否生效 取决于 DataNode 数量。只有 DataNode 数量增加到10台时,副本数才能达到10

权限

修改文件权限(chgrp 、chmod、chown)

hadoop fs  -chmod  666  /top/malaoshi/data/1.txt
hadoop fs  -chown  root:root   /top/malaoshi/data/1.txt

原文出处:/show_1IXZwl0GbZ9.html