更新時間:2022-04-20 來源:黑馬程序員 瀏覽量:
大數(shù)據(jù)培訓(xùn)課程中經(jīng)常會講到HDFS,HDFS提供了多種數(shù)據(jù)訪問方式,其中,命令行的形式是最簡單的,同時也是許多開發(fā)者最容易掌握的方式,本節(jié)將針對HDFS的基本操作進行講解。
Shell在計算機科學(xué)殼中俗稱“殼”,是提供給使用者使用界面的進行與系統(tǒng)交互的軟件,通過接收用戶輸入的命令執(zhí)行相應(yīng)的操作,Shell分為圖形界面Shell和命令行式Shell。
HDFS Shell包含類似Shell的命令,示例如下:
hadoop fs<args> hadoop dfs<args> hdfs dfs<args>
上述命令中,hadoop fs使用面最廣,可以操作任何文件系統(tǒng),如本地系統(tǒng)、HDFS等;hadoop dfs則主要針對HDFS,已經(jīng)被hdfs dfs代替。
文件系統(tǒng)(FS)Shell包含了各種的類Shell的命令,可以直接與Hadoop分布式文件系統(tǒng)以及其他文件系統(tǒng)進行交互,如與Local FS、HTTP FS、S3 FS文件系統(tǒng)交互等。通過命令行的方式進行交互,具體操作常用命令,如表3-1所示。
表3-1 HDFS Shell參數(shù)
從表3-1可以看出,HDFS支持的命令很多,但這里只列舉常用的一部分,如果需要了解全部命令或使用過程中遇到問題都可以使用“hadoop fs -help”命令獲取幫助文檔,也可以通過Hadoop官方文檔htp://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html學(xué)習(xí),接下來對這些常用的命令進行操作演示。