小白學習大數據測試的小實戰

　　我們來運行一個官網的MapReduce demo程序來看看效果和處理過程。

　　大致步驟如下：

　　新建一個文件test.txt，內容為

　　Hello Hadoop

　　Hello xiaoqiang

　　Hello testingbang

　　Hello http://xqtesting.sxl.cn

　　將test.txt上傳到hdfs的根目錄

　　/usr/lib/hadoop/hadoop-2.7.4/bin/hdfs dfs -put /root/install/test.txt /

　　然后瀏覽器訪問可以看到剛才上傳的文件，如下圖

　　運行官方的一個wordcount程序來統計字符數量，命令如下：

　　/usr/lib/hadoop/hadoop-2.7.4/bin/hadoop jar /usr/lib/hadoop/hadoop-2.7.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount hdfs://localhost:9000/test.txt hdfs://localhost:9000/out

　　解釋下這個命令，大致意思是用hadoop執行一個叫hadoop-mapreduce-examples-2.7.4.jar的wordcount 方法，其中輸入參數為hdfs上根目錄的test.txt 文件，而輸出路徑為hdfs跟目錄下的out目錄

　　PS：我這里沒有把hadoop配置成環境變量，所以命令很長，你可以配置下，這樣命令就會短很多了，至于怎么配置，自己悟~

　　執行過程如下：

　　執行完成之后再次刷新瀏覽器可以看到out目錄和結果了

　　點擊part-r-00000，在彈出的頁面點擊download

　　這時候下載會出現404，我們只需要在URL里的localhost改為你服務器的ip地址就可以下載了。下載之后用編輯器打開，內容如下：

　　PS：你也可以用命令查看，如下圖

　　到這里，我們既完成了hadoop環境的搭建，也完成一次MapReduce的執行。其實也算是對hadoop功能的測試。如果你都成功了，那么恭喜你！如果你沒有成功，那么也恭喜你，因為你發現了自己的不足！