windows 下部署hadoop

2020-09-25

1、下载hadoop 和配置的文件（待定）

（1）、各种版本hadoop

（2）、根据版本进行选择bin的内容进行覆盖（支持windows 运行的工具）将bin目录(包含以下.dll和.exe文件)文件替换原来hadoop目录下的bin目录

2、配置hadoop环境变量

右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME和编辑环境变量path如下图

系统变量

path

3、修改hadoop配置文件

（1）、编辑“E:＼hadoop-3.0.0\etc\hadoop”下的 core-site.xml 文件，将下列文本粘贴进去，并保存；

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/E:/hadoop-3.0.0/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/E:/hadoop-3.0.0/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9500</value>
    </property>
</configuration>

（2）、编辑“E:＼hadoop-3.0.0\etc\hadoop”目录下的 mapred-site.xml (没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存；

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9501</value>
    </property>
</configuration>

（3）、编辑“E:＼hadoop-3.0.0\etc\hadoop”目录下的 hdfs-site.xml 文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录；

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/E:/hadoop-3.0.0/workplace/data</value>
    </property>
	<property> 
        <name>dfs.webhdfs.enabled</name> 
        <value>true</value> 
    </property> 
    <property>
        <name>dfs.http.address</name>
        <value>localhost:50070</value>
    </property>

</configuration>

（4）、编辑“E:＼hadoop-3.0.0\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

<configuration>
   
	 <!-- Site specific YARN configuration properties -->
    <property>       
        <name>yarn.nodemanager.aux-services</name>       
        <value>mapreduce_shuffle</value>    
    </property>    
    <property>       
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    
    </property>
    <property>
        <!-- NodeManager总的可用虚拟CPU个数 -->
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
    <property>
        <!-- 每个节点可用的最大内存 -->
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>
    <property>
        <!-- 中间结果存放位置 -->
        <name>yarn.nodemanager.local-dirs</name>
        <value>/E:/hadoop-3.0.0/workplace/tmp/nm-local-dir</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/E:/hadoop-3.0.0/logs/yarn</value>
    </property>

</configuration>

（5）、编辑“E:＼hadoop-3.0.0\etc\hadoop”目录下的 hadoop-env.cmd 文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存；

1
2
3

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_201

4、运行环境

（1）、运行cmd窗口，执行“ hdfs namenode -format ”；
（2）、运行cmd窗口，切换到hadoop的sbin目录，执行“start-all.cmd”，它将会启动以下进程。

５、接下来上传测试，操作HDFS

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9５00来对hdfs进行操作了。

（1）、创建输入目录

1
2
3

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9500/user/

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9500/user/wcinput

（2）、上传数据到目录

1
2
3

C:\WINDOWS\system32>hadoop fs -put D:\file.txt hdfs://localhost:9500/user/wcinput

C:\WINDOWS\system32>hadoop fs -put D:\file１.txt hdfs://localhost:9500/user/wcinput

（3）、查看文件

E:\hadoop-3.0.0\bin>hadoop fs -ls hdfs://localhost:9500/user/wcinput
Found 2 items
-rw-r–r– 1 Administrator supergroup 3551058 2020-09-18 15:01 hdfs://localhost:9500/user/wcinput/file.txt
-rw-r–r– 1 Administrator supergroup 145579 2020-09-18 15:01 hdfs://localhost:9500/user/wcinput/file2.txt