配置hadoop之前做好準(zhǔn)備工作

1.修改主機(jī)名稱，我這里創(chuàng)建了三個(gè)虛擬主機(jī)，分別命名node-1，node-2，node-3，進(jìn)入 network 文件刪掉里面的內(nèi)容直接寫上主機(jī)名就可以了

vi /etc/sysconfig/network

2.映射 IP 和主機(jī)名，之后 reboot 重啟主機(jī)

[root@node-1 redis-cluster]# vim /etc/hosts
192.168.0.1 node-1
192.168.0.2 node-2
192.168.0.3 node-3

3.檢測(cè)防火墻（要關(guān)閉防火墻），不同系統(tǒng)的防火墻關(guān)閉方式不一樣，以下做個(gè)參考即可

1.service iptables stop  關(guān)閉
2.chkconfig iptables off  強(qiáng)制關(guān)閉  除非手動(dòng)開啟不然不會(huì)自動(dòng)開啟
3.chkconfig iptanles  查看
4.service  iptables status 查看防火墻狀態(tài)

4.ssh 免密碼登錄

輸入命令：ssh-keygen -t rsa  然后點(diǎn)擊四個(gè)回車鍵，如下圖所示：

然后通過 ssh-copy-id  對(duì)應(yīng)主機(jī) IP，之后通過“ssh 主機(jī)名/IP”  便可以不輸入密碼即可登錄相應(yīng)的主機(jī)系統(tǒng)

開始配置 Hadoop 相關(guān)文件

上傳 hadoop 安裝包解壓后進(jìn)入 hadoop-2.7.6/etc/hadoop 目錄下
以下所有的 <property> </property> 都是寫在各自相應(yīng)配置文件末尾的 <configuration> 標(biāo)簽里面

第一個(gè) hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171   #JAVA_HOME寫上自己jdk 的安裝路徑

第二個(gè) ：core-site.xml

vi <strong>core-site.xml</strong>

<!-- 指定Hadoop所使用的文件系統(tǒng)schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node-1:9000</value>
</property>
<!-- 定Hadoop運(yùn)行是產(chǎn)生文件的存儲(chǔ)目錄。默認(rèn) -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/data/hddata</value>
</property>

第三個(gè)： hdfs-site.xml

vi <strong>hdfs-site.xml</strong>

<!-- 指定HDFS副本的數(shù)量，不修改默認(rèn)為3個(gè) -->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<!-- dfs的SecondaryNameNode在哪臺(tái)主機(jī)上 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node-2:50090</value>
</property>

第四個(gè)： mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<!-- 指定MapReduce運(yùn)行是框架，這里指定在yarn上，默認(rèn)是local -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

第五個(gè)：yarn-site.xml

vi <strong>yarn-site.xml</strong>

<!-- 指定yarn的老大ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node-1</value>
</property>


<!-- NodeManager上運(yùn)行的附屬服務(wù)。需要配置成mapreduce_shuffle,才可以運(yùn)行MapReduce程序默認(rèn)值 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

第六個(gè)：slaves 文件，里面寫上從節(jié)點(diǎn)所在的主機(jī)名字

vi slaves
node-1
node-2
node-3

第七個(gè)：將 Hadoop 添加到環(huán)境變量

vi /etc/profile
export HADOOP_HOME=/export/server/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$PATH

然后將 hadoop 安裝包遠(yuǎn)程發(fā)送給各個(gè)副計(jì)算機(jī)

scp -r /export/server/hadoop-2.7.6/ root@node-2:/export/server/
scp -r /export/server/hadoop-2.7.6/ root@node-3:/export/server/

把配置好的環(huán)境變量也要遠(yuǎn)程發(fā)送給各個(gè)副計(jì)算機(jī)

scp -r /etc/profile root@node-2:/etc/
scp -r /etc/profile root@node-3:/etc/

然后試所有的計(jì)算機(jī)環(huán)境變量生效

source /etc/profile

關(guān)于 hadoop的 配置說(shuō)明
在 hadoop 官網(wǎng)，左下角點(diǎn)擊 Documentation 點(diǎn)擊相應(yīng)的版本進(jìn)去，拉到最左下角有 ***-default.xml
***-default.xml 是默認(rèn)的配置，如果用戶沒有修改這些選項(xiàng)將會(huì)生效
***-site.xml 是用戶自定義的配置
site的配置選項(xiàng)優(yōu)先級(jí)大于 default 的，如果 site 里面有就會(huì)覆蓋 default 里面的