DAY79. Hadoop Basic Slave ์๋ฒ ํ๊ฒฝ์ค์ , ์ธ์ฆํค ์์ฑ ๋ฐ ๋ณต์ฌ
Slave ์๋ฒ ํ๊ฒฝ์ค์
1. Slave ๊ฐ์ ธ์ค๊ธฐ
VMware > Open Virtual Machine > ๋ฏธ๋ฆฌ ๋ง๋ค์ด๋์๋ Slave1 ํด๋ ์ ํ > Master ์ ํ
2. Slave ํ๊ฒฝ์ค์ ๋ณ๊ฒฝ
1) VMware ์ต์๋จMaster > Edit virtual machine settings
2) Options > General > Virtual machine name์ Slave1๋ก ๋ณ๊ฒฝ
3) Hardware > Network Adapter > Advanced... > Generate > OK
3. ๊ฐ์ ๋จธ์ ์คํ
VMware > Slave1 > Play virtual machine
* ํ์ ์ฐฝ ๋จ๋ฉด I Moved It ์ ํ
๊ฐ์ํ๊ฒฝ ์ต์๋จ์์ Slave1 ๊ฐ์๋จธ์ ๋ก๊ทธ์ธ ํ์ธ
4. Hostname ๋ณ๊ฒฝ
[Hadoop@master ~]$ su root -> ๊ด๋ฆฌ์ ๋ชจ๋ ์ง์
์ํธ:
[root@master hadoop]#hostnamectl set-hostname slave1 -> ์๋ฒ ์ด๋ฆ ๋ณ๊ฒฝ
[root@master hadoop]#hostname -> ์๋ฒ ์ด๋ฆ ํ์ธ
slave1
5. ๋คํธ์ํฌ ๋ณ๊ฒฝ (์ค์ > ๋คํธ์ํฌ)
1) ์ ์ > MAC์ฃผ์ ์ ํ
2) IPv4 > IPv4๋ฐฉ์ ์๋ > ์ฃผ์๋ salve1์ ์ฃผ์, ๋คํธ๋ง์คํฌ์ ๊ฒ์ดํธ์จ์ด, ๋ค์์๋ฒ๋ ๋ณธ์ธ IP์ฃผ์
6. hosts์ค์ ํ์ธ
[root@master hadoop]# vi /etc/hosts
172.16.57.5 master
172.16.57.10 slave1 -> IP์ฃผ์์ ํธ์คํธ ์ด๋ฆ ํ์ธ
์ธํฐ๋ท ์ฐ๊ฒฐ ํ์ธ > Slave1 ์๋ฒ ์ฌ๋ถํ > Slave1 ์๋ฒ ๋คํธ์ํฌ ํ๊ฒฝ์ค์ ํ์ธ
Master์๋ฒ ์์
VMware > Master > Play virtual machine
7. ์ํธ ์๋ฒ ์ ์(Master -> Slave)
[hadoop@master ~]$ ssh hadoop@slave1 -> hadoop ๊ณ์ ์ผ๋ก slave1 ์๋ฒ์ ์ ์
yes
hadoop@slave1's passwaod: -> hadoop ์ฌ์ฉ์ ๋น๋ฐ๋ฒํธ ์
๋ ฅ
[hadoop@slave1 ~]$ hostname -> ์ ์ํ ์๋ฒ์ host๋ช
ํ์ธ
slave1
[hadoop@slave1 ~]$ logout -> ๋ก๊ทธ์์
Connection to slave1 closed.
[hadoop@master ~]$ hostname -> ํ์ฌ ์๋ฒ๋ช
ํ์ธ
master
8. ์ํธ ์๋ฒ ์ ์ (Slave -> Master)
[hadoop@master ~]$ ssh hadoop@master -> hadoop ๊ณ์ ์ผ๋ก master ์๋ฒ์ ์ ์
yes
hadoop@master's passwaod: -> hadoop ์ฌ์ฉ์ ๋น๋ฐ๋ฒํธ ์
๋ ฅ
[hadoop@slave1 ~]$ hostname -> ์ ์ํ ์๋ฒ์ host๋ช
ํ์ธ
master
[hadoop@slave1 ~]$ logout -> ๋ก๊ทธ์์
Connection to slave1 closed.
[hadoop@master ~]$ hostname -> ํ์ฌ ์๋ฒ๋ช
ํ์ธ
slave1
9) Master/Slave ์๋ฒ ์ข ๋ฃ
Master/Slave ์ธ์ฆํค ์์ฑ ๋ฐ ๋ณต์ฌ
1) VMware > Master/Slave1 ๊ฐ์๋จธ์ ์คํ
2) ์ธ์ฆํค ์์ฑ/์ํธ ํด์ (master ์์ )
* ์ธ์ฆํค ์์ฑ ๋ชฉ์ : ํด๋ฌ์คํฐ๋ก ๊ตฌ์ฑ๋ ๊ฐ ์๋ฒ ๊ฐ์ ์ ์๊ณผ์ ์์ ์ํธ ์ ๋ ฅ์์ด ์ ์
[hadoop@master ~]$ pwd
/home/hadoop
[hadoop@master ~]$
[hadoop@master ~]$ ssh-keygen -t rsa -> ๊ณต๊ฐ ํค ์์ฑ ํ Enter key 3ํ
3) ๊ณต๊ฐํค๋ ํ ๋๋ ํฐ๋ฆฌ ํ์์ .ssh ํด๋๋ก ์์ฑ
[hadoop@master ~]$ cd .ssh -> ๋๋ ํฐ๋ฆฌ ์ด๋
[hadoop@master .shh]$
[hadoop@master .shh]$
[hadoop@master .shh]$ ls -> ๊ณต๊ฐ ํค ํ์ธ
id_rsa id_rsa.pub known_hosts
[hadoop@master .shh]$
4) ๋ค๋ฅธ ์๋ฒ(slave1)์ ์ธ์ฆํค ๋ณต์ฌ
- Master์์ ๊ณต๊ฐํค๋ฅผ ๋ณต์ ํ์ฌ Slave1์ผ๋ก ๋ณต์ฌํ์ฌ ๊ณต๊ฐํค๋ฅผ ๊ณต์
[hadoop@master .shh]$
[hadoop@master .shh]$ scp id_rsa.pub authorized_keys -> Master ๊ณต๊ฐ ํค ๋ณต์ฌ
[hadoop@master .shh]$ ls
autorized_keys id_rsa id_rsa.pub known_hosts
[hadoop@master .shh]$ scp id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/authorized_keys -> Slave1 ๋ณต์ฌ
haddop@slave's password:
Master ์๋ฒ ์ฌ์์
5) Master -> Slave1 ์๋ฒ ์ ์ ํ ์คํธ
[hadoop@master ~]$ pwd
/home/hadoop
[hadoop@master ~]$ ssh hadoop@slave1 -> Slave1 ์ฐ๊ฒฐ. ์ํธ ์๊ตฌ ์์!
[hadoop@slave1 ~]$ hostname -> ์ ์ ์๋ฒ ํ์ธ
slave1
[hadoop@slave1 ~]$ logout -> ๋ก๊ทธ์์
Connection to slave1 closed.
[hadoop@master ~]$
[hadoop@master ~]$ hostname -> ์ ์ ์๋ฒ๋ช
ํ์ธ
master
Slave1 -> Master ์๋ฒ ์ ์ ํ ์คํธ
[hadoop@slave1 ~]$ pwd
/home/hadoop
[hadoop@slave1 ~]$ ls.sssh -> ๊ณต๊ฐ ํค ๋ณต์ ํ์ธ
autorized_keys known_hosts
[hadoop@slave1 ~]$ ssh hadoop@master
hadoop@master's password: -> ์ํธ ๋ฌผ์ด๋ด
[hadoop@master ~]$ logout
Connection to master closed.
[hadoop@slave1 ~]$