HADOOP SETTING Arum Handini Primandari

PERSIAPAN

Pastikan setting virtualization technology laptop ENABLE

Buka setting bios: Restart laptop

Masuk ke setting bios pada saat laptop booting. Catatan: setiap merk laptop memiliki kunci masuk bios yang berbeda-beda, googling terlebih dahulu, contoh: tekanF2 pada dell ketika booting (logo dell muncul)

Cari setting untuk virtualization , arahkan pada“ENABLE”. Terkadang, virtualization berada di menu “option” atau menu tersendiri.

VIRTUAL MACHINE

Virtual machine (VM) dalam komputasimerupakan tiruan dari system computer yang dapat menjalankan program yang samaseperti computer biasa.

Kegunaan VM:

Mencoba suatu software baru. Apabila terjadikerusakan VM karena software tersebut, maka tidakakan mempengaruhi komputer aslinya.

Menjalankan software yang tidak disupport oleh OS dari komputer asli.

Terdapat beberapa pilihan virtual machine

yang dapat digunakan, seperti vmware atau

virtualbox (dari Oracle)

INSTALL VIRTUAL MACHINE

Atau vmware player: https://my.vmware.com/en/web/vmware/free#desktop_end_user_computing/vmware_workstation_player/14_0

Install vmware

INSTALL VIRTUAL MACHINE

Download virtualbox oracle: https://www.virtualbox.org/

Install virtualbox

CLOUDERA QUICKSTARTS

CDH: Cloudera Distribution

for Hadoop

https://www.cloudera.com/downloads/quickstart_v

ms/5-13.html

Pilih platform:

vmware/virtualbox

MENGAKSES HADOOP

Untuk mengakses Hadoop, client dapatmenggunakan browser, mobaxterm, atau putty.

Misalkan, client (yang menggunakan OS Windows) ingin mengakses file di VM-Linux. Untuk keperluan tersebut, client membutuhkanmobaxterm.

Lakukan installasi mobaxterm. Contoh: gunakanMobaXterm_Installer_v10.5

Mobaxterm

Klik session untuk membuat sesi

koneksi baru.

MOBAXTERM

Klik SSH untuk membuat koneksidengan protocol SSH.

Untuk terhubung dengan VM-Linux, kita membutuhkan nomor IP.

Mendapatkan IP dari VM-Linux:

Pada panel cloudera-quicstart, klikicon terminal

Ketikkan perintah: ifconfig

Nomor IP akan muncul pada “inetaddr”

Copy nomor IP tersebut, kemudianpastekan pada mobaxterm bagianRemote host. Gunakan username: Specify username: cloudera.

MOBAXTERM

Untuk memulai, ketikkan password: cloudera.

Dengan begitu, mobaxterm siap digunakan.

Gunakan perintah berikut pada terminal mobaxterm: 𝑙𝑙 digunakan untuk melihat direktori yang berada di

dalam linux

𝑚𝑘𝑑𝑖𝑟 digunakan untuk membuat direktori baru

Selain mengakses Linux, mobaxtermdigunakan untuk mengakses Hadoop: ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 digunakan untuk mengakses HDFS

(Hadoop Distributed File System)

ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑙𝑠 /𝑢𝑠𝑒𝑟 digunakan untukmemunculkan user dibawah Hadoop

ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑚𝑘𝑑𝑖𝑟 /𝑑𝑖𝑟 digunakan untukmembuat direktori.

Contoh: ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑚𝑘𝑑𝑖𝑟 /user/cloudera/contoh

ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑐𝑜𝑝𝑦𝐹𝑟𝑜𝑚𝐿𝑜𝑐𝑎𝑙 digunakan untukmeng-copy file dari local Linux ke dalam hdfs

MOBAXTERM

Contoh:

Buat folder “projects” dibawahfolder /home/cloudera/Documents

Upload file “Adult.csv” ke dalamfolder tersebut. Gunakan icon “upload to this current folder” untukmengambil file dari folder di OS Windows

MOBAXTERM

Buat folder dengan nama “contoh” dalam hdfs

Pastikan bahwa folder tersebut telah ada

Copy file “Adult.csv” dari Linux, ke dalam hdfs

ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 −𝑚𝑘𝑑𝑖𝑟 /user/cloudera/contoh

ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑙𝑠 /user/cloudera

ℎ𝑑𝑓𝑠 𝑑𝑓𝑠 − 𝑐𝑜𝑝𝑦𝐹𝑟𝑜𝑚𝐿𝑜𝑐𝑎𝑙/home/cloudera/Documents/projects/Adult.csv hdfs://localhost/user/cloudera/contoh/Adult.csv

HUE

Selain menggunakan terminal, mengakses dan menjalankan hdfsdapat dilakukan denganmenggunakan user interface HUE (Hadoop User Experience)

Gunakan:

Username: cloudera

Password: cloudera

HUE

Klik icon tersebut yaitu File browser dalam HUE.

Folder “contoh” dan data “Adult.csv” berada di bawah/user/cloudera.

METASTORE TABLE

Data yang akan diolah (query) menggunakan tools yang tersediadalam Hadoop, diubah ke dalammetastore table terlebih dahulu.

Langkah-langkah: Klik “Data Browser”, kemudian pilih

“Metastore Table”, klik “default” (tempatpenyimpanan table)

Klik icon “create a new table from file” (icon kertas dengan tanda plus)

Isikan nama table name, input file (pilihlokasi tempat menyimpan file)

METASTORE TABLE

Ikuti setiap step. Pada step 3: define Columns, perhatikan:

Nama kolomnya

Tipe data kolom:

Klik “create table” jika sudah selesai.

TIPE DATA INTEGER

QUERY

Untuk melakukan query, dapatdigunakan tools Hadoop “Hive” maupun“Impala” (https://www.dezyre.com/article/impala-vs-hive-difference-between-sql-on-hadoop-components/180)

Pada “Query Editor” pilih “Hive”

Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.

(https://www.tutorialspoint.com/hive/hive_introduction.htm)

QUERY

Gunakan data: Adult

Lakukan query, contoh: tampilkansemua kolom pada table adult, dimanaage lebih dari 25

BERTUKAR FILE ANTARA OS

Untuk keperluan bertukar file antara OS Windows dengan VM-Linux, selain menggunakan mobaxtermdapat pula melalaui beberapa cara: Drag and drop dari Windows ke Linux

Pada versi lama cloudera-quickstarts, bertukar file cukup drag dari Windows ke folder di Linux

Pada versi baru cloudera-quickstart, bertukar file dengan drag and drop perlu disetel terlebih dahulu.

sharing folder antara kedua OS.