mengenal cloud computing_dan_big_data_dengan_bahasa_awam

Mengenal Cloud Computing, Big Data, dan Open Source

Rusmanto MaryantoKetua Sekolah Tinggi Teknologi Terpadu Nurul Fikri

School of Open Source Technology

Intro...

http://rattanasak.jigsawoffice.com/upload/editor-pic/images/web3_3.jpg

Intro... Lowongan Kerja Baru

● 1996 Internet > banyak lowongan kerja bidang komputer dan informatika yang mensyaratkan kemampuan sistem operasi Linux (system & networking), web server Apache, pemrograman PHP/Java, database MySQL/PostgreSQL, dll.

● 2006 Mobile & Cloud > Virtualisasi, Clustering, analisis data, Business Intelligence, dll.

● 2016 Big Data > Hadoop, NoSQL, HBase, dll.

Intro... Istilah Pembuka

● Virtualization (Virtualisasi): Cara menjalankan komputer “maya” (guest) pada komputer “asli” (host). Contoh: sebuah komputer menjalankan sistem operasi Linux, lalu menjalankan program mesin virtual untuk menjalankan sistem operasi lain (Linux, Windows, dll.)

● Clustering: Membuat kluster beberapa komputer digabung dalam jaringan menjadi “satu” komputer.

● Distributed & Paralel Computing: menjalankan sebuah proses (misal penyimpanan dan pengolahan data) pada banyak komputer dalam suatu cluster.

Apa itu Big Data?

● Big Data: istilah untuk data sangat besar dan kompleks yang tidak dapat dikelola (capture, store, manage, analyze) dengan software dan tool pemrograman database konvensional.

● Tidak cukup dengan SQL biasa saja (Relational Database Management System), sehingga butuh teknologi baru/tambahan NoSQL (Not only SQL).

● Tidak hanya berisi data berstruktur/relational tapi juga (mayoritas) tidak berstruktur (unstructured).

Sumber: http://vijjam.blogspot.com

3V, 4V, atau 5V?

● Volume: Ukuran data sangat besar dari sisi jumlah yang mencapai Milyaran Terra Byte = trilyunan GB.

● Velocity: Kecepatan data sangat besar dari sisi kemunculan dan perubahan.

● Variety: Variasi jenis/tipe data sangat banyak, unstructured dan multi-structured.

● Value: Nilai yang dihasilkan juga sangat besar, dari sisi manfaat dalam bentuk uang maupun non uang.

● Veracity: Kebenaran dan keakuratan informasi yang tidak mudah dipastikan, misal salah ketik di Twitter.

Big Volume

Volume bertambah secara eksponensial. Saat ini 2015: 4,8 Zetta Bytes = 4.800 Peta Bytes = 4,8 juta Exa Bytes = 4,8 milyar Terra Bytes = 4,8 trilyun Giga Bytes. *)

*) Sumber: wipro.com

Big Velocity

Pertambahan (2011):

- Twitter 7 TB/hari

- Facebook 10 TB/hari

Sumber: bigdatauniversity.com

Sumber: wipro.com

Big Variety

Sumber: wipro.com

Big Value

Sumber: wipro.com

Apa Sumber Big Data?

Sebagian besar (80%, IBM) adalah unstructured data:● Lebih dari 5 milyar telepon selular mengirim data

sms, sekitar 1 milyar di antaranya berupa smartphone yang mengirim dan mengunduh berbagai jenis data seperti web blog, buku, email, chat, gambar, foto, video, gps, dsb.

● Lebih dari 6 milyar peralatan terhubung ke internet, a.l. server, pc, laptop, tablet, hp, peralatan kesehatan, satelit, jam tangan, sensor otomotif, dan Internet of Things lainnya.

Apa Sumber Big Data?

Beberapa jenis aplikasi ini penyumbang Big Data:● Aplikasi web biasa, e-commerce, dll.● Rekaman pembelian berbagai peralatan kantor dan

transaksi lain di toko-toko, dll. ● Transaksi perbankan, kartu kredit, dll.● Jejaring sosial: teks, gambar, suara, video, dll. ● Streaming: audio dan video

Big Data dan Cloud

Mengelola Big Data tidak harus dengan komputer super, tidak harus menggunakan komputer fisik, dan tidak harus mensetup sistem sendiri, karena ada penyedia Cloud.● Cloud Computing (komputasi awan): istilah bisnis

penyewaan server dan/atau software di internet untuk menghemat biaya pengadaan dan perawatan ICT.

● Virtualisasi dan Clustering merupakan teknologi lama yang dipakai untuk Cloud Computing dan Big Data.

● Big Data dapat disediakan dengan Cloud dalam bentuk SaaS, PaaS, IaaS, atau kombinasi dua atau ketiganya.

Cloud SaaS, Software as a Service

● SaaS menyediakan software aplikasi di internet (penyedia sistem cloud). Berbeda dengan perangkat lunak tradisional yang disediakan di komputer masing-masing, perangkat lunak SaaS terdapat di dalam jaringan dan hanya dipasang ketika digunakan.

● Contoh SaaS: gmail.com, docs.google.com, SugarCRM, Zimbra, FengOffice, dll.

● SaaS khusus Big Data: Jkool www.jkoolcloud.com, dll.

Cloud PaaS: Platform as a Service

● PaaS menyewakan sistem (SW dan HW) berupa platform untuk pengembangan aplikasi. PaaS menyediakan semua software yang dibutuhkan, seperti tool pemrograman dan database, termasuk untuk testing, deployment, dll.

● Contoh: App Inventor untuk membuat aplikasi Android dengan web (ai2.appinventor.mit.edu), OpenShift (RedHat) yang mendukung php, java, python, ruby, dll., Google Apps Engine, Amazon Web Services, Cloud Foundry, dll.

IaaS: Infrastructure as a Service

● IaaS menyewakan infrastruktur dalam bentuk komputer (virtual server, dns server, mail server, dll.), akses jaringan, penyimpanan (SAN: Storage Arena Network / NAS: Network-Attached Storage), cluster Big Data, dll.

● Contoh OSS: CloudStack, OpenStack, Eucalyptus, Proxmox (Linux distribution), OwnCloud, dll.

● Penyedia server: Amazon EC2, Ubuntu EC, Amazon Cloud Drive, Infinys (www.isi.co.id), dll.

● Free IaaS: Drive.google.com, Dropbox, dll.

Cluster Big Data dalam Cloud

Server atau PC atau RaspBerry Pi

Sumber: http://vijjam.blogspot.com

Google, Pioner Big Data

● GFS (Google File System): Sistem (penyimpanan) file terdistribusi. Penyimpanan tidak dalam sebuah harddisk dalam sebuah komputer, tapi dalam banyak tempat penyimpanan secara menyebar (distributed), clustering.

● MapReduce: Pemrograman khusus untuk database terdistribusi, melalui sistem cluster, ribuan komputer.

● BigTable: sistem database Google, mendukung sistem file terdistribusi dan cocok untuk data tidak terstruktur yang diproses secara tumpukan (Batch Processing), bukan interaktif atau real-time.

Hadoop, Open Source Big Data

● HDFS (Hadoop Distributed File System): Seperti GFS, sistem (penyimpanan) file terdistribusi. Penyimpanan tidak dalam sebuah harddisk dalam sebuah komputer, tapi dalam banyak tempat penyimpanan secara menyebar (distributed file system), dan clustering.

● Hadoop MapReduce: Pemrograman khusus untuk database terdistribusi, melalui sistem cluster, ribuan komputer.

● Hadoop Base (HBase): seperti Google BigTable.

Potensi Ekonomi Big Data

Sumber: wipro.com

Potensi Ekonomi Big Data

● Industri kesehatan Amerika akan menghasilkan tambahan US$ 300 billion (Rp 3.300 trilyun) per tahun, lebih besar dari APBN Negara RI.

● Pemerintah Eropa menghemat US$ 149 billion (Rp 1.650 trilyun) per tahun.

● Kenaikan revenue Rp 1.000 trilyun utk operator dan manfaat Rp 7.000 trilyun utk pengguna.

● Kenaikan laba operasional retailer (USA) 60%.Sumber: McKinsey Global Institute (2011).

Big Data di berbagai Perusahaan

● Amazon: mengelola big data terkait pelayanan pelanggan, menjual jasa cloud untuk big data, seperti Amazon MapReduce dan Amazon EC2 Hadoop cluster.

● IBM: big data bertambah 2,5 exabyte per hari. Setahun Rp 13 trilyun pemasukan dari Big Data, a.l. mengolah big data untuk mengurangi kemacetan di Lyon Perancis.

● GE: memprediksi delay/kerusakan pesawat, dll.● Detik.com, solusi247.com, Facebook, Google, Twitter,

Yahoo, dll.

Ribuan Komputer Yahoo

Sumber: http://vijjam.blogspot.com

Open Source di Big Data & Cloud (1)

Contoh produk populer dan Open Source: ● Sistem operasi Linux CentOS, Ubuntu, BlankOn, dll.● Framework pengembangan: Apache Hadoop dengan

MapReduce, dll.● Database NoSQL: Apache Cassandra, Apache HBase,

MongoDB, dll.● Tool dan Bahasa Pemrograman: Eclipse, Java, Hive,

Pig, Python, R, dll.

Open Source di Big Data & Cloud (2)

Produk Cloud untuk Big Data:● Google Big Query, Google Compute Engine

(Hadoop, Hive, Pig), Amazon Web Services MapReduce, Yahoo Genome, dll.

Produk Hasil Modifikasi:● Cloudera Enterprise (Hadoop for Enterprise), IBM

Watson Foundations (Hadoop), IBM InfoSphere Streams, dll.

Contoh Aplikasi Cloud & Big Data

● Waze.com: data kecepatan kendaraan, kecelakaan, polisi, lampu merah, map chat, spbu, dll.

● Kontribusi pasif pengguna: data diambil dari perangkat mobile (hp, tablet, head unit, dll.)

● Kontribusi aktif pengguna: macet, kecelakaan, polisi, jalan baru, jalan rusak, dll.

Peluang Bisnis/Kerja di Dunia

● 2011: Di Amerika saja butuh 190.000 tenaga ahli baru di bidang Big Data.

● 2018: Diproyeksikan Amerika butuh 490.000 tenaga ahli baru di bidang Big Data.

● Lowongan kerja di seluruh dunia untuk Big Data pada 2015 sekitar 4,4 juta orang.

Sumber: McKinsey Global Institute (2011).

Peluang Bisnis/Kerja di Indonesia

● Peluang perusahaan dan pemerintahan membutuhkan TI untuk Big Data, dengan pilihan hemat memilih produk Open Source seperti Linux, berbagai produk Apache, pemrograman Java, dll. Sehingga kebutuhan SDM Open Source, Cloud, dan Big Data meningkat.

● Peluang menggunakan Cloud Computing bertambah besar karena kebutuhan Big Data, lebih murah dan mudah dalam perawatan, ditambah lagi semakin banyak jumlah smartphone/tablet (di atas 250 juta).

Anda akan Mulai dari Mana?

● Big Data, Cloud Computing, dan teknologi terbaru, termasuk produk-produk Open Source yang belum banyak diberikan di lembaga pendidikan formal, padahal dunia industri dan pemerintah memakainya.

● Mahasiswa dapat memulai belajar di luar kuliah, misal dengan bergabung ke komunitas ICT seperti Klub Studi Linux, KPLI (Kelompok Pengguna Linux Indonesia), Komunitas BlankOn, Asosiasi Open Source Indonesia, dan lain-lain. Contoh penyedia Free E-learning: Bigdatauniversity.com.

Developer Tidak hanya Programmer

● Pengembang Cloud dan Big Data tidak hanya programmer, tidak harus lulusan S1 ilmu komputer.

● Perlu ahli sistem operasi, jaringan, dan database untuk mengelola infrastruktur dan aplikasi.

● Perlu tenaga kesenian (art) atau multimedia yang menangani desain antara muka (UI dan UX), termasuk suara dan video.

● Perlu penulis dokumentasi yang baik untuk buku panduan/manual, help, buku pelajaran/kuliah, dll.

● Perlu tenaga manajemen proyek, marketing, dll.

Bidang yang Perlu Mahasiswa

● Sistem operasi Linux dengan berbagai software untuk jaringan, virtualisasi, clustering, cloud. Prodi: TI/SI/SK

● Aplikasi untuk Cloud: web Apache, database MySQL, pemrograman PHP, Java, Framework PHP/Java, dan paket-paket sistem informasi. Prodi: TI/SI/SK

● Aplikasi untuk Big Data: Apache Hadoop, Cassandra, MongoDB, Hive, Pig, Python, R, dll. Prodi: TI/SI/SK

● Linux untuk Internet of Things: smartphone, tablet, multimedia, kontrol, sensor, robot, dll. Prodi: TI/SK

dikuasai

Selamat Belajar Sepanjang Hayat

Email: rusmanto@gmail.com

FB #rusmanto.maryanto

Google +RusmantoM

Twitter @ruslinux