template makalah lkstn2008 - digilib...

Risalah Lokakarya Komputasi dalam Sains dan Teknologi Nuklir: 6-7 Agustus 2008 (15-24)

KOMPUTASI GRID DAN PARALEL

Said Mirza Pahlevi*

ABSTRAK

KOMPUTASI GRID DAN PARALEL. Komputasi grid (Grid Computing) adalah teknologi yang sedang berkembang yang memungkinkan pemakaian secara bersama berbagai macam sumber daya yang tersebar dan dikelola oleh organisasi yang berbeda. Sumber daya tersebut meliputi tenaga komputasi, kapasitas penyimpanan data, sensor, jaringan komputer, bandwidth dan lain sebagainya. Pada awalnya, komputasi grid hanya dipakai oleh komunitas akademi dan peneliti, tetapi sekarang teknologi baru ini sudah merambah sampai ke dunia bisnis karena dapat meningkatkan Return on Invesment (ROI). Sejak dari awal perkembangannya sampai saat sekarang ini, komputasi grid telah dipakai untuk memecahkan masalah-masalah komputasi berkinerja tinggi, baik itu di lembaga riset maupun di perusahaan, seperti analisa data pada high energy physics dan nuklir, riset iklim (climate riset) serta analisa dan pencarian data pada masalah penemuan obat (drug discovery problem). Makalah ini menjelaskan secara singkat konsep dasar komputasi grid dan memaparkan sebuah proyek grid yang berhubungan dengan komputasi berkinerja tinggi. Selain dari itu, makalah ini juga menjelaskan tentang konsep dasar komputasi paralel yang dipakai pada dunia komputasi grid bagi pemecahan masalah komputasi komplek berkinerja tinggi. Komputasi paralel pada grid diimplementasikan dengan menggunakan teknik pemrograman paralel berdasarkan model Message Passing Interface (MPI) dan GridRPC. MPI menggunakan teknik data parallel berdasarkan Single Program Multiple Data (SPMD) sedangkan GridRPC menggunakan teknik task parallel berdasarkan model client/server.

Kata-kata kunci: komputasi grid, komputasi berkinerja tinggi, komputasi paralel, Message Passing Interface (MPI), GridRPC, Single Program Multiple data (SPMD).

ABSTRACT

GRID AND PARALLEL COMPUTING.Grid computing is an emerging technology that enables the sharing of wide variety resources distributed across different organizations. The shared resources include computing power, data storage capacity, censor, network, bandwidth etc. At the beginning, grid computing was used by the global academic and research communities, but currently this new emerged technology has successfully entered the commercial world because it can increase the Return on Investment (ROI). Grid computing technology has been applied to computationally-intensive scientific problems, such as high energy and nuclear data analysis, climate research and drug discovery task analysis. This paper briefly describes the basic concept of grid computing and presents a grid project that deals with the computationally-intensive scientific problems. Furthermore, it also describes the basic concept of parallel computing which is usually used in the grid to solve the computationally-intensive scientific problems. The parallel computing in a grid uses parallel programming which is based on two programming paradigms: Message Passing Interface (MPI) and GridRPC model. The former uses a data parallel technique which is based on the Single Program Multiple Data (SPMD) model while the latter uses a task parallel technique which is based on the client/server model.

Keywords: grid computing, computationally-intensive problem, parallel computing, Message Passing Interface (MPI), GridRPC, Single Program Multiple data (SPMD).

* Badan Pusat Statistik (BPS), email: [email protected]

15


PENDAHULUAN

Para ilmuwan dan peneliti baik di lembaga penelitian, pendidikan maupun perusahaan memasuki suatu masa di mana kebutuhan akan tenaga komputasi dan kapasitas penyimpanan data jauh melebihi dari kapasitas yang tersedia. Large Hadron Collider (LHC) yang dibangun oleh European Organization for Nuclear Research (CERN) adalah merupakan suatu contoh yang nyata. Alat ini adalah penabrak hadron raksasa berbentuk cincin dengan panjang lingkaran 27 km. Pada LHC ini dilakukan beberapa eksperimen dengan melakukan penabrakkan antar partikel. Data dari tabrakan partikel tersebut ditangkap oleh sensor yang telah dipasang. Data tersebut besarnya berkisar 10 petabytes (107 GB) pertahun yang merupakan 10% dari informasi yang diproduksi di muka bumi ini. Kalau data tersebut disimpan pada CD-ROM dan CD-ROM tersebut ditumpuk ke atas maka tingginya akan mencapai 20 km. Untuk komputasi, CERN membutuhkan 100,000 processor canggih yang merupakan 100 kali lipat dari jumah processor yang dimiliki oleh CERN.

Pada saat ini kita sedang mengalami hempasan “badai inovasi” pada lebih dari satu teknologi inti pendukung. Sistem Komputasi, sistem penyimpanan data dan sistem jaringan komputer memperlihatkan pertumbuhan yang sangat pesat baik dalam kapasitas maupun kemampuan, sementara harga dari sistem-sistem tersebut mengalami kecepatan penurunan yang tajam. Kemampuan komputasi, kapasitas penyimpanan data dan kecepatan transmisi data bertambah dua kali lipat masing-masing pada setiap kurun waktu 18, 12, 9 bulan dan dalam waktu bersamaan harga teknologi tersebut turun lebih kurang setengahnya. Pertumbuhan teknologi jaringan yang lebih pesat dibandingkan dengan teknologi lainnya merubah cara berkolaborasi antar ilmuwan dan periset; untuk memecahkan suatu masalah mereka tidak dibatasi hanya dengan menggunakan sumber daya lokal saja. Dengan tersedianya jaringan yang sangat cepat dan murah, sumber daya komputasi dapat dipakai secara bersama, data yang besar dapat dipindahkan dari basis data atau sensor ke komputer jauh, sensor dapat dihubungkan dengan sesamanya dan dengan komputer dan penyimpan data, serta pemakai, komputer dan penyimpanan data dapat dihubungkan pada suatu lingkungan kolaborasi untuk menghindarkan pengeluaran biaya perjalanan.

Perpaduan harmonis teknologi-teknologi inti ini yang disertai dengan permintaan yang kuat bagi tersedianya tenaga komputasi dan kapasitas penyimpanan data yang besar telah memberikan kontribusi dalam pembentukan sebuah prasarana yang sangat kuat (powerful) bagi aplikasi konsumen dan bisnis, yang terwujud dalam bentuk teknologi baru Komputasi Grid (Grid Computing).

Komputasi grid telah dipakai untuk memecahkan masalah-masalah komputasi berkinerja tinggi, baik itu di lembaga riset maupun di perusahaan, seperti analisa data pada high energy physics dan nuklir [1], riset iklim (climate research) [2] serta analisa dan pencarian data pada masalah penemuan obat (drug discovery problem) [3]. Masalah komputasi berkinerja tinggi pada grid dipecahkan dengan menggunakan komputasi paralel (parallel computation). Komputasi paralel adalah metodologi untuk merancang aplikasi agar dapat dieksekusi pada lingkungan komputer paralel. Model

16


untuk pembuatan program tersebut adalah parallel programming.Berikut adalah struktur makalah ini. Seksi kedua menguraikan secara ringkas

penyebab munculnya komputasi grid dan memberikan contoh konkrit proyek grid yang melakukan komputasi berkinerja tinggi. Seksi ketiga memaparkan teknik pemrograman paralel pada grid dengan menggunakan model Message Passing Interface (MPI) [4] dan GridRPC [5]. Seksi ini juga menjelaskan implementasi perangkat lunak dari kedua model tersebut. Seksi terakhir memberikan kesimpulan.

KOMPUTASI GRID

Komputasi grid memungkinkan organisasi virtual (virtual organization) untuk menggunakan secara bersama sumber daya yang tersebar secara geografis dengan berasumsi ketidakhadiran dari lokasi terpusat, kontrol terpusat, pengetahuan menyeluruh terhadap sumber daya dan hubungan kepercayaan. Organisasi virtual dapat meliputi suatu departemen dari suatu perusahaan yang berada pada satu lokasi yang sama sampai dengan kumpulan besar orang-orang dari berbagai organisasi yang tersebar diberbagai belahan bumi. Komputasi grid memiliki tiga karakteristik penting yaitu [6]:

1. Pemakaian bersama sumber daya yang terkoordinasi (setara) yang tidak berada di bawah suatu kendali terpusat.

2. Menggunakan protokol-protokol dan interface yang standar, terbuka dan serba-guna.

3. Dapat memberikan kualitas layanan (QoS) yang tinggi.

Pokok pertama berasal dari sifat alami grid dimana pemakai dan sumber daya berada pada daerah administrasi yang berbeda. Pokok kedua adalah penting untuk membangun secara dinamis susunan/struktur pemakaian bersama sumber daya dengan orang/kelompok apa saja yang saling berkepentingan dan memungkinkan penyediaan pelayanan dan fungsi serba-guna. Pokok ketiga berhubungan dengan penyediaan jumlah kemampuan komputasi sehingga besarnya utilitas dari sistem perpaduan adalah cukup berarti dibandingkan dengan utilitas dari komponen penyusunnya.

Pemakaian bersama sumber daya yang tersebar diberbagai tempat terpisah yang diatur di bawah administrasi yang berbeda adalah bukan masalah yang mudah. Permasalahan-permasalahan yang harus dijawab dalam melaksanakan pemakaian bersama tersebut misalnya, bagaimana cara memilih sumber daya komputasi yang diinginkan? untuk berapa lama sumber daya tersebut dapat digunakan? siapa yang dapat menggunakan sumber daya tersebut? bagaimana cara komunikasi antar sumber daya? dan lain sebagainya. Komputasi grid memungkinkan kita untuk mengakses berbagai jenis sumber daya dari berbagai jenis organisasi dengan cara menyediakan protokol, teknologi dan metodologi yang dapat menjawab semua pertanyaan-pertanyaan diatas.

17


PROYEK GRID: IT-BASED LABORATORY (ITBL)

IT-based Laboratory (ITBL) adalah laboratorium virtual yang dibangun oleh pemerintah Jepang yang menghubungkan super-komputer, basis data, komputasi program dan sumber daya lainnya yang tersebar di 13 tempat terpisah (Gambar 1). Laboratorium virtual ini memiliki 19 Tflops tenaga komputasi, 18 TB memori dan 10 sampai dengan 40 Gbps jaringan utama.

Gambar 1. IT-Based Laboratory (diambil dari CCSE)

Laboratorium virtual ini menaungi beberapa proyek penelitian diantaranya simulasi respon reaktor nuklir tiga dimensi terhadap getaran gempa (3D nuclear plant seismic responses simulation). Tujuan proyek ini adalah untuk memprediksi dan mengklarifikasi berbagai-macam fenomena dari struktur, fluid, panas dan getaran di bawah getaran gempa yang sangat besar.

Komputasi dan simulasi dilakukan secara paralel dengan memecah bagian reaktor nuklir menjadi beberapa bagian. Komputasi dan pengamatan fenomena pada setiap bagian reaktor dilakukan pada komputer/super-komputer terpisah yang tersebar di seluruh Jepang (Gambar 2). Data dari hasil simulasi ini adalah 2.3 TB.

Gambar 2. 3D nuclear plant seismic responses simulation (diambil dari CCSE)

18


KOMPUTASI PARALEL PADA GRID

Ada dua tujuan utama menggunakan komputasi paralel: untuk memperkecil waktu pengeksekusian program (decrease the runtime) dan untuk memperbesar ruang lingkup pemecahan masalah (increase the size of the problem). Pemrograman pada grid dapat menggunakan model Message Passing Interface (MPI) dan GridRPC. Pemrograman paralel beserta pengeksekusiannya dilakukan dengan empat langkah:

1. Pemecahan tugas komputasi menjadi sub-tugas (decomposition of computation in tasks).

2. Penyerahan tugas pada proses komputer (assignment of tasks to processes).3. Pengaturan akses data, proses sinkronisasi dan komunikasi (orchestration of

data access, communication and synchronization).4. Memetakan proses ke processor (mapping processes to processors).

MPI adalah teknik pemrograman yang berdasarkan data parallel dengan Single Program Multiple Data (SPMD). Maksudnya adalah setiap proses mengeksekusi program yang sama tetapi menggunakan data yang berbeda. Untuk sharing data, suatu proses secara eksplisit mengirimkan data kepada proses penerima yang juga menerima data secara eksplisit.

MPI bukan merupakan bahasa pemrograman baru, tetapi MPI adalah subprogram library yang dapat dipanggil dari program C dan Fortran 77. Ada dua implementasi MPI untuk grid: GridMPI yang dibuat oleh National Institute of Advanced Industrial Science and Technology (AIST) [7] dan MPICH-G2 yang dibuat oleh Argonne National Laboratory (ANL) [8]. GridMPI adalah implementasi MPI untuk jarak antar komputer sampai dengan 500 mil yang terkoneksi dengan jaringan berkecepatan 1 sampai dengan 10 Gbps sedangkan MPICH-G2 adalah implementasi MPI dengan menggunakan Globus Toolkit (standar middleware komputasi grid) dalam lingkungan WAN.

GridRPC adalah teknik pemrograman yang berdasarkan task parallel dengan model client/server yang merupakan ekstensi dari remote procedure call. Setiap task melakukan fungsi/perhitungan yang berbeda/sama dan (hampir) tidak ada komunikasi antar-task pada saat running (embarrasingly parallel tasks). Ada beberapa implementasi dari GridRPC: Distributed Interactive Engineering Toolbox (DIET) [9], NetSolve [10] dan Ninf-G [11]. Ninf-G menggunakan Globus Toolkit untuk memonitor dan mengatur sumber daya (resource monitoring and scheduling), keamanan akses sumber daya dan menyediakan client binding untuk bahasa C dan Java. NetSolve mengimplementasikan GridRPC dengan mengintegrasikan berbagai macam Problem Solving Environment (PSE) client seperti Matlab, Mathematica dan Octave. DIET menggunakan CORBA Naming Service untuk melakukan registrasi dan pencarian sumber daya.

19


Tabel 1. Perbedaan MPI dan GridRPC

MPI GridRPCSifat paralel Data parallel Task parallelModel SPMD Client/serverAPI MPI GridRPC APIAlokasi bersama sumber daya (co-allocation)

Diperlukan Tidak diperlukan

Komunikasi Antar client dan server Antar prosesKemudahan Pengepakan dan

pengiriman data yang tidak eksplisit

Pengepakan dan pengiriman data yang eksplisit

PENUTUP

Penyebab muncul dan berkembangnya komputasi grid adalah karena permintaan akan tenaga komputasi dan kapasitas penyimpanan data, terutama di bidang penelitian, yang melebihi dari ketersediaannya, dan berkembang pesatnya teknologi pendukung yaitu sistem jaringan, sistem komputer dan sistem penyimpanan data.

Tujuan penggunaan komputasi paralel pada grid adalah untuk memperkecil waktu pengeksekusian program dan/atau memperbesar ruang lingkup pemecahan masalah. Agar program dapat dieksekusi secara paralel maka perlu dilakukan pemecahan tugas komputasi menjadi bagian-bagian terpisah, dan masing bagian tugas dieksekusi oleh proses komputer secara paralel.

Pemrograman paralel dapat menggunakan model MPI atau GridRPC. MPI adalah teknik pemrograman yang berdasarkan data parallel dengan Single Program Multiple Data (SPMD) sedangkan GridRPC adalah merupakan teknik pemrograman yang berdasarkan task parallel dengan model client/server.

DAFTAR PUSTAKA

1. HEP COMMUNITY GRID. http://www.d-grid.de/index.php?id=44&L=1.

2. EARTH SYSTEM GRID. http://www.earthsystemgrid.org/

3. MANUEL C. PEITSCH, “Grid Computing in Drug Discovery”, Proceedings of the Sixth IEEE International Symposium on Cluster Computing and the Grid, May 2006.

4. MPI Forum. http://www.mpi-forum.org.

20


5. GRIDRPC-WG Project Home. https://forge.gridforum.org/projects/gridrpc-wg.

6. FOSTER, I., “What is the Grid? A Three Point Checklist”, GRIDtoday, Vol. 1, No. 6., 22 July 2002.

7. GRIDMPI. http://www.gridmpi.org/index.jsp

8. MPICH-G2. http://www3.niu.edu/mpi.

9. DIET. http://graal.ens-lyon.fr/~diet.

10. NetSolve. http://icl.cs.utk.edu/netsolve

11. Ninf-G. http://ninf.apgrid.org/

21


DISKUSI

UTAJA

Seberapa jauh sistem paralel digunakan oleh peneliti Indonesia (di area pengembangan)

SAID MIRZA

Di Indonesia penggunaan perhitungan paralel, sejauh pengetahuan saya, masih sedikit. Hal ini mungkin karena disebabkan oleh kebutuhan untuk melakukan penghitungan itu sendiri masih sedikit atau para peneliti sudah cukup puas dengan apa yang ada (yaitu penghitungan secara sequential). Untuk menggunakan penghitungan paralel ini perlu dilihat apakah memang diperlukan atau tidak dengan menjawab pertanyaan di bawah.

- Apakah permasalahan yang akan diselesaikan dapat di pecah-pecah secara independent (problem decomposition)?

- Apakah pengeksekusian masalah/program tersebut memerlukan waktu yang cukup lama apabila dilakukan pada mesin non-paralel? Kalau jawaban salah satu dari pertanyaan di atas adalah "ya" maka saatnya kita berpikir untuk melakukan penghitungan paralel.

JUPITER SITORUS PANE

1. Dalam pemanfaatan grid bagaimana hak-hak pribadi/paten pemilik resource tersebut, karena pada saat ini banyak resource yang dikomersilkan.

2. Bagaimana memanfaatkan teknologi grid untuk meningkatkan olahan data BPS yang sering kami temukan kekurang-akuratannya?

SAID MIRZA

1. Grid memiliki suatu metode untuk mengatur penggunaan resource (resource using policy) yang berorientasi resource owner. Maksudnya, resource owner yang meng-share resourcenya untuk dipakai bersama-sama, dapat menerapkan policy-nya terhadap pemakai lain yang ingin memakai resourcenya. Contoh policy yang dapat diterapkan:- Siapa yang mempunyai hak untuk mengakses- Kapan resource tersebut dapat diakses- Penyewaan resource yang akan diakses (accounting)

22


2. Pada dasarnya teknologi grid dapat digunakan untuk 2 masalah:- Memperpendek waktu pengolahan data (terutama data yang besar seperti

yang ada di BPS)- Memperbesar problem size

Salah satu keuntungan yang didapat pada point kedua adalah dengan menambah data yang dapat diproses, maka diharapkan keakurasian hasil pengolahan akan lebih akurat. Pada saat ini BPS mempunyai High Performance Computing (HPC) yang diatur dalam satu cluster, tapi sayangnya pemanfaatannya belum optimal. Diharapkan dalam waktu dekat sebagian intensive-calculation yang ada di BPS dapat dilakukan secara paralel dengan menggunakan cluster tersebut dapat diproses, maka diharapkan keakurasian hasil pengolahan akan lebih akurat. Pada saat ini BPS mempunyai High Performance Computing (HPC) yang diatur dalam satu cluster, tapi sayangnya pemanfaatannya belum optimal. Diharapkan dalam waktu dekat sebagian intensive-calculation yang ada di BPS dapat dilakukan secara paralel dengan menggunakan cluster tersebut.

TAKDIR

1. Apakah ada sistem yang bisa membagi proses/task menjadi paralel tanpa mengubah program yang ada.

2. Bagaimana antisipasi jika salah satu CPU pada grid computing mengalami kegagalan?

SAID MIRZA

1. Program yang telah di design untuk eksekusi sequential harus dimodifikasi agar bisa dieksekusi secara paralel. Caranya adalah dengan menentukan bagian yang mana dari program tersebut yang bisa di-eksekusi secara paralel. Sampai saat ini belum ada sistem/tool yang secara otomatis dapat merubah program sequential menjadi program yang paralel.

2. Grid computing memilliki karakteristik fault-tolerant untuk antisipasi kedinamisan resource yang berada di grid (resource bisa online dan offline kapan saja). Apabila pada saat pengeksekusian suatu task pada suatu komputer, tiba-tiba komputer tersebut offline, maka scheduling system akan secara otomatis memindahkan task yang belum tereksekusi dengan sempurna itu ke komputer lainnya yang online, dan dengan teknologi check-point restart mechanism, task tersebut dapat dieksekusi kembali untuk melanjutkan kerja yang telah dilakukan (bukan melakukan kerja dari awal).

23


DAFTAR RIWAYAT HIDUP

1. Nama : Said Mirza Pahlevi2. Tempat/Tanggal Lahir : Pekanbaru/ 15-08-19693. Instansi : Badan Pusat Statistik4. Pekerjaan / Jabatan : Pengajar Sekolah Tinggi Ilmu Statistik BPS5. Riwayat Pendidikan :

Doctor of Engineering, Electronics and Information Sciences, University of Tsukuba, Japan, March 2003.

Research Student, Electronics and Information Sciences, University of Tsukuba, Japan, March 2000.

Master of Engineering, Electronics and Information Engineering, Univer-sity of Yamagata, Japan, March 1996.

Bachelor of Engineering, Electronics and Information Engineering, Uni-versity of Yamagata, Japan, March 1994.

6. Pengalaman Kerja: Badan Pusat Statistik (1989 - sekarang) Invited Senior Research Scientist at Grid Technology Research Center, Na-

tional Institute of Advanced Industrial Science and Technology, Japan (April 2003 - March 2008)

7. Organisasi Profesional: ACM Grid Consortium Japan (JPGrid)

6. Organisasi Professional: KNI-WEC, 1996-sekarang Himpunan Ahli Elektronik Indonesia (HAEI)

24

template makalah lkstn2008 - digilib...

Documents