Sejarah Search engine atau Mesin pencari pertama adalah "Wandex", yang sekarang index yang tidak berfungsi dari World Wide Web Wanderer, suatu web crawler dibangun oleh Matthew Gray di MIT pada 1993. Mesin pencari lain yang lama, Aliweb, juga muncul di 1993 dan masih berjalan hingga saat ini. Salah satu mesin pencari pertama yang sekarang berkembang menjadi usaha komersial yang cukup besar adalah Lycos, yang dimulai di Carnegie Mellon University sebagai proyek riset di tahun 1994.

Segera sesudah itu, banyak mesin pencari yang bermunculan dan bersaing memperebutkan popularitas. Termasuk di antaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista. Mereka bersaing dengan direktori-direktori populer seperti misalnya Yahoo. Belakangan direktori-direktori ini menggabungkan atau menambahkan teknologi mesin pencari agar fungsinya semakin meningkat.

Pada tahun 2002, Yahoo! mengakuisisi Inktomi dan pada 2003, mengakuisisi Overture yang memiliki AlltheWeb dan Altavista. Tahun 2004, Yahoo! meluncurkan mesin pencarinya sndiri yang didasarkan pada teknologi gabungan dari mesin-mesin yang telah diakuisisinya dan memberikan pelayanan yang mengutamakan mesin pencari Web daripada direktorinya.

Pada Desember 2003, Orase menerbitkan versi pertama dari teknologi pencari waktu-riilnya. Mesin ini memiliki banyak fungsi baru dan performancenya meningkat sangat hebat.

Mesin pencari juga dikenal sebagai bintang-bintang yang paling cemerlang dalam perlombaan investasi Internet yang terjadi pada akhir tahun 1990-an. Beberapa perusahaan masuk ke dalam pasar dengan hebat, mencatat keuntungan besar pada penawaran publik pertamanya. Sebagian lagi sama sekali menyingkirkan mesin pencari publiknya, dan hanya memasarkan edisi-edisi Enterprise saja, seperti misalnya Northern Light yang dulunya adalah salah satu dari 8 atau 9 mesin pencari awal setelah Lycos muncul.

Sebelum munculnya Web, ada pula mesin-mesin pencari untuk protokol atau penggunaan lain, seperti misalnya Archie search engine untuk situs-situs FTP anonim dan Veronica search engine untuk Gopher protocol.

Buku Osmar R. Zaïane From Resource Discovery to Knowledge Discovery on the Internet menjelaskan secara rinci sejarah teknologi mesin pencari sebelum munculnya Google.

Sejarah hadirnya searchengine berdasarkan tahun bisa dilihat berikut :

Excite – 1993 Yahoo! – 1994 Web Crawler – 1994 Lycos – 1994 Infoseek – 1995 AltaVista – 1995 Inktomi – 1996 Ask Jeeves – 1997 Google – 1997 MSN Search – 1998

- See more at: http://www.zainalhakim.web.id/sejarah-search-engine.html#sthash.81gSInpQ.dpuf

lat yang pertama kali digunakan untuk melakukan pencarian melalui internet disebut “Archie”. Diciptakan tahun 1990 oleh Alan Emtage, seorang siswa dari Universitas Mcgill di Montreal. Program tersebut mendownload daftar direktori dari semua file dan ditempatkan pada alamat FTP, menciptakan suatu filename database yang bisa dicari.

Jika program Archie meng-index file komputer, “Gopher” meng-index teks dokumen. Gopher diciptakan pada tahun 1991 oleh Mark Mccahill di Universitas Minnesota. Karena berbentuk file teks, hampir semua situs gopher menjadi website setelah terciptanya World Wide Web.

Program yang lainnya yaitu “Veronica” dan “Jughead”, yang berfungsi untuk mencari file yang disimpan di dalam sistem index Gopher. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) menyediakan pencarian dengan menggunakan kata kunci di menu judul dalam seluruh daftar Gopher. Jughead ( Jonzy’s Universal Gopher Hierarchy Excavation And Display ) adalah suatu alat untuk memperoleh menu informasi dari beberapa jenis Gopher server.

Search engine pada web yang pertama adalah “Wandex”, suatu nowdefunct index yang dikumpulkan oleh World Wide Web Wanderer, suatu Web Crawler yang dikembangkan oleh Matthew Gray lulusan MIT tahun 1993. Pada tahun yang sama, sebuah search engine lainnya keluar yaitu Aliweb, yang saat ini masih ada. Search engine pertama kalinya yang “full text” atau search engine yang hampir semuanya tulisan adalah Web Crawler yang muncul pada tahun 1994. tidak seperti search engine sebelumnya, web crawler yang muncul pada tahun 1994. Tidak seperti search engine sebelumnya, web crawler mengijinkan para pemakai mencari informasi dengan menggunakan kata apa saja pada halaman web mana saja. Inilah yang menjadi standarisasi dari semua search engine yang ada sekarang ini.

Setelah itu, banyak search engine yang bermunculan dan saling berlomba untuk mendapatkan ketenaran. Diantaranya Excite, Infosee, Inktomi, Northern Light, dan AltaVista. Dalam beberapa hal, mereka bersaing dengan direktori terkenal seperti Yahoo!.

Sebelum web muncul, terdapat search engine untuk protokol atau pengguna lain, seperti Archie untuk situs anonymous FTP dan Veronica untuk protokol Gopher. Baru-baru ini muncul juga search engine online yang menggunakan XML atau RSS. Dengan ini search engine menjadi lebih efisien mengindex data pada website tanpa tuntutan yang rumit. Sehingga website hanya menyediakan suatu timbal balik XML dengan index-index search engine. Timbal-balik XML secara meningkat disediakan secara otomatis oleh weblogs atau blogs. Contoh search engine ini adalah feedster, seperti LjFind Search yang menyediakan jasa pencarian untuk Livejournal blogs.

Definisi Search Engine

Jumat, 15 Januari 2010 10:52

Search Engine adalah aplikasi yang didesain untuk mencari informasi dunia world wide web/ internet. Internet terdiri dari triliun data dan informasi dalam jutaan server dan lokasi yang tersebar luas. Search engine menkoleksi data, gambar, informasi dalam bentuk indeks. Informasi yang disajikan dalam bentuk daftar kepada pencari berdasarkan info yang diberikan oleh pencari.

Cara kerja search engine berdasarkan urutan berikut ini:1. Web Crawling2. Indexing3. Searching

Web crawler (disebut juga spider) adalah program komputer yang melihat-lihat/browse halaman web serta mengikuti setiap link di halaman tersebut, dan kemudian menyimpannya dalam indeks di server search engine. Isi dari halaman tersebut dianalisa untuk mendapatkan index kata-kata dari judul, header, dan meta tag. Index memungkinkan hasil query yang sepandan dengan cepat.

Saat pengguna menuliskan pertanyaan/ query ke search engine, maka search engine akan searching/ mengevaluasi index dan memberikan daftar halaman web yang paling sesuai dengan pertanyaan/ query, beserta ringkasan singkat yang terdiri dari judul dokumen dan sebagian dari teks.

Sejarah Search Engine

Sebelum ada web search engine(mesin pencari web), terlebih dahulu ada sebuah webserver yang memiliki daftar lengkap. Tampilan tersebut diubah oleh Tim Berners-Lee dan dimana CERN webserver menjadi tuan rumahnya. Sejarah dalam sebuah foto yang masih tersisa dari 1992. Semakin banyak webserver yang online tampilan pusat tidak dapat ikuti. Dalam NCSA server baru diumumkan dengan judul "What's New!" tetapi tidak terdapat tampilan yang lengkap lagi.

Alat yang pertama kali digunakan untuk mencari informasi di internet dinamakan Archie. Nama itu singkatan dari "archive" tanpa "v". Alat ini diciptakan pada tahun 1990 oleh Alan Emtage, seorang murid di McGill Universitas di Montreal. Program ini menyalin data dari semua file di komputer yang terletak di FTP (File Transfer Protocol) tanpa nama, menciptakan kumpulan data yang bisa ditemukan di komputer; bagaimanapun, Archie tidak memberi petunjuk dalam situs ini.

Gopher meningkat (diciptakan pada tahun 1991 oleh McCahill di Universitas Minnesota) memimpin 2 program pencari baru, Veronica dan Jughead. Seperti Archie, mereka mencari nama file dan judul yang disimpan dalam sistem index (petunjuk) Gopher. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) menyediakan kata kunci pencarian dari kebanyakan judul menu Gopher dalam semua tampilan Gopher keseluruhan. Jughead (Jonzy's

Universal Gopher Hierarchy Excavation And Display) adalah sebuah alat untuk mendapatkan informasi dari server Gopher. Sementara sebuah nama mesin pencari "Archie" bukan penunjuk untuk berbagai seri buku komik Archie, "Veronica" dan "Jughead" adalah karakter dalam berbagai seri, jadi mengarah pada pendahulu.

Pada musim panas tahun 1993, tidak ada mesin pencari untuk web saat itu, walaupun berbagai macam katalog khusus ada di tangan. Oscar Nierstrasz di Universitas Geneva menuliskan berbagai seri tulisan tangan Perl dimana akan secara berkala mencermikan halaman ini dan menuliskan kembali ke format standar yang dibentuk untuk dasar W3Catalog, web sederhana pertama mesin pencari, yang dilepaskan pada 2 September 1993.

Pada June 1993, Matthew Gray, kemudian di MIT, menghasilkan mungkin robot web pertama, the Perl -berdasarkan World Wide Web Wanderer, dan menggunakan itu untuk menghasilkan penunjuk (index) yang dinamakan 'Wandex'. Tujuan dari Wanderer adalah untuk mengukur suatu ukuran dari World Wide Web, dimana itu berlangsung sampai akhir 1995. Mesin pencari web yang kedua Aliweb muncul pada November 1993. Aliweb tidak menggunakan web robot, tetapi bergantung pada konfirmasi oleh pengelola website dari setiap situs yang ada dalam format tertentu.

JumpStation (dilepaskan pada December 1993) menggunakan web robot untuk menemukan halaman web dan membangun penunjuknya, dan menggunakan bentuk web untuk gabungkan dengan program pertanyaan. Itu adalah WWW yang pertama-penemuan alat untuk menyatukan tiga ciri khas yang penting dari mesin pencari web (crawling, indexing, dan searching). Oleh karena keterbatasan sumber yang ada dari platform, jadi (indexing) dan dengan demikian mencari yang terbatas pada judul dan topiknya yang ditemukan di halaman web bersamaan dengan crawler.

Satu dari "full text" crawler yang pertama-berdasarkan mesin pencaru adalah WebCrawler, yang keluar pada tahun 1994. Tidak seperti pendahulunya, itu membiarkan pengguna mencari kata-kata dalam berbagai halaman web, dimana telah menjadi standar dari semua mesin pencari utama. Itu juga merupakan yang pertama dikenal/terkenal oleh umum. Pada tahun 1994 Lycos (yang dimulai pada Universitas Carnegie Mellon) diluncurkan, dan menjadi usaha perdagangan komersil yang utama.

Segera setelah itu, banyak mesin pencari muncul dan bersaing untuk ketenaran. Termasuk didalamnya Magellan, Excite, Infoseek, Inktomi, Northern Light, dan AltaVista. Yahoo! adalah cara yang paling banyak diminati oleh kebanyakan orang untuk menemukan halaman web, tetapi fungsi pencarian beroperasi pada direktore web, daripada teks penuh yang disalin dari halaman web. Informasi dari para pencari dapat juga dilihat direktori daripada melakukan pencarian kata kunci.

Pada tahun 1996, Netscape sedang mencari sesuatu untuk memberikan mesin pencari single rundingan yang istimwea untuk menjadi ciri khas mesin pencari. Terdapat begitu banyak minat yang menghantam Netscape oleh 5 mesin pencari utama, 5 juta dolar per tahun setiap mesin pencari akan diputar pada halaman mesin pencari Netscape. Lima mesin ini adalah: Yahoo!, Magellan, Lycos, Infoseek dan Excite.

Mesin pencari juga terkenal sebagai beberapa bintang cemerlang dalam internet menginvestasikan (frenzy) yang terjadi pada akhir 1990an. Beberapa perusahaan memasuki pasar, menerima catatan selama persembahan umum mereka. Beberapa sudah melepas mesin pencari umum mereka dan hanya perusahaan pemasaran, seperti Northern Light. Beberapa perusahaan pencari ditangkap pada (dot-com bubble), spekulasi bom yang terjadi pada tahun 1999 dan berakhir pada tahun 2001.

Sekitar tahun 2000, mesin pencari Google bangkit untuk menjadiyang terdepan. Perusahaan mencapai hasil yang memuaslan untuk beberapa pencarian dengan penemuan yang disebut PageRank. (iterative algortihm ranks) halaman web berdasarkan angka dan PageRank dari situs web yang lain dan halaman yang berhubungan dengan itu, dengan pemisalan bahwa barang atau halaman yang menarik berhubungan lebih daripada yang lain. Google juga mempertahankan pemisahan minimal untuk mesin pencarinya. Bertentangan, beberapa pesaing tertanam pada mesin pencari di portal web.

Tahun 2000, Yahoo menyediakan layanan pencarian berdasarkan mesin pencari Inktomi. Yahoo! mendapat Inktomi pada tahun 2002 dan Overture (yang dimiliki oleh AlltheWeb dan AltaVisa) pada tahun 2003. Yahoo! (switched) ke mesin pencari Google sampai tahun 2004. ketika di luncurkan mesin pencarinya sendiri berdasarkan penggabungan teknologi dari perolehannya.

Microsoft pertama kali meluncurkan MSN Search (in the fall of) 1998 menggunakan hasil pencarian dari Inktomi. Pada permulaan 1999 situs tersebut mulai menampilkan daftarnya dari Looksmart digabung dengan hasil dari Inktomi kecuali untuk jangka pendek tahun 1999 ketika hasil dari AltaVista digunakan. Pada tahun 2004, Microsoft memulai masa peralihan untuk pencarian teknologinya, didukung oleh web crawler (dinamakan msnbot).

Microsoft memberikan merk lagi pada mesin pencari, Bing, yang diluncurkan pada 1 Juni 2009. Pada 29 July 2009, Yahoo! dan Microsoft menyelesaikan rundingan dimana Yahoo! Search didukung oleh teknologi Microsoft Bing.

Berdasarkan Hitbox, ketenaran Google memuncak pada 82.7% bulan Desember 2008. Pada July 2009 prestasi menunjukkan Google berada pada 78.45 kalah dari Baidu 8.87%, dan Bing 3.17%. Penguasaan pasar dari Yahoo! adalah 7.16% dan AOL 0.6% juga ditolak.

Di Amerika Serikat, Google memimpin pada 63.2% penguasaan pasar pada May 2009, berdasarkan Nielsen NetRatings. Republik of Cina, Baidu memegang 61.6% penguasaan pasar untuk pencarian web bulan July 2009.

Web robot yang pertama kali muncul adalah "Wandex" dari World Wide Web Wanderer, suatu aplikasi indeks yang ditemukan oleh Matthew Gray di MIT pada 1993 sampai 1995 yang digunkan untuk mengetahui seberapa besar world wide web. Kemudian muncul Aliweb dan sampai sekarang. Kemudian ada mesin lain yang bernama Lycos, lahir pada tahun 1994, yang telah berkembang pesaat menjadi usaha yang komersial. Kemudian sudah mulai muncul banyak mesin yang bersaing diantaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista.

Search Engine sendiri pun terbagi atas dua kelompok yaitu Individual Search Engine yaitu mengumpulkan data dari web kemudian menampilkan hasilnya berdasarkan indeks pada basis individu. Contohnya adalah Google (www.google.com), hotbot (www.hotbot.com), FastSearch (www.fastsearch.com). Sedangkan kelompok yang lain adalah Meta Search Engine yaitu dengan cara mencari data dari beberapa individual search engine secara bersama-sama. Contohnya adalah lxquick (www.ixquick.com), Meta Crawler (www.go2net.com/search.html), QbSearch (www.qbsearch.com).Beberapa Search Engine:

* Altavista (http://www.altavista.com)* Alltheweb (http://www.alltheweb.com)* Ask (http://www.ask.com)* AOL (http://www.aol.com)* Britannica (http://www.britannica.com)* Dogpile (http://www.dogpile.com)* Gigablast (http://www.gigablast.com)* Google (http://www.google.com)* HotBot (http://www.hotbot.com)* Live Search (http://www.live.com)* LookSmart (http://www.looksmart.com)* Lycos (http://www.lycos.com)* Mamma (http://www.mamma.com)* MetaCrawler (http://www.metacrawler.com)* MSN (http://www.msn.com)* Netscape (http://www.netscape.com)* Search (http://www.search.com)* Snap (http://www.snap.com)* Yahoo (http://www.yahoo.com)* WebCrawler (http://www.webcrawler.com)* Wisenut (http://www.wisenut.com)

Pangsa Pasar Search Engine

Data dari marketshare.hitslink.com market share mesin pencari search engine per Desember 2009 adalah:

Google 85.34% Yahoo 6.29% Bing 3.27% Baidu (searhc engine China) 2.81

1.   GOOGLE

KELEBIHAN (+)

1.    Kecepatan dan kemudahan dalam mencari.2.    lebih canggih dengan fitur yang dimilikinya.3.    Tampilan yang sederhana.4.    Google merupakan satu-satunya mesin pencari yang memilki cach. Dengan adanya

cache ini, si pencari dapat menghemat waktu pencarian, karena hasil pencarian yang akan ditampilkan.

5.    Dapat mencari segala informasi seperti gambar, berita artikel, hiburan dll.

KEKURANGAN (-)

1.    Dengan kelebihan yang dimilikinya, ternyata mesin pencari ini jadi bidikan para spamer untuk menampilkan iklan-iklan yang tidak diperlukan. Mereka memanfaatkan setiap celah yang ada pada sistem algoritma Google untuk memaksa iklan mereka tampil pada halaman terdepan. Maka, pencarian pun terasa tergangggu.

2.   YAHOO

KELEBIHAN (+)

1.    Adanya fitur e-mail yang banyak disukai oleh orang-orang.2.    Kecepatan dan kemudahan dalam mencari.3.    Fiturnyanya yang komplit.4.    Yahoo juga menyediakan salah satu fungsi yaitu katalog web. Link ke menu bantuan

(help) juga dapat dikenali dengan baik di halaman login dengan keterangan yang cukup jelas.

KEKURANGAN (-)

1.    loadingnya membutuhkan waktu yang lama

3. MSN (Microsoft)

KELEBIHAN (+)

mampu mencari video, musik, gambar, dan beragam format file spesial.

KEKURANGAN (-)

1.    pencarian. Dibutuhkan waktu yang lama sampai hasil ditampilkan di halaman MSN.

2.    Pengguna juga sulit membedakan antara iklan dan bukan iklan pada halaman pencariannya. Penampilan iklan hanya dibedakan dari hasil asli melalui sebuah titik di depannya.4. ALTAVISTA

KELEBIHAN (+)

1.    keunggulan dalam hal pencarian halaman web, video, gambar, MP3, dan file audio lainnya. Dalam pencarian berita pun Altavista mampu mencari berita teraktual.

2.    Altavista mampu menetapkan berapa umur maksimal yang akan ditampilkan.KEKURANGAN (-)

1.    Dalam hal pencarian data yang kurang bagus. Sering kali mesin pencari ini menampilkan hasil yang sama sekali tidak ada kaitannya dengan tema yang dicari.

5.   ALLTHEWEB

KELEBIHAN (+)

1.    Kemudahan dalam mencari.2.    Tampilan yang sederhana seperti Google.3.    Alltheweb langsung menyediakan fungsi untuk pencarian berita, musik, gambar, dan

video.4.    Menu bantuan terlihat jelas, dan di dalamnya tersedia sejumlah opsi bantuan yang

banyak, sehingga sekali lagi kemudahan tampak bagi si pengguna.

KEKURANGAN (-)

1.    Pencarian yang lama dibandingkan dengan mesin pencari lainnya.2.    Halaman pencarian hanya dibatasi dengan sebuah garis sehingga membingungkan

si pengguna.3.    Pada link-link yang tidak berguna terkadang masih terlihat dalam beberapa hari,

sehingga terlihat kurang aktual. Hal ini menunjukan tidak cepatnya Allltheweb melakukan update.

6. ASK.COM

Dulu namanya adalah Ask Jeeves (Jeeves adalah karikatur eksekutif pria yang lihai menjawab segala pertanyaan). Situs ini bisa menjadi alternative sebab masih bisa menemukan situs yang terkubur akibat spam di jejaring mesin pencari lainnya.

KELEBIHAN (+)

1.    Keunggulan utamanya adalah ia akan mencari situs penyedia jawaban untuk pertanyaan anda.

7. LYCOS

KELEBIHAN (+)

1.    Lycos mampu mencari data dengan cepat dan ini merupakan kelebihannya.2.    Dalam hal pencarian cepat.3.    Lycos menyediakan fungsi “Fun Search” yang lebih diperuntukkan bagi kalangan

remaja. Ini sangat membantu bagi kalangan yang membutuhkan gosip dan lagu terbaru dari para selebritis pujaan.

4.    Lycos juga menampilkan 50 pencarian terbesar di halaman depannya.

KEKURANGAN (-)

1.    Untuk mencari berita-berita aktualnya, pengguna harus masuk ke bagian site map karena berita-berita tersebut tidak ditampilkan di halaman depan.

2.    Sering tidak spesifik karena datanya kebanyakan masih mengambil data dari mesin pencari Alltheweb yang tergolong paling lamban dalam pencarian data

8. BING

KELEBIHAN (+)

1.      Mempunyai fasilitas instant answer. Fasilitas ini merupakan salah satu inovasi performa yang berhasil dikembangkan dan diintegrasikan ke dalam sistem sehingga memampukan Bing memberikan jawaban.

2.      Hasil pencarian image atau video dapat ditampilkan dan disaring secara detail. Apabila pengguna melakukan pencarian situs atau halaman web yang berisi konten image, maka Bing mampu menyajikan daftar hasil pencarian secara spesifik dan detail.

3.      Kotak detail pada link hasil pencarian. Jika pada situs-situs mesin pencari lainnya, pengguna harus mengklik link yang ditampilkan di halaman tersebut untuk mengetahui isinya. Namun, pada Bing ini, pengguna tidak perlu mengklik link lagi, tetapi hanya perlu mengarahkan kursor pada link tersebut untuk menampilkan kotak detail. Melalui kotak detail inilah pengguna dapat menyimak sekilas informasi tentang link tersebut.

4.      Bing.com ini mesin pencari yang sangat complet, semua yang Anda cari pasti ada.5.      Sistem filternya bisa kita aktif kan ataudi non aktifkan, jadi anda bisa membuka situs

yang diblokir.

KEKURANGAN (-)1.    Tidak dapat berhitung. 2.    Fiturnya tidak lengkap.3.    Bing.com kurang di minati oleh pengguna.4.    Bing.com kurang cepat dalam pencariannya.

9. WINDOWS LIVE SEARCH

Pengembangan yang terus dilakukan oleh Microsoft menghasilkan keputusan untuk memisahkan mesin pencari dengan Windows Live. Pada akhirnya Microsoft mengubah nama mesin pencarinya menjadi Live Search, yang kemudian dikonsolidasikan dengan Microsoft adCenter. Reorganisasi yang dilakukan ini, menimbulkan banyak perubahan dalam kebijakan, misalnya menghentikan beberapa produk seperti Windows Live Expo, Live Search Macros, dan sebagainya.Perubahan yang terus dilakukan Microsoft ini ternyata belum membuahkan hasil. Microsoft menyadari bahwa penggunaan brand name untuk produk mesin pencari sangatlah penting. Akhirnya untuk menciptakan indentitas baru, Microsoft menghadirkan suatu mesin pencari baru pada tanggal 3 Juni 2009, yang diberi nama Bing, kepada seluruh pengguna Internet di dunia.

KELEBIHAN (+)

1.    Mampu mencari informasi yang lebih spesifik baik berupa website, berita, gambar, maupun musik, serta lainnya.

KEKURANGAN (-)

1.    Search engine ini tidak begitu populer

10. WEB CRAWLER

Web crawler adalah suatu program atau script otomatis yang relatif simple, yang menggunakan metode tertentu untuk melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Sebutan/julukan lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait atau berhubungan langsung dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan dan sesuai dengan yang dicari.Ketika web crawl search engine mengunjungi halaman web, ia “membaca” teks yang terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta tag yang banyak berisi keyword. Berdasar kaninformasi yang dikumpulkan web crawl, search engine akan menentukan situs dan mengindex informasinya. Website tersebut kemudian dimasukkan ke dalam database search engine dan dilakukan proses penentuan ranking setiap halamannya.Search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yaitu, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini (keyword populer). Peneliti pasar dapat menggunakan web crawl untuk menentukan dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang melakukan pencarian informasi di Internet.

Web crawl beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine, mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan apakah sudah berlangsung perubahan yang signifikan. Jika suatu situs mengalami trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan dan dilakukan pembenahan serta perbaikan.

Kelebihan1.        Suatu program atau script otomatis yang relatif simple2.        Dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah

yang terkait atau berhubungan langsung dengan search engine

Kekurangan1.        Beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan

11. LOOKSMART

Looksmart bukanlah search engine, tapi mempunyai pengaruh besar juga dalam pencarian data di internet. Directori ini berbagi database yang sudah dibuatkan kategorinya berupa link dengan MSN, Home.net, CNN, dan Time Warner. Situs ini merupakan yang termasuk berbayar, untuk itu jika anda mempunyai uang,daftarkan juga ke sini.

Kelebihan1.    Menyediakan produk iklan pencarian dan layanan kepada pengiklan teks

Kekurangan1.    Situs ini merupakan yang termasuk berbayar

12. WISENUT

Kelebihan1.    Situs yang ditampung oleh database ini sekitar 579 juta buah2.    Terdapat 21 bahasa dunia yang berbeda tetapi bahasa Indonesia belum ada3.    Bebas dari banner iklan dan aneka image yang memberatkan4.    Menyediakan form isian untuk mencari database yang diinginkan5.    Adanya pemfilteran terhadap situs-situs pornografi

Kekurangan1.    Situs ini telah ditutup

13. BAIDU SEARCH ENGINE .

Kelebihan1.    Baidu Post Bar menyediakan pengguna dengan permintaan masyarakat berbasis

dicari untuk bertukar pandangan dan berbagi pengetahuan dan pengalaman.2.    Baidu Berita menyediakan link untuk pilihan lokal, berita nasional dan internasional3.    Cari MP3 Baidu menyediakan link yang dihasilkan algoritma untuk lagu dan file

multimedia lainnya yang disediakan oleh penyedia konten Internet.4.    Baidu Ensiklopedi5.    Baidu Internet Tv

Kekurangan1.    Untuk pencarian tdk secepat google /yahoo2.    Bahsa didominan oleh bahasa mandarin3.    Jangkauan artikel/ berita yang dimuat lebih sedikit ditimbang dengan google4.    Penampilan gambar pada baidu kurang jelas5.    Proteksi dalam baidu bisa dibilang jelek

Keterangan ~> Baidu merupanakan searc engine terbesar di cina dan didirikan pada tanggal 18 Januari 2000.

14. ICEROCKET SEARCH ENGINE .

Kelebihan1.    Dapat mencari gambar2.    Dapat mencari search engine yang susah dicari3.    Dapat digunakan untuk mencari dan membuat blog4.    Ada fasilitas news yang digunakan untuk melihat kabar berita terbaru5.    Serta mudah untuk melihat daftar video yang baru seperti film bioskop yang hot

news

Kekurangan1.    Kurang begitu populer2.    Susah dicari tentang informaasi situs web tersebut3.    Sulit untuk memahami cara memakai web4.    Cara pemakaian dan fasilitas yang kurang memadai

15. ENTIREWEB SEARCH ENGINE .

Kelebihan1.    Memiliki web crawler sendiri,Speedy Spider(penjelajah web otomatis yang

digunakan untuk membuat indeks pencarian)2.    Memiliki satu algoritma merangkak terpandai3.    Terhubung ke banyak web – web lain

Kekurangan1.    Kadangkala tidak menampilkan hasil yang diinginkan.

2.    Kenndala bahasa

Penemu : Marcus Andersson

16. FINDTOYOU SEARCH ENGINE .

Kelebihan1.    Dapat mengklasifikasikan pencarian , sehingga user dapat mudah memilih jenis file

yang ingin dicari, berbeda dengan search engine sejenisnya yang hanya mampu mencari 1 atau 2 file saja.

Kekurangan1.    Masih agak lambat , meskipun akses internetnya bagus.

17. BASIGI SEARCH ENGINE .

Kelebihan1.    Pada home-page basigi yang menyediakan link/taut statistik yang gunanya untuk

menunjukan pemakai pada kata kunci (keyword) yang paling populer, kategori terpopuler, dan juga presentase pencarian.

2.    Terdapat informasi real-time yang sekarang sedang menjadi trend di mesin pencari lain, beserta kata kunci serta konten yang berhubungan dengan yang kita cara dengan suatu keyword.

3.    Menyediakan tempat untuk mengirim alamat URL.

Kekurangan1.    Belum begitu banyak sumber artikel yang bisa digali.2.    Tampil dengan fitur terbatas pada pencarian berita.

18. SOLUSEE.COM

ialah search engine yang dibuat oleh orang indonesia (local),dan Anda dapat mencari universitas bina nusantara atau memori super besar

Kelebihannya :anda dapat mencari langsung alamat - alamat universitas yaang ada di indonesia.

kekurangannya :situs ini cuma bida mencari alamat-alamat universitas, sekolah, dsb.situs ini juga tidak bisa mencari situs web lainnya.dan tampilannya pun terlalusederhana.

19. AOL.COM

adalah mesin pencari atau perusahaan jasa search engine yang bekerja sama dengan google.com

kelebihan :1.    download di aol lebih cepat2.    bisa mwmbuat surat elektronik

kekurangannya :1.    fiturnya sangat kurang 2.    dan mesin pencarinya pun kurang akurat

20. ZUULA

Mesin pencari ini cukup cerdik karena ia dapat memanfaatkan beberapa Search engine terkenal sebagai enginenya, diantanya Google, Yahoo, MSN, Gigablast, Exalead, Alexa, Accoona dan Mojeek. jadi bisa dikatakan zuula adalah semacam portal yang berguna dalam memudahkan pencaian.

Kelebihan :Zuula tentu saja memberikan kita kemudahan cepat dalam melakukan

pencarian, terutama kita hanya melakukan perpindahan tab untuk melakukan pencarian ke search engine yang lain, kelebihan lainnya pada meta search engine dimana zuula akan menampilkan pencarian terpisah dalam kategori yang berbeda, yaitu web, images, video, news, blog, jobs.

KekuranganZuula bukanlah mesin pencari tunggal karena zuula tidak mempunyai index

database sendiri