Web crawler atau yang dikenal juga dengan istilah web spider
bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler
bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk
dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap
kali web crawler mengunjungi sebuah website, maka web crawler tersebut akan
mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di
kunjungi lagi satu persatu. Proses web crawler dalam mengunjungi setiap
dokumen web disebut dengan web crawling atau spidering. Beberapa websites,
khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk
memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat
salinan secara sebagian atau keseluruhan halaman web yang telah dikunjunginya
agar dapat di proses lebih lanjut oleh system pengindexan. Crawler dapat juga
digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode
html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus
seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang lebih
dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya
dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut
sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari
alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds
sebelumnya
Sumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html
Tidak ada komentar:
Posting Komentar