Crawlers Pada Search Engine
Berikut ini adalah contoh-contoh dari Crawler:
1.Teleport Pro
Salah satu software web crawler untuk keperluan offline browsing.
Software ini sudah cukup lama popular, terutama pada saat koneksi internet
tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di
http://www.tenmax.com.
2.HTTrack
Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack
merupakan software yang dapat mendownload konten website menjadi sebuah mirror
pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software
ini free dan dapat di download pada website resminya di http://www.httrack.com
3.Googlebot
Merupakan web crawler untuk membangun index pencarian yang
digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui
Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya,
sebagian bandwidth anda akan tersita karena proses crawling ini.
4.Yahoo!Slurp
Kalau Googlebot adalah web crawler andalan Google, maka search
engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi
Corporation yang diakuisisi oleh Yahoo!.
5.YaCy
Sedikit berbeda dengan web crawler lainnya di atas, YaCy
dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan
menggunakan java, dan didistribusikan pada beberapa ratus mesin computer
(disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi
index, sehingga tidak memerlukan server central.
Contoh search engine yang menggunakan YaCy adalah Sciencenet
(http://sciencenet.fzk.de) untuk pencarian dokumen di bidang sains.
Sumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html
Tidak ada komentar:
Posting Komentar