Crawler bertugas untuk mengindeks, membuat rangking, menyusun dan
menata halaman dalam bentuk indeks terstruktur agar bisa dicari dalam waktu
yang sangat cepat.
Obyek dari crawler adalah isi halaman, file, folder dan direktori web,
sedangkan subyek dari robots.txt adalah mesin pencari/search engine crawler.
Crawler ini penting dipahami untuk SEO.
Crawler akan berhadapan dengan robotsg.txt yang akan memandu mesin
pencari/search engine seperti google, yahoo dan bing untuk mengindeks sebuat
blog atau website, sehingga crawler akan tahu mana halaman, folder atau file
yang boleh diindeks atau tidak, semakin lengkap sebuah panduan dalam robots.txt
akan lebih baik, dengan demikian robot crawler akan dengan cepat mengindeks isi
website, kebanyakan halaman situs berisi link ke halaman lain.
Sebuah spider dapat memulai dari manapun, apabila ia melihat sebuah link kepada
halaman lain, maka ia akan segera menuju ke sana dan mengambilnya.
Search engine seperti Alta vista mempunyai banyak spider yang bekerja secara
pararel. Sangat direkomendasikan untuk tidak menggunakan javascript pada menu
utama, gunakanlah tag noscript, hyal ini dikarenakan javascript tidak bisa
diambil oleh spider untuk search engine, dan semua link yang mengandung
javascript akan ditolak sebagai halaman teks.
Sumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html
Tidak ada komentar:
Posting Komentar