ANALISA WEB | Trik Halaman web Masuk Google Crawlers

Cara Supaya Halaman Web Kita Masuk Dalam Google Crawlers

Tips Agar Sering didatangi oleh Google Crawlers pertama :

Membuat sitemap dan atau daftar isi

Sitemap (peta situs) blog berfungsi membantu search engine bot menjelajahi, menemukan dan mengindeks konten blog kita. Jika blog anda berplatform wordpress.org, cara paling mudah membuat sitemap adalah dengan memasang plugin bernama Google XML sitemaps. Sitemap sebenarnya hampir sama dengan halaman daftar isi yang sering kita buat di blog, hanya sitemap berisi kode-kode HTML yang dibaca oleh bot sedangkan daftar isi untuk dibaca oleh manusia. Jika anda ingin sitemap yang juga berfungsi sebagai daftar isi, gunakan plugin bernamaDagon Sitemap Generator. Beberapa themes seperti GoBlog Themes sudah menyediakan sitemap secara default seperti ini: Sitemap.

Tips Agar Sering didatangi oleh Google Crawlers kedua :

Mendaftarkan sitemap di Google Webmaster Tools

Sitemap blog anda perlu didaftarkan di Google Webmaster Tools. Google webmaster sendiri penting diikuti oleh semua pemilik blog agar anda dapat menganalisa semua data yang berkenaan dengan blog anda. Melalui uji sitemap, kita bisa mengetahui konten mana di blog yang belum terindeks Google. Daftarkan dulu blog anda di Google Webmaster Tools, lihat caranya disini

Setelah terdaftar, masuk ke bagian “pengoptimalan” >> “peta situs” dan masukkan nama sitemap blog anda.

Kolom yang perlu diisi disamping URL blog kita adalah: sitemap.xml, jadi lengkapnya adalah: namabloganda.com/sitemap.xml

Tips Agar Sering didatangi oleh Google Crawlers ketiga :

Internal link

Internal link merupakan teknik onpage optimization, yaitu salah satu cara yang digunakan dalam SEO untuk meningkatkan online visibility dari sebuah blog. Internal link adalah link yang mengarah ke dalam blog kita sendiri. Buatlah link tersebut relevan dengan topik yang sedang dibahas. Berapa banyak internal link yang perlu ditambahkan dalam 1 artikel ? Tidak ada patokan, namun buatlah minimal 2 saja. Satu link mengarah ke homepage dan 1 link mengarah ke artikel lain yang kategorinya sejenis atau bahkan mengarah ke artikelnya itu sendiri. Internal link ini sama fungsinya seperti sitemap yaitu memudahkan Google Crawlers menjelajahi blog kita

Sumber: http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html 

ANALISA WEB | Cara Kerja Web Crawler

Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka web crawler tersebut akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu. Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat di proses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.

Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya

Sumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html 

ANALISA WEB | Crawlers Pada Search Engine

Crawlers Pada Search Engine

Berikut ini adalah contoh-contoh dari Crawler:

1.Teleport Pro

Salah satu software web crawler untuk keperluan offline browsing. Software ini sudah cukup lama popular, terutama pada saat koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di http://www.tenmax.com.

2.HTTrack

Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software ini free dan dapat di download pada website resminya di http://www.httrack.com

3.Googlebot

Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling ini.

4.Yahoo!Slurp

Kalau Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.

5.YaCy

Sedikit berbeda dengan web crawler  lainnya di atas, YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central.

Contoh search engine yang menggunakan YaCy adalah Sciencenet (http://sciencenet.fzk.de) untuk pencarian dokumen di bidang sains.

Sumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html 

ANALISA WEB | Pengertian Crawler

Crawler bertugas untuk mengindeks, membuat rangking, menyusun dan menata halaman dalam bentuk indeks terstruktur agar bisa dicari dalam waktu yang sangat cepat.

Obyek dari crawler adalah isi halaman, file, folder dan direktori web, sedangkan subyek dari robots.txt adalah mesin pencari/search engine crawler.

Crawler ini penting dipahami untuk SEO.

Crawler akan berhadapan dengan robotsg.txt yang akan memandu mesin pencari/search engine seperti google, yahoo dan bing untuk mengindeks sebuat blog atau website, sehingga crawler akan tahu mana halaman, folder atau file yang boleh diindeks atau tidak, semakin lengkap sebuah panduan dalam robots.txt akan lebih baik, dengan demikian robot crawler akan dengan cepat mengindeks isi website, kebanyakan halaman situs berisi link ke halaman lain.

Sebuah spider dapat memulai dari manapun, apabila ia melihat sebuah link kepada halaman lain, maka ia akan segera menuju ke sana dan mengambilnya.

Search engine seperti Alta vista mempunyai banyak spider yang bekerja secara pararel. Sangat direkomendasikan untuk tidak menggunakan javascript pada menu utama, gunakanlah tag noscript, hyal ini dikarenakan javascript tidak bisa diambil oleh spider untuk search engine, dan semua link yang mengandung javascript akan ditolak sebagai halaman teks.

Sumber :  http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html

ANALISA WEB | Tools Pengukur Web (Alexa Rank)

Alexa Rank 

Alexa Internet, Inc. adalah perusahaan yang berbasis di California yang mengoperasikan situs yang menyediakan informasi mengenai banyaknya pengunjung suatu situs dan urutannya. Alexa Internet didirikan pada tahun 1996 oleh Brewster Kahle dan Bruce Gilliat. Cara kerja Alexa rank Alexa memberikan peringkat ke sebuah situs berdasarkan jumlah pengunjung unik. Semakin rendah alexarank dari situs berarti situs memiliki sedikit pengunjung unik.Jadi jika Anda bisa mendapatkan lebih banyak traffic ke situs Anda, Anda akan mendapatkan lebih rendah alexa rank.

 Kelemahan Alexa:

1. Jika pengguna internet (pengakses situs anda tidak menginstal Alexa Toolbar di browsernya) maka sekalipun ada 1000 pengunjung situs anda dalam sehari, Alexa akan tetap menilai situs anda tidak ada pengunjungnya.

2. Jika dalam sehari ada yang mengakses situs anda 20 kali dengan alamat IP (Internet protocol) yang sama, maka akan dianggap situs anda hanya dikunjungi oleh 1 satu orang hanya dapat poin 1, akan berbeda jika situs anda dikunjungi oleh 20 orang dengan alamat IP berbeda (unik) maka situs anda akan memperoleh nilai 20 (nilai ini hanya pengandaian, Alexa mempunyai formula sendiri dalam menentukan nilai sebuah web) .

Kelebihan Alexa :

1. Alexa rank akan menampilkan tingkat popularitas dari sebuah situs web yang dibandingkan dengan web milik kita,termasuk jangkauan,tampilan halaman,dan masih banyak lagi.

2. Pencarian analisa akan menampilkan kepada kita yang merupakan syarat untuk kita untuk berkompetisi untuk mendapatkan sebuah traffic 3.Data pengunjung akan menampilkan kepada kita apa yang menarik dari website kita yang dilihat oleh pengunjun – pengunjung website kita 4.Data clickstream akan menampilkan kepada kita sebagai pemilik website dimana dalam mendapatkan traffic dari program keanggotaan dan kemitraan.

Sumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html

ANALISA WEB | Tools Pengukur Web (GTmetrix)

Adalah website untuk menganalisa kecepatan web yang tersedia secara gratis, dengan menggunakan google page speed dan Yahoo Yslow sebagai analyze engine dan untuk menampilkan hasil serta rekomendasi yang harus dilakukan.

Dengan GTmetrix juga dapat membandingkan beberapa URL sekaligus 

mendaftar sebagai anggota maka dapat:

-          Melihat tes sebelumnya untuk membandingkan hasilnya

-          Menjadwalkan cek website secara otomatis

-          Menyimpan laporan

-          Memilih hasil laporan untuk ditampilkan kepublic atau tidak

Kelebihan GTmetrix :

-          Dapat menggunakan google page speed dan YSLOW sebagai analyze engine

-          Dapat membandingkan beberapa URL sekaligus

-          Menjadwalkan cek website secara otomatis

-          Dapat menyimpan laporan

-          Memilih hasil laporan untuk ditampilkan kepublic atau tidak.

Kekurangan GTmetrix :

-          Jika menggunakan GTmetrix harus menggunakan internet yang cepat.

Sumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html 

ANALISA WEB | Tools Pengukur Web (Pingdom Tools)

Merupakan sebuah alat ukur kecepatan website dapat di akses, nilai dari sebuah website, dan beberapa ukuran dari sebuah website tersebut.

Beberapa kelebihannya di kategorikan sebagai berikut :

Performance Grade : melihat nilai kecepatan performa halaman web, dari akses DNS, browser cache, combine external css dan lain-lain.

Waterfall : melihat detail kecepatan akses ketika membuka halaman web, dari gambar bahkan sampai seberapa cepat script tersebut dapat di akses.

Page Analysis : melihat detail analisa halaman web.

History : melihat detail akses dari beberapa hari lalu.

Kekurangan yang terdapat pada tools ini, sama seperti tools alat ukur akses web pada umumnya yaitu Membutuhkan akses internet yang stabil, karena tidak mungkin kita bisa mengukur kecepatan akses suatu website kalau akses internet kita terhadap website tersebut tidak stabil/berjalan dengan baik.

Sumber :http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html