Kelebihan dan kelemahan web crawler dan cara mengaksesnya

Web crawler adalah program komputer yang bertugas melihat-lihat situs secara periodik dan otomatis.Web crawler (disingkat wc aja deh) bisa diibaratkan kaca pembesar, yang dalam hal ini mengeksplorasi rincian informasi mengenai situs web Anda. Setiap kata, judul, gambar, meta tag, dan bahkan kecepatan buka setiap halaman adalah informasi berharga. Jadi, sebuah program web crawler bisa tahu lebih detail tentang sebuah situs daripada pemiliknya sendiri.
Kelemahannya :

Mengingat dia sejatinya mesin atau program, kita mesti menyesuaikan (semisal konten yang berguna) agar web crawler juga tahu bahwa halaman yang sedang dijelajahinya berisi informasi bermanfaat. Sebab, mesin wc menandai proses-proses tertentu dalam situs sebagai kelemahan. Misalnya, halaman-halaman yang lamban saat dipanggil mungkin dilewati begitu saja. Atau, lantaran konfigurasi situs tidak terlalu bagus membuat si wc kurang efisien kala mengeksplorasi. Lalu, dia lebih fokus pada beberapa halaman dan melewatkan yang lain padahal mungkin isinya penting. Ini akan menjadi tantangan tersendiri bagi situs ritel besar yang banyak mengandung konten dinamis, yaitu halaman web yang kompleks (misalnya konten yang dipersonalisasi).

WC lalu meneruskan temuannya ke mesin pencari, yang dalam menghasilkan ranking mengurutkan dan menempatkan hasil pencarian berdasarkan ranking terbaik dulu disusul situs beranking buruk. Karena itu, mengoptimalkan struktur (file dan halaman) situs Anda serta meningkatkan kecepatan akses akan membantu memastikan bahwa situs Anda tidak akan 'dikubur' di halaman ketiga, keempat, atau kelima dari hasil pencarian. Soalnya, menurut hasil penelitian statistik, pembeli di internet jarang mengklik lebih dari satu halaman. Jadi, akan sangat membantu bila Anda mengetahui seberapa baik situs Anda telah diindeks mesin-mesin pencari serta hal apa saja yang menghambatnya.

Singkatnya, untuk menggapai kesuksesan lewat SEO, Anda perlu seluk-beluk tentang apa yang si wc suka atau tidak suka. Prioritasnya mesti di atas keinginan memasang script untuk memperindah (yang tidak jelas kegunaannya) tampilan situs. Tujuan situs diutamakan lebih dulu, baru keindahan tampilan bila sudah sukses.

Dengan mengetahui hal ini Anda dapat mengoptimalkan e-commerce situs. Konon 20 persen dari halaman bermasalah adalah penyebab dari 80 persen masalah yang berkaitan dengan performa situs internet. Di sanalah sebaiknya Anda memfokuskan usaha perbaikan untuk kepentingan SEO.