4 Tahap Pencarian Yang Perlu Diketahui Semua SEO – Memahami cara kerja mesin pencari adalah hal mendasar bagi para profesional SEO. Berikut adalah penyegaran tentang perayapan, rendering, pengindeksan, dan peringkat. “Apa perbedaan antara perayapan, rendering, pengindeksan, dan peringkat?”
4 Tahap Pencarian Yang Perlu Diketahui Semua SEO
prothsearch – Lily Ray baru-baru ini membagikan bahwa dia mengajukan pertanyaan ini kepada calon karyawan saat merekrut tim Amsive Digital SEO. Danny Sullivan dari Google menganggapnya sangat bagus. Meskipun kelihatannya mendasar, tidak jarang beberapa praktisi mengacaukan tahap dasar pencarian dan mencampuradukkan proses sepenuhnya. Pada artikel ini, kita akan mendapatkan penyegaran tentang cara kerja mesin telusur dan membahas setiap tahap prosesnya.
Baca Juga : Magento Sphinx Search vs Magento Elasticsearch: Pro dan Kontra
Mengapa mengetahui perbedaan itu penting?
Saya baru-baru ini bekerja sebagai saksi ahli dalam kasus pelanggaran merek di mana saksi lawan salah dalam tahap penggeledahan. Dua perusahaan kecil menyatakan bahwa mereka masing-masing berhak menggunakan nama merek yang serupa.
“Pakar” pihak oposisi secara keliru menyimpulkan bahwa klien saya melakukan SEO yang tidak pantas atau bermusuhan untuk mengungguli situs web penggugat. Dia juga membuat beberapa kesalahan kritis dalam menjelaskan proses Google dalam laporan ahlinya, di mana dia menegaskan bahwa:
- Pengindeksan adalah perayapan web.
- Bot pencarian akan menginstruksikan mesin pencari cara menentukan peringkat halaman dalam hasil pencarian.
- Bot pencarian juga bisa “dilatih” untuk mengindeks halaman untuk kata kunci tertentu.
Pembelaan penting dalam litigasi adalah mencoba untuk mengecualikan temuan ahli yang memberikan kesaksian yang dapat terjadi jika seseorang dapat menunjukkan kepada pengadilan bahwa mereka tidak memiliki kualifikasi dasar yang diperlukan untuk ditanggapi dengan serius.
Karena ahli mereka jelas tidak memenuhi syarat untuk bersaksi tentang masalah SEO apa pun, saya menyajikan deskripsinya yang salah tentang proses Google sebagai bukti yang mendukung anggapan bahwa ia tidak memiliki kualifikasi yang tepat.
Ini mungkin terdengar kasar, tetapi ahli yang tidak berkualifikasi ini membuat banyak kesalahan mendasar dan nyata dalam menyajikan informasi ke pengadilan. Dia secara salah mempresentasikan klien saya sebagai entah bagaimana melakukan praktik perdagangan yang tidak adil melalui SEO, sementara mengabaikan perilaku yang dipertanyakan dari pihak penggugat (yang secara terang-terangan menggunakan SEO topi hitam, sedangkan klien saya tidak).
Pakar lawan dalam kasus hukum saya tidak sendirian dalam kesalahpahaman ini tentang tahapan pencarian yang digunakan oleh mesin pencari terkemuka. Ada pemasar pencarian terkemuka yang juga menggabungkan tahapan proses mesin pencari yang mengarah ke diagnosis yang salah tentang kinerja yang kurang baik di SERP.
Saya telah mendengar beberapa pernyataan, “Saya pikir Google telah menghukum kami, jadi kami tidak dapat berada di hasil pencarian!” padahal sebenarnya mereka telah melewatkan pengaturan kunci di server web mereka yang membuat konten situs mereka tidak dapat diakses oleh Google.
Hukuman otomatis mungkin telah dikategorikan sebagai bagian dari tahap peringkat. Pada kenyataannya, situs web ini memiliki masalah dalam tahap perayapan dan rendering yang membuat pengindeksan dan peringkat bermasalah. Ketika tidak ada pemberitahuan di Google Search Console tentang tindakan manual, pertama-tama orang harus fokus pada masalah umum di masing-masing dari empat tahap yang menentukan cara kerja pencarian.
Ini bukan hanya semantik
Tidak semua orang setuju dengan penekanan Ray dan Sullivan tentang pentingnya memahami perbedaan antara perayapan, rendering, pengindeksan, dan peringkat. Saya perhatikan beberapa praktisi menganggap kekhawatiran seperti itu sebagai semantik belaka atau “penjaga gerbang” yang tidak perlu oleh SEO elitis.
Sampai taraf tertentu, beberapa veteran SEO mungkin memang sangat longgar menggabungkan arti dari istilah-istilah ini. Hal ini dapat terjadi di semua disiplin ilmu ketika mereka yang mendalami pengetahuan tersebut menggunakan jargon-jargon dengan pemahaman bersama tentang apa yang mereka maksudkan. Tidak ada yang salah dengan itu.
Kami juga cenderung mengantropomorfisasi mesin pencari dan prosesnya karena menafsirkan sesuatu dengan menggambarkannya sebagai memiliki karakteristik yang akrab membuat pemahaman lebih mudah. Tidak ada yang salah dengan itu juga.
Tapi, ketidaktepatan ini ketika berbicara tentang proses teknis dapat membingungkan dan membuatnya lebih menantang bagi mereka yang mencoba untuk belajar tentang disiplin SEO. Seseorang dapat menggunakan istilah dengan santai dan tidak tepat hanya sampai tingkat tertentu atau sebagai singkatan dalam percakapan. Yang mengatakan, selalu yang terbaik untuk mengetahui dan memahami definisi yang tepat dari tahapan teknologi mesin pencari.
4 tahap pencarian
Banyak proses berbeda yang terlibat dalam membawa konten web ke dalam hasil pencarian Anda. Dalam beberapa hal, dapat menjadi penyederhanaan yang berlebihan untuk mengatakan bahwa hanya ada beberapa tahap terpisah untuk mewujudkannya. Masing-masing dari empat tahap yang saya bahas di sini memiliki beberapa subproses yang dapat terjadi di dalamnya.
Bahkan di luar itu, ada proses signifikan yang bisa tidak sinkron dengan ini, seperti:
- Jenis-jenis kebijakan spam.
- Penggabungan elemen ke dalam Grafik Pengetahuan dan memperbarui panel pengetahuan dengan informasi.
- Pemrosesan pengenalan karakter optik dalam gambar.
- Pemrosesan audio-ke-teks dalam file audio dan video.
- Menilai dan menerapkan data PageSpeed.
- Dan banyak lagi.
Berikut ini adalah tahap utama pencarian yang diperlukan agar halaman web muncul di hasil pencarian.
Merangkak
Perayapan terjadi ketika mesin pencari meminta halaman web dari server situs web. Bayangkan bahwa Google dan Microsoft Bing sedang duduk di depan komputer, mengetik atau mengklik tautan ke halaman web di jendela browser mereka.
Dengan demikian, mesin pencari mengunjungi halaman web yang serupa dengan yang Anda lakukan. Setiap kali mesin pencari mengunjungi halaman web, ia mengumpulkan salinan halaman itu dan mencatat semua tautan yang ditemukan di halaman itu. Setelah mesin pencari mengumpulkan halaman web itu, ia akan mengunjungi tautan berikutnya dalam daftar tautannya yang belum dikunjungi.
Ini disebut sebagai “perayapan” atau “laba-laba” yang tepat karena web secara metaforis adalah jaringan raksasa virtual dari tautan yang saling berhubungan. Program pengumpulan data yang digunakan oleh mesin pencari disebut “laba-laba”, “bot” atau “perayap”.
Program perayapan utama Google adalah “Googlebot”, sedangkan Microsoft Bing memiliki “Bingbot.” Masing-masing memiliki bot khusus lainnya untuk mengunjungi iklan (yaitu, GoogleAdsBot dan AdIdxBot), halaman seluler, dan banyak lagi. Tahap pemrosesan halaman web oleh mesin pencari ini tampaknya mudah, tetapi ada banyak kerumitan dalam apa yang terjadi, hanya dalam tahap ini saja.
Pikirkan tentang berapa banyak sistem server web yang ada, menjalankan sistem operasi yang berbeda dari versi yang berbeda, bersama dengan berbagai sistem manajemen konten (yaitu, WordPress, Wix, Squarespace), dan kemudian kustomisasi unik setiap situs web. Banyak masalah yang dapat membuat perayap mesin telusur tidak merayapi laman, yang merupakan alasan bagus untuk mempelajari detail yang terlibat dalam tahap ini.
Pertama, mesin pencari harus menemukan tautan ke halaman di beberapa titik sebelum dapat meminta halaman dan mengunjunginya. (Dalam konfigurasi tertentu, mesin pencari telah diketahui mencurigai mungkin ada tautan lain yang tidak diungkapkan, seperti satu langkah dalam hierarki tautan di tingkat subdirektori atau melalui beberapa formulir pencarian internal situs web terbatas.)
Mesin pencari dapat menemukan tautan halaman web melalui metode berikut:
- Ketika operator situs web mengirimkan tautan secara langsung atau mengungkapkan peta situs ke mesin pencari.
- Saat situs web lain menautkan ke halaman.
- Melalui tautan ke halaman dari dalam situs webnya sendiri, dengan asumsi situs web tersebut telah memiliki beberapa halaman yang diindeks.
- Postingan media sosial.
- Tautan ditemukan dalam dokumen.
- URL ditemukan dalam teks tertulis dan bukan hyperlink.
- Melalui metadata dari berbagai jenis file.
- Dan banyak lagi.
Dalam beberapa kasus, sebuah situs web akan menginstruksikan mesin pencari untuk tidak merayapi satu atau lebih halaman web melalui file robots.txt-nya, yang terletak di tingkat dasar domain dan server web. File robots.txt dapat berisi beberapa arahan di dalamnya, menginstruksikan mesin pencari bahwa situs web melarang perayapan halaman, subdirektori, atau seluruh situs web tertentu.
Menginstruksikan mesin pencari untuk tidak merayapi halaman atau bagian situs web tidak berarti bahwa halaman tersebut tidak dapat muncul di hasil pencarian. Menjaga mereka agar tidak dirayapi dengan cara ini dapat sangat memengaruhi kemampuan mereka untuk memberi peringkat yang baik untuk kata kunci mereka.
Dalam kasus lain, mesin pencari dapat berjuang untuk merayapi situs web jika situs tersebut secara otomatis memblokir bot. Hal ini dapat terjadi jika sistem situs web telah mendeteksi bahwa:
- Bot meminta lebih banyak halaman dalam periode waktu daripada yang bisa dilakukan manusia.
- Bot meminta beberapa halaman secara bersamaan.
- Alamat IP server bot terletak secara geografis di dalam zona yang telah dikonfigurasikan untuk dikecualikan oleh situs web.
- Permintaan bot dan/atau permintaan pengguna lain untuk halaman membanjiri sumber daya server, menyebabkan penayangan halaman menjadi lambat atau error.
Namun, bot mesin pencari diprogram untuk secara otomatis mengubah tingkat penundaan antara permintaan ketika mereka mendeteksi bahwa server sedang berjuang untuk memenuhi permintaan. Untuk situs web yang lebih besar dan situs web dengan konten yang sering berubah di halaman mereka, ” anggaran perayapan ” dapat menjadi faktor apakah bot pencarian akan berkeliling untuk merayapi semua halaman.
Pada dasarnya, web adalah sesuatu dari ruang halaman web yang tak terbatas dengan frekuensi pembaruan yang bervariasi. Mesin pencari mungkin tidak dapat mengunjungi setiap halaman di luar sana, jadi mereka memprioritaskan halaman yang akan mereka jelajahi. Situs web dengan jumlah halaman yang banyak, atau yang merespons lebih lambat mungkin menghabiskan anggaran perayapan yang tersedia sebelum semua laman dirayapi jika bobot peringkatnya relatif lebih rendah dibandingkan dengan situs web lain.
Penting untuk disebutkan bahwa mesin pencari juga meminta semua file yang juga digunakan untuk menyusun halaman web, seperti gambar, CSS, dan JavaScript. Sama seperti halaman web itu sendiri, jika sumber daya tambahan yang berkontribusi pada pembuatan halaman web tidak dapat diakses oleh mesin pencari, hal itu dapat mempengaruhi bagaimana mesin pencari menafsirkan halaman web.
Rendering
Ketika mesin pencari merayapi halaman web, itu akan “me-render” halaman tersebut. Ini melibatkan pengambilan informasi HTML, JavaScript, dan cascading stylesheet (CSS) untuk menghasilkan bagaimana halaman akan muncul ke desktop dan/atau pengguna seluler. Ini penting agar mesin pencari dapat memahami bagaimana konten halaman web ditampilkan dalam konteks. Memproses JavaScript membantu memastikan mereka mungkin memiliki semua konten yang akan dilihat pengguna manusia saat mengunjungi halaman.
Mesin pencari mengkategorikan langkah rendering sebagai subproses dalam tahap perayapan. Saya mencantumkannya di sini sebagai langkah terpisah dalam proses karena mengambil halaman web dan kemudian menguraikan konten untuk memahami bagaimana tampilannya tersusun di browser adalah dua proses yang berbeda. Google menggunakan mesin rendering yang sama yang digunakan oleh browser Google Chrome, yang disebut “Rendertron” yang dibangun dari sistem browser Chromium open-source.
Bingbot menggunakan Microsoft Edge sebagai mesinnya untuk menjalankan JavaScript dan merender halaman web. Itu juga sekarang dibangun di atas browser berbasis Chromium, sehingga pada dasarnya membuat halaman web sangat setara dengan cara yang dilakukan Googlebot.
Google menyimpan salinan halaman dalam repositori mereka dalam format terkompresi. Sepertinya Microsoft Bing juga melakukannya (tetapi saya belum menemukan dokumentasi yang mengonfirmasi hal ini). Beberapa mesin telusur mungkin menyimpan versi singkat dari laman web hanya dalam bentuk teks yang terlihat, tanpa semua pemformatan.
Rendering sebagian besar menjadi masalah dalam SEO untuk halaman yang memiliki bagian penting dari konten yang bergantung pada JavaScript/AJAX. Baik Google dan Microsoft Bing akan mengeksekusi JavaScript untuk melihat semua konten pada halaman, dan konstruksi JavaScript yang lebih kompleks dapat menjadi tantangan bagi mesin pencari untuk beroperasi.
Saya telah melihat halaman web yang dibangun dengan JavaScript yang pada dasarnya tidak terlihat oleh mesin pencari, menghasilkan halaman web yang sangat tidak optimal yang tidak akan dapat diberi peringkat untuk istilah pencarian mereka. Saya juga telah melihat contoh di mana halaman kategori pengguliran tak terbatas di situs web e-niaga tidak berkinerja baik di mesin telusur karena mesin telusur tidak dapat melihat banyak tautan produk.
Kondisi lain juga dapat mengganggu rendering. Misalnya, ketika ada satu atau lebih file JaveScript atau CSS yang tidak dapat diakses oleh bot mesin pencari karena berada di subdirektori yang tidak diizinkan oleh robots.txt, tidak mungkin untuk memproses halaman sepenuhnya. Googlebot dan Bingbot sebagian besar tidak akan mengindeks halaman yang memerlukan cookie. Halaman yang secara kondisional mengirimkan beberapa elemen kunci berdasarkan cookie mungkin juga tidak dirender sepenuhnya atau dengan benar.
