SEO adalah sesuatu yang tidak pasti karena algoritmanya saja berubah – ubah setiap waktu. Untuk itu, Anda perlu tahu bagaimana cara SEO Bekerja. Indexing, crawling dan ranking. Nah pada artikel ini, mari kita bahas lebih dalam mengenai crawling dalam SEO. Proses seperti apakah ini? Mari sama – sama cari tahu.
Apa itu Crawling?
Crawling adalah dimana Google atau mesin pencari yang lainnya mengirimkan botnya ke web page atau web post sebuah situs untuk “membaca”nya. Crawling adalah langkah pertama agar mesin pencari mengenali halaman Anda dan menampilkannya di SERPs. Memiliki halaman yang di crawl bukan berarti halaman Anda sudah atau akan di index. Untuk tampil di halaman pencarian, Anda harus di crawl lalu selanjutnya di index. Sebuah halaman di crawl karena beberapa alasan. Alasan – alasan tersebut contohnya :
- Memiliki XML sitemap dengan URL yang di submit ke Google
- Memiliki internal link yang terhubung ke halaman
- Terdapat eksternal link yang terhubung ke halaman
- Mendapatkan lonjakan traffic yang masuk
Untuk memastikan halaman dirayapi, Anda perlu untuk memiliki sitemap. Anda bisa menggunakan plugin Yoast, Google XML sitemap, ataupun yang lainnya untuk membuat sitemap XML.
Bagaimana Cara Crawling Bekerja?
Mesin pencari menggunakan crawling untuk mengakses, menemukan, serta memindai di seluruh halaman website. Jika Google sedang mengexplore suatu website, Google akan mendatangi semua link yang ada di dalamnya dan mengikuti petunjuk yang disertakan dalam robots.txt file. Dalam file ini, Anda akan menemukan banyak “perintah” untuk mesin pencari mengenai bagaimana caranya untuk “meng-crawl” sebuah situs.
Crawler menggunakan algoritma untuk menentukan frekuensi kapan mereka memindai halaman tertentu serta berapa banyak halaman situs yang harus dipindai. Algoritma membantu crawler untuk memberi tahu halaman mana saja yang sering update.
Bagaimana Cara Google Crawler “Melihat” Pages?
Mobile and Desktop Rendering
Googlebot dapat melihat situs Anda melalui dua tipe crawler yakni Googlebot Desktop dan Googlebot Smartphone. Beberapa tahun yang lalu, Google menggunakan desktop crawler untuk mendatangi dan render kebanyakan halaman. Namun sekarang berubah. Setelah Google memperkenalkan mobile-first concept, kini Google mendahulukan smartphone crawler untuk merayapi halaman.
Namun menerapkan pengindeksan yang mengutamakan smartphone ternyata jauh lebih sulit. Internet sangatlah besar. Website ada banyak sekali di dunia ini. Sebagian dari mereka sangat kurang sekali dalam pengoptimalan untuk perangkat seluler. Jika situs dianggap tidak mobile friendly maka situs akan langsung di render oleh Googlebot Desktop.
HTML dan Javascript Rendering
Googlebot mungkin mengalami beberapa kesulitan dalam merender sebuah kode yang terlalu kompleks. Jika kode di situs Anda berantakan, crawler tidak dapat merndernya dengan benar dan akan menganggap bahwa halaman tersebut adalah halaman kosong. Untuk rendering Javascript, perlu Anda ingat jika Javascript adalah bahasa yang memiliki perkembangan yang sangat cepat. Terkadang, Google tidak mampu memahami versi terbaru. Penting halnya untuk menggunakan JS yang kompatibel atau halaman Anda tidak akan terbaca dengan benar.
Apa yang Mempengaruhi Crawling dalam SEO?
Internal Link dan Backlink
Jika Google mengetahui situs Anda, Googlebot akan melakukan klik pada main page situs Anda untuk dilakukan update waktu ke waktu. Nah untuk itu, sangat penting untuk memberikan internal link ke halaman baru Anda. Umumnya internal link berasal dari homepage, halaman yang lebih memiliki otoritas yang tinggi di dalam situs Anda atau postingan (maupun halaman) terdahulu yang masih relevan.
Backlink juga memiliki peranan yang penting dalam menaikkan ranking situs Anda. Backlink yang dimaksud di sini tentu saja bukan backlink sembarangan karena yang mampu menaikkan situs adalah backlink yang berkualitas. Kini Anda bisa menggunakan jasa backlink high authority untuk mendapatkannya.
Click Depth
Click depth menunjukan “seberapa jauh” halaman Anda dari homepage sehingga menyatakan berapa banyak “step” yang harus dilalui Googlebot untuk mencapai halaman Anda. Idealnya, halaman harus dicapai dalam 3 klik. click depth yang lebih dari itu membuat perayapan jadi terhambat serta dan dari segi user experience juga kurang.
Sitemap
Sitemap adalah “dokumen” yang memuat keseluruhan konten dalam sebuah situs. Dengan adanya sitemap, Google akan tahu ketika situs Anda di update. Untuk membuatnya, Anda bisa membuat di Yoast atau bisa juga dari Google Search Console.
Indexing Instructions
Saat mengindex dan mengcrawling halaman Anda, Google mengikuti sebuah instruksi seperti robots.txt, noindex tag, robots meta tag, atau x robots tag. Setelah Googlebot menemukan laman Anda, ia melihat file robots.txt. Jika laman yang ditemukan dibatasi agar tidak dirayapi oleh robots.txt, Googlebot akan berhenti merayapi dan memuat konten dan script apa pun dari laman tersebut. Halaman ini tidak akan muncul dalam pencarian karena adanya instruksi dari robots.txt.
Nah itulah penjelasan singkat mengenai crawling dalam SEO. Semoga dengan adanya penjelasan ini, Anda jadi tahu tentang bagaimana cara SEO bekerja.
