Sesuai dengan judul pembahasan kali ini saya akan membagikan Istilah Istilah Tag Meta Robot Khusus "Perintah pengindeksan & penyajian yang valid", penanganan yang khusus dan tepat juga dapat menjadi cara jitu dalam pencarian google.com | google.co.id dan bisa dibilang SEO
Tag meta robot pada contoh di bawah menginstruksikan semua mesin telusur agar tidak menampilkan laman tersebut dalam hasil penelusuran. Nilai atribut name (robots) menentukan bahwa perintah tersebut berlaku untuk semua perayap.
Tag meta robot memungkinkan Anda menggunakan pendekatan khusus laman yang terperinci untuk mengontrol cara tiap laman diindeks dan ditampilkan kepada pengguna dalam hasil penelusuran. Tempatkan tag meta robot di bagian <head> pada laman tertentu, seperti ini:
contoh :
<!DOCTYPE html>Untuk menangani perayap tertentu, ganti nilai robots pada atribut name dengan nama perayap yang dimaksud. Perayap tertentu juga dikenal sebagai agen pengguna (perayap menggunakan agen penggunanya untuk meminta laman). Perayap web standar Google memiliki nama agen pengguna Googlebot. Agar Googlebot saja yang tidak merayapi laman Anda, perbarui tagnya seperti di bawah:
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>
<meta name="googlebot" content="noindex" />Kita Juga dapat menyisipkan dibagian header Menggunakan HTTP X-Robots-Tag
X-Robots-Tag dapat digunakan sebagai elemen respons header HTTP untuk URL tertentu. Setiap perintah yang dapat digunakan dalam tag meta robot juga dapat ditentukan sebagai X-Robots-Tag. Berikut adalah contoh respons HTTP dengan X-Robots-Tag yang memerintahkan perayap agar tidak mengindeks laman:
HTTP/1.1 200 OKBeberapa perintah lainnya dapat digunakan untuk mengontrol pengindeksan dan penyajian dengan tag meta robot dan X-Robots-Tag. Tiap nilai mewakili perintah tertentu. Tabel berikut menampilkan semua perintah yang diakui oleh Google dan artinya.
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Catatan:
ada kemungkinan perintah berikut tidak diperlakukan sama pada perayap mesin telusur lainnya. Beberapa perintah dapat digabungkan dalam daftar yang dipisahkan koma (lihat cara menangani perintah gabungan di bawah). Perintah berikut tidak peka terhadap huruf besar dan kecil.
| Perintah | Arti |
|---|---|
all | Tidak ada batasan untuk pengindeksan atau penyajian. Catatan: perintah ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit. |
noindex | Jangan tampilkan laman ini dalam hasil penelusuran dan jangan tampilkan tautan "dalam cache" di hasil penelusuran. |
nofollow | Jangan ikuti tautan di laman ini |
none | Setara dengan noindex, |
noarchive | Jangan tampilkan tautan "dalam cache" di hasil penelusuran. |
nosnippet | Jangan tampilkan cuplikan dalam hasil penelusuran untuk laman ini |
noodp | Jangan gunakan metadata dari proyek Direktori Terbuka untuk judul atau cuplikan yang ditampilkan pada laman ini. |
notranslate | Jangan menawarkan terjemahan dari laman ini dalam hasil penelusuran. |
noimageindex | Jangan lakukan pengindeksan gambar di laman ini. |
unavailable_after: [RFC-850 date/time] | Jangan tampilkan laman ini dalam hasil penelusuran setelah tanggal/waktu yang telah ditentukan. Tanggal/waktu harus ditentukan dalam format RFC 850. |
Anda dapat menambahkan X-Robots-Tag ke respons HTTP di situs menggunakan file .htaccess dan httpd.conf yang tersedia secara default pada server web berbasis Apache.
Keuntungan menggunakan X-Robots-Tag dengan respons HTTP adalah Anda dapat menentukan perintah perayapan yang diterapkan secara global di seluruh situs.
Dukungan ekspresi reguler memungkinkan tingkat fleksibilitas yang tinggi.
Misalnya, untuk menambahkan X-Robots-Tag noindex, nofollow ke respons HTTP untuk semua file .PDF di seluruh situs, tambahkan cuplikan berikut ke file akar .htaccess atau file httpd.conf di situs:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
demikian pembahasan Tag Meta Robot Khusus yang disediakan Tim Blogger, yang saya juga menggunakan istilah tersebut