Back to Question Center
0

Tidak Mematuhi Penjejakan Semuanya Cari Semalat

1 answers:

Menggunakan robot. txt </code> Saya cuba menghentikan semua merangkak URL carian </p><pre> <code> Tidak membenarkan: / rest_of_url / carian & pelancongan *</code> </pre><p> Di atas adalah apa yang saya gunakan. URL kami kelihatan seperti berikut untuk semua hasil carian. Walau bagaimanapun, segala-galanya selepas <code> carian & pelancongan </code> boleh berbeza, sebagai contoh: </p><pre> <code> https: // www. contohnya. com. au / rest_of_url / search & tour-sdfs = the-place + location + & tour-duration = 1 / </code> </pre> <p> Adakah kod yang tidak dapat diselesaikan <code> halaman? </p> </div> - 2752709 PHOENIX CONTACT

February 12, 2018

Adakah kod Disallow di atas menghentikan robot daripada merangkak semua halaman hasil carian saya?

Ya, ia akan menghentikan bot (baik) yang mematuhi robot. txt "standard".

Walau bagaimanapun, anda tidak memerlukan trailing * . robot. txt ialah padankan awalan , jadi "wildcard" * pada akhirnya hanya boleh diabaikan. (Perlawanan jenis Wildcard adalah lanjutan dari piawaian asal pula. )

Dan anda pasti memerlukan arahan User-agent yang mendahului peraturan ini, jika anda belum mendapatnya:

  Agen pengguna: *
Membenarkan: / rest_of_url / carian & lawatan 
.

Di samping itu, anda boleh menghalang laman muncul dalam Carian Google dengan memasukkan tag meta noindex dalam kod HTML halaman.

Tidak Mematuhi Penjejakan Semuanya Cari Semalat
Reply