«پروتکل استثناکردن ربات‌ها» که با عنوان «استاندارد استثناکردن ربات‌ها» نیز شناخته می‌شود، استانداردی است که توسط سایت‌ها برای برقراری ارتباط با خزنده‌ها و سایر ربات‌های وب استفاده می‌شود. این استاندارد به موتورهای جست‌وجو اطلاع می‌دهد که کدام بخش از سایت نباید پردازش یا اسکن شود. فایل robots.txt هر سایتی را می‌توان با وارد‌کردن /robots.txt در انتهای URL پیدا کرد.
نظرات بسته شده است.