ساخت robots.txt

این ابزار چی کار می‌کنه؟

یه فایل robots.txt تمیز و استاندارد برات می‌سازه، مخصوصاً برای وردپرس و ووکامرس. حالت‌های آماده داره، مسیرهای رایج مثل پیشخوان، جستجوی داخلی، سبد خرید و فیلترهای محصول رو با یه تیک می‌بنده، و آدرس نقشه‌ی سایت رو هم اضافه می‌کنه.

چطور ازش استفاده کنم؟

1. آدرس سایتت رو بنویس.
2. یکی از حالت‌های آماده رو انتخاب کن؛ برای بیشتر سایت‌ها «وردپرس (پیشنهادی)» کافیه.
3. اگه لازمه، مسیرهای دلخواهت رو اضافه کن.
4. خروجی رو کپی کن و تو ریشه‌ی سایت بذار. تو Rank Math از بخش ویرایش robots.txt هم می‌شه.

چند تا نکته

• Disallow جلوی خزش رو می‌گیره، نه ایندکس رو. برای بیرون موندن از نتایج، از noindex استفاده کن.
• کل wp-admin رو بدون اجازه به admin-ajax.php نبند؛ بعضی قابلیت‌های سایت می‌شکنن.
• گوگل Crawl-delay رو نادیده می‌گیره؛ فقط بعضی موتورهای دیگه بهش احترام می‌ذارن.

بیشتر بدونی

اگه می‌خوای برای GPTBot، OAI-SearchBot و ClaudeBot هم تصمیم بگیری، راهنمای کامل robots.txt و ربات‌های هوش مصنوعی رو بخون.

همه‌چیز تو مرورگر خودت اجرا می‌شه و چیزی به سرور فرستاده نمی‌شه. رایگانه و ثبت‌نام هم نمی‌خواد.