ابزار رایگان سئو و وبFree SEO & Web tool

سازندهٔ فایل robots.txt استانداردRobots.txt generator

تولید فایل robots.txt امن برای وردپرس و سایت‌های اختصاصی، با گزینهٔ مسدودسازی خزنده‌های هوش مصنوعی و آدرس نقشه سایت.Generate a safe robots.txt file for WordPress and custom websites, with an AI scraper block option and sitemap directive.

هشدار مهم: robots.txt مانع ایندکس نمی‌شودWarning: robots.txt does not prevent indexing

فایل robots.txt فقط به موتورهای جست‌وجو می‌گوید صفحه را بررسی نکنند (Crawl)، اما صفحه را از گوگل حذف نمی‌کند. اگر سایتی به صفحه لینک دهد، ممکن است آدرس صفحه بدون توضیحات در نتایج گوگل ایندکس شود. برای حذف قطعی صفحه از گوگل، باید متاتگ noindex در هدر صفحه گذاشته شود.robots.txt prevents crawling, not indexing. To completely remove a page from search results, use a meta noindex tag.

تنظیمات پایه و وردپرسBase & WordPress Settings

قوانین استاندارد وردپرسStandard WordPress rulesبستن پوشهٔ مدیریت وردپرس (Disallow: /wp-admin/) به همراه باز گذاشتن Allow: /wp-admin/admin-ajax.php برای کارکرد درست ایجکس.Blocks /wp-admin/ while keeping admin-ajax.php accessible.

ربات‌های هوش مصنوعی (AI Bots)AI Scrapers

مسدود کردن ربات‌های آموزش هوش مصنوعیBlock AI training scrapersGPTBot، ClaudeBot، Google-Extended، CCBot، PerplexityBot، Applebot-Extended و Bytespider. روی رتبهٔ شما در جست‌وجوی گوگل اثری ندارد (Google-Extended جدا از Googlebot است). ربات‌های معتبر رعایتش می‌کنند؛ ربات‌های بی‌قاعده نه.Does not affect Google Search. Reputable bots honour it; rogue ones do not.

مسیرهای سفارشی و نقشه سایتCustom Paths & Sitemap

آدرس نقشه سایت (Sitemap URL)Sitemap URL آدرس کامل فایل نقشه سایت برای معرفی به گوگل و بینگ.Full URL of your XML sitemap.

پوشه‌ها یا فایل‌های مسدود اضافی (هر کدام در یک خط)Additional Disallow paths مسیرهایی که نباید خزش شوند (مثلاً /cart/ یا /checkout/).Paths to block from crawling.

سرعت خزش (Crawl-Delay)Crawl Delay

محدودیت تأخیر خزشCrawl-delay توجه: گوگل دستور Crawl-delay را کاملاً نادیده می‌گیرد و فقط موتورهای بینگ و یاندکس از آن تبعیت می‌کنند.Note: Google completely ignores Crawl-delay; only Bing and Yandex respect it.

محتوای فایل robots.txtrobots.txt Content

این فایل را کجا بگذارم؟Where to place this file?

فایل را دقیقاً در ریشهٔ هاست (پوشهٔ public_html) با نام robots.txt ذخیره کنید.Place in your root public_html folder named exactly robots.txt.
آدرس آن باید به صورت مستقیم باز شود؛ مثلاً: https://example.ir/robots.txtMust be accessible at https://example.ir/robots.txt.
در گوگل سرچ کنسول (Search Console) بخش robots.txt report می‌توانید صحت خواندن آن را بررسی کنید.Validate in Google Search Console robots.txt report.
وردپرس بدون فایل هم یک robots.txt مجازی می‌سازد و افزونه‌های سئو (Yoast، Rank Math) ویرایشگر خودشان را دارند. فایل واقعی در public_html بر هر دو مقدم است؛ فقط از یک روش استفاده کنید.WordPress serves a virtual robots.txt; a real file overrides it. Use one method only.
هرگز Disallow: / را زیر User-agent: * نگذارید، مگر بخواهید کل سایت از گوگل بیرون برود.Never put Disallow: / under User-agent: * unless you want the whole site out of Google.