چطور جلوی استفاده‌ی هوش مصنوعی از محتوای وبلاگم را بگیرم؟

اگر وبلاگ داری و مطالبت روی اینترنت منتشر می‌شود، احتمالاً این سؤال برایت

پیش آمده که آیا ربات‌های هوش مصنوعی از نوشته‌هایت برای آموزش مدل‌ها

استفاده می‌کنند یا نه.

 پاسخ کوتاه این است: می‌توانی به بیشتر ربات‌های بزرگ بگویی که اجازه‌ی دسترسی ندارند، اما هیچ روش صددرصد تضمین‌شده‌ای وجود ندارد. در ادامه توضیح می‌دهم که این کنترل چطور کار می‌کند، چه محدودیت‌هایی دارد و چگونه می‌توانی آن را تنظیم کنی.

robots.txt چیست؟

فایل robots.txt یک فایل متنی ساده است که در ریشه‌ی سایت قرار می‌گیرد، یعنی آدرسی مثل https://yourblog.com/robots.txt. این فایل به ربات‌هایی که وب را می‌گردند می‌گوید کدام بخش‌های سایت را می‌توانند بخوانند و کدام بخش‌ها را نه.

این فایل یک درخواست اخلاقی و فنی است، نه قفل امنیتی. ربات‌های معتبر معمولاً به آن احترام می‌گذارند، اما ربات‌های بدخواه ممکن است آن را نادیده بگیرند.

تازه‌ترین وضعیت: یک سیگنال مشترک برای opt-out

طبق گزارش‌های اخیر، گوگل، مایکروسافت، OpenAI و Anthropic اعلام کرده‌اند که قصد دارند یک سیگنال مشترک robots.txt را برای ترجیحات آموزش هوش مصنوعی رعایت کنند. این یعنی ناشران دیگر مجبور نیستند برای هر شرکت جداگانه تنظیمات پیچیده انجام دهند. با این حال، جزئیات اجرای این تعهد و نام دقیق دستورات باید از منابع رسمی هر شرکت بررسی شود، چون ممکن است تغییر کند.

آموزش گام‌به‌گام: ساخت یا ویرایش فایل robots.txt

گام ۱: پیدا کردن فایل فعلی
آدرس yourdomain.com/robots.txt را در مرورگر باز کن. اگر فایلی نبود، باید خودت آن را بسازی.

گام ۲: نام ربات‌های هوش مصنوعی را بشناس
هر شرکت نام ربات خودش را دارد. نام‌های رایج عبارت‌اند از:

• GPTBot برای OpenAI
• ClaudeBot برای Anthropic
• Google-Extended برای آموزش مدل‌های گوگل
• CCBot برای Common Crawl که داده‌هایش توسط بسیاری از پروژه‌ها استفاده می‌شود

گام ۳: قوانین را بنویس
نمونه‌ی ساده برای مسدودکردن این ربات‌ها:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

اگر می‌خواهی فقط بخشی از سایت را ببندی، به‌جای / مسیر آن بخش را بنویس، مثلاً Disallow: /private/.

گام ۴: فایل را در ریشه‌ی سایت آپلود کن
فایل باید دقیقاً در آدرس yourdomain.com/robots.txt قابل مشاهده باشد. اگر وبلاگت روی یک سرویس میزبانی مثل WordPress یا پلتفرم‌های آماده است، معمولاً بخش «SEO» یا «فایل robots» در تنظیمات وجود دارد.

گام ۵: بررسی نهایی
بعد از ذخیره، آدرس فایل را دوباره باز کن و مطمئن شو تغییرات اعمال شده‌اند. ابزار «robots.txt Tester» در Google Search Console هم می‌تواند کمک کند.

نکته‌های مهم که باید بدانی

• این روش همه‌ی ربات‌ها را متوقف نمی‌کند. ربات‌هایی که به robots.txt توجه نمی‌کنند یا از منابع دیگر داده جمع می‌کنند، ممکن است همچنان به محتوایت دسترسی داشته باشند.
• محتوای قبلاً جمع‌آوری‌شده پاک نمی‌شود. تغییر robots.txt معمولاً فقط برای آینده اثر دارد.
• مسدودکردن ربات‌ها ممکن است روی سئو اثر بگذارد. اگر Googlebot را ببندی، صفحات از نتایج جستجو حذف می‌شوند. پس فقط ربات‌های آموزش AI را ببند و ربات‌های موتور جستجو را باز بگذار.
• نام ربات‌ها تغییر می‌کند. هر چند ماه یک‌بار صفحه‌ی راهنمای شرکت‌ها را چک کن.

گزینه‌های دیگر برای کنترل محتوا

اگر می‌خواهی کنترل بیشتری داشته باشی، می‌توانی این روش‌ها را هم در کنار robots.txt استفاده کنی:

• متای تگ noai: در بخش <head> صفحات می‌توانی ترجیح عدم آموزش را اعلام کنی، هرچند همه‌ی ربات‌ها به آن احترام نمی‌گذارند.
• تنظیمات پلتفرم: برخی سرویس‌های وبلاگ گزینه‌ی آماده برای بستن دسترسی ربات‌های AI دارند.
• شرایط استفاده و حق نشر: یک اعلامیه‌ی روشن درباره‌ی حق نشر و منع استفاده برای آموزش مدل در صفحه‌ی «درباره‌ی ما» یا پایین سایت، از نظر حقوقی اهمیت دارد. برای مسائل حقوقی، بهتر است با وکیل مشورت کنی.

جمع‌بندی

robots.txt ابزار ساده و رایگانی است که اولین قدم برای کنترل استفاده‌ی AI از محتوایت محسوب می‌شود. این فایل تضمین صددرصدی نیست، اما اعلام واضح ترجیحات تو، هم از نظر فنی و هم از نظر حقوقی، ارزش دارد. کافی است فایل را درست بسازی، ربات‌های موتور