# GPTBot وزواحف الذكاء الاصطناعي الأخرى

> زواحف الذكاء الاصطناعي هي الروبوتات التي ترسلها شركات مثل OpenAI وAnthropic وPerplexity وGoogle لقراءة صفحات الويب. تشغل كل شركة عدة زواحف، ولكل منها عمل مختلف: بعضها يجمع بيانات التدريب، وبعضها يبني فهرس بحث، وبعضها يفتح صفحتك في الحال لأن مستخدمًا سأل سؤالًا.

المصدر: https://citetune.com/ar/%D8%A7%D9%84%D9%85%D8%B5%D8%B7%D9%84%D8%AD%D8%A7%D8%AA/%D8%B2%D9%88%D8%A7%D8%AD%D9%81-%D8%A7%D9%84%D8%B0%D9%83%D8%A7%D8%A1-%D8%A7%D9%84%D8%A7%D8%B5%D8%B7%D9%86%D8%A7%D8%B9%D9%8A

## ماذا يفعل كل زاحف

OpenAI: يجمع GPTBot المحتوى لتدريب النماذج؛ ويظهر OAI-SearchBot المواقع في بحث ChatGPT، والموقع الذي يحجبه لا يظهر في إجابات بحث ChatGPT؛ ويجلب ChatGPT-User صفحات بطلب من مستخدم، وتشير OpenAI إلى أن قواعد robots.txt قد لا تسري عليه.

Anthropic: ClaudeBot (للتدريب) وClaude-SearchBot (فهرس البحث) وClaude-User (جلب بطلب المستخدم)، وتقول Anthropic إنها كلها تحترم robots.txt. أما Perplexity فلديها PerplexityBot (نتائج البحث لا تدريب النماذج) وPerplexity-User (بمبادرة المستخدم، وهو عمومًا يتجاهل robots.txt). وGoogle-Extended رمز تحكم في robots.txt لا زاحف مستقل؛ وتقول Google إنه لا يؤثر في الإدراج في البحث.

## مسموح في robots.txt ومحجوب عند الخادم

ملف robots.txt إعلان؛ أما خادمك أو CDN أو جدار الحماية فقد يرد الزاحف نفسه خائبًا مع ذلك. أعلنت Cloudflare في 1 يوليو 2025 أنها تتجه إلى حجب زواحف الذكاء الاصطناعي افتراضيًا. تحقق مما يقوله robots.txt ومما يتلقاه كل زاحف فعلًا حين يطلب صفحة بوكيل المستخدم الخاص به. ويقوم فحصنا المجاني بالأمرين ويعرض الاستجابة كما هي.

## الزواحف في جدول

ما تقوله وثائق كل جهة عن غرض الزاحف وما يعنيه حجبه:

| الزاحف | الجهة | غرضه | عند حجبه |
|---|---|---|---|
| GPTBot | OpenAI | تدريب النماذج | لا يستخدم محتواك في التدريب |
| OAI-SearchBot | OpenAI | بحث ChatGPT | لا يظهر موقعك في إجابات البحث |
| ChatGPT-User | OpenAI | زيارة بطلب المستخدم | قد لا تنطبق قواعد robots.txt عليه |
| ClaudeBot | Anthropic | التدريب | تستبعد موادك المستقبلية من التدريب |
| Claude-SearchBot | Anthropic | نتائج البحث | قد يقل ظهورك ودقة ما يقال عنك |
| PerplexityBot | Perplexity | نتائج البحث | لا يظهر موقعك رابطًا فيها |
| Perplexity-User | Perplexity | زيارة بطلب المستخدم | يتجاهل عادة robots.txt |
| Google-Extended | Google | رمز تحكم لتدريب Gemini | لا يؤثر في بحث Google |

## ثلاثة اختبارات لمتجرك

الأول: اقرأ ملف robots.txt وانظر هل يتضمن قواعد تحجب زواحف البحث. الثاني: اطلب صفحتك الرئيسية بوكيل مستخدم كل زاحف وقارن الرمز بما يعيده متصفحك، وهذا ما يفعله [فحص وصول الزواحف](/ar/ادوات/فحص-الزواحف). الثالث: راجع إعدادات جدار الحماية أو Cloudflare، فقد يرفض زاحفًا يسمح له الملف.

وللخطوات والأوامر راجع مقال [هل موقعك محجوب عن زواحف الذكاء الاصطناعي](/ar/مدونة/حجب-زواحف-الذكاء-الاصطناعي). وتذكر أن اختبارك يقلد اسم الزاحف لا عنوانه، فرمز 403 على طلبك قرينة لا برهان.

## متى يكون الحجب قرارًا سليمًا

منع زواحف التدريب قرار تجاري مشروع، وكثير من أصحاب المحتوى يتخذونه، وتتيحه الشركات بالرموز التي رأيتها. لكن لا تخلط بينه وبين حجب زواحف البحث: تقول OpenAI إن موقعًا لا يسمح للزاحف OAI-SearchBot لن يظهر في إجابات بحث ChatGPT، وتقول Anthropic إن تعطيل Claude-SearchBot قد يقلل ظهور موقعك ودقته في نتائج البحث.

ولا تعتمد على حجب عناوين IP وحده لمنع زاحف. تقول Anthropic إنه قد لا يضمن الانسحاب لأنه يمنعها من قراءة robots.txt نفسه. واستعمل الملف أولًا، ثم أدوات جدار الحماية لما تريد فرضه.

## أسئلة شائعة

### إذا حجبت GPTBot، هل أختفي من ChatGPT؟

لا، فهما زاحفان مختلفان. بحسب OpenAI يجمع GPTBot بيانات التدريب، ويعتمد الظهور في إجابات بحث ChatGPT على OAI-SearchBot. وحجب GPTBot مع السماح للزاحف OAI-SearchBot يبقيك خارج التدريب وداخل البحث.

### كيف أكتب ملف robots.txt يسمح لزواحف بحث الذكاء الاصطناعي؟

أنشئ مجموعة لكل زاحف: «User-agent: OAI-SearchBot» يتبعها «Allow: /»، ومثلها للزاحفين Claude-SearchBot وPerplexityBot. ولمنع زاحف التدريب GPTBot أضف «User-agent: GPTBot» مع «Disallow: /». ثم اختبر استجابة خادمك لطلبات تحمل أسماء زواحف البحث هذه؛ فالرمز 200 يؤكد نجاح الطلب المختبَر، لكنه لا يثبت وحده وصول الزواحف الحقيقية.

### ما سياسة Cloudflare الافتراضية تجاه هذه الزواحف؟

تذكر صفحة وثائقها «Block AI Bots» أن إعدادات افتراضية جديدة للنطاقات الجديدة تبدأ في 15 سبتمبر 2026: تحجب الزواحف المصنفة «Training» أو «Agent» في الصفحات التي تعرض إعلانات ويبقى البحث مسموحًا. وإن كان نطاقك أقدم فراجع السياسة التي اخترتها.

## مصطلحات ذات صلة

- [ملف llms.txt](https://citetune.com/ar/%D8%A7%D9%84%D9%85%D8%B5%D8%B7%D9%84%D8%AD%D8%A7%D8%AA/llms-txt)
- [العرض المسبق والعرض من جهة الخادم (SSR)](https://citetune.com/ar/%D8%A7%D9%84%D9%85%D8%B5%D8%B7%D9%84%D8%AD%D8%A7%D8%AA/%D8%A7%D9%84%D8%B9%D8%B1%D8%B6-%D8%A7%D9%84%D9%85%D8%B3%D8%A8%D9%82)
- [الاسترجاع والاستشهاد](https://citetune.com/ar/%D8%A7%D9%84%D9%85%D8%B5%D8%B7%D9%84%D8%AD%D8%A7%D8%AA/%D8%A7%D9%84%D8%A7%D8%B3%D8%AA%D8%B1%D8%AC%D8%A7%D8%B9-%D9%88%D8%A7%D9%84%D8%A7%D8%B3%D8%AA%D8%B4%D9%87%D8%A7%D8%AF)
- [ملخصات الذكاء الاصطناعي (AI Overviews)](https://citetune.com/ar/%D8%A7%D9%84%D9%85%D8%B5%D8%B7%D9%84%D8%AD%D8%A7%D8%AA/%D9%85%D9%84%D8%AE%D8%B5%D8%A7%D8%AA-%D8%A7%D9%84%D8%B0%D9%83%D8%A7%D8%A1-%D8%A7%D9%84%D8%A7%D8%B5%D8%B7%D9%86%D8%A7%D8%B9%D9%8A)

## مقالات عن هذا الموضوع

- [هل موقعك محجوب عن ChatGPT؟ دليل robots.txt وCloudflare للزواحف](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D8%AD%D8%AC%D8%A8-%D8%B2%D9%88%D8%A7%D8%AD%D9%81-%D8%A7%D9%84%D8%B0%D9%83%D8%A7%D8%A1-%D8%A7%D9%84%D8%A7%D8%B5%D8%B7%D9%86%D8%A7%D8%B9%D9%8A)
- [الفرق بين OAI-SearchBot وGPTBot وChatGPT-User: لأيها تسمح بالوصول؟](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D8%B2%D9%88%D8%A7%D8%AD%D9%81-openai-%D8%A7%D9%84%D8%AB%D9%84%D8%A7%D8%AB%D8%A9)
- [كم متجرًا خليجيًا يحجب ChatGPT؟ دراسة على 760 متجرًا](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D9%83%D9%85-%D9%85%D8%AA%D8%AC%D8%B1%D8%A7-%D8%AE%D9%84%D9%8A%D8%AC%D9%8A%D8%A7-%D9%8A%D8%AD%D8%AC%D8%A8-chatgpt)
- [متاجر سلة وزد وShopify في ChatGPT: ما الذي تفحصه أولًا؟](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D8%B3%D9%84%D8%A9-%D9%88%D8%B2%D8%AF-shopify-chatgpt)
- [تحسين SEO لمتجر زد وظهوره في ChatGPT: ما الذي تفحصه؟](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D8%B3%D9%8A%D9%88-%D9%85%D8%AA%D8%AC%D8%B1-%D8%B2%D8%AF)
- [لماذا لا يذكر ChatGPT متجرك؟ قائمة تشخيص عملية من سبع طبقات](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D9%84%D9%85%D8%A7%D8%B0%D8%A7-%D9%84%D8%A7-%D9%8A%D8%B0%D9%83%D8%B1-chatgpt-%D9%85%D8%AA%D8%AC%D8%B1%D9%83)

## المصادر

- [developers.openai.com — Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [support.claude.com — Anthropic crawlers and robots.txt](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [docs.perplexity.ai — Perplexity crawlers](https://docs.perplexity.ai/guides/bots)
- [developers.google.com — Google common crawlers (Google-Extended)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [rfc-editor.org — RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [blog.cloudflare.com — AI crawlers blocked by default (01.07.2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)
- [developers.cloudflare.com — Block AI Bots](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)

كتبه: فريق CiteTune, FLAPP Bilişim A.Ş. · آخر تحديث: 2026-10-09