# هل موقعك محجوب عن ChatGPT؟ دليل robots.txt وCloudflare للزواحف

المصدر: https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D8%AD%D8%AC%D8%A8-%D8%B2%D9%88%D8%A7%D8%AD%D9%81-%D8%A7%D9%84%D8%B0%D9%83%D8%A7%D8%A1-%D8%A7%D9%84%D8%A7%D8%B5%D8%B7%D9%86%D8%A7%D8%B9%D9%8A

كتبه: فريق CiteTune · نشر: 2026-10-08 · حدث: 2026-10-08 · 9 دقائق للقراءة

## الجواب المختصر

نعم، قد يكون موقعك محجوبًا دون أن تعلم. للحجب طبقتان مستقلتان: ملف robots.txt الذي تعلنه، وجدار الحماية أو شبكة CDN مثل Cloudflare الذي قد يرد على زاحف بعينه بالرمز 403. افحص الطبقتين لكل زاحف على حدة، وتذكر أن حجب زاحف التدريب لا يخرجك من بحث ChatGPT.

## لماذا قد تحجب دون أن تعلم؟

يمر وصول زاحف الذكاء الاصطناعي إلى صفحتك بحاجزين مستقلين. الأول ملف robots.txt الذي تكتبه أنت أو تولده منصتك، وفيه تعلن لكل زاحف ما يجوز له جلبه. والثاني طبقة الشبكة: جدار حماية أو شبكة توصيل محتوى (CDN) مثل Cloudflare، وقد يرد على زاحف بعينه بالرمز 403 أو بصفحة تحقق مهما قال ملف robots.txt. وقد يبدو ملفك مفتوحًا تمامًا بينما يرفض الزاحف عند الباب.

والحجب لا يظهر لك في المتصفح. تفتح متجرك على هاتفك فتراه سليمًا، لأن القاعدة تطبق على الزاحف لا عليك. لذلك يمكن أن يبقى متجر في الرياض أو دبي مغلقًا في وجه زاحف البحث أشهرًا، وصاحبه لا يرى في لوحة تحكمه شيئًا غير عادي.

## ما الزواحف التي تهمك، وماذا يعني حجب كل منها؟

تفرق الشركات الكبرى بين ثلاثة أنواع من الزيارات: زاحف يجمع المحتوى للتدريب، وزاحف يفهرس للبحث، ووكيل يجلب صفحة حين يطلب مستخدم ذلك. وما تحجبه يؤثر في كل نوع تأثيرًا مختلفًا. الجدول التالي مأخوذ من وثائق كل جهة، وتاريخ اطلاعنا عليها مذكور في المصادر.

| الزاحف | الجهة | غرضه | ما يعنيه حجبه بحسب وثائق الجهة |
|---|---|---|---|
| GPTBot | OpenAI | تدريب النماذج | إشارة إلى أن محتواك لا يستخدم في تدريب نماذج OpenAI التوليدية |
| OAI-SearchBot | OpenAI | بحث ChatGPT | لا يظهر موقعك في إجابات بحث ChatGPT، وقد يبقى ظاهرًا رابطًا للتصفح |
| ChatGPT-User | OpenAI | زيارة بطلب المستخدم | قد لا تنطبق عليه قواعد robots.txt، لأن المستخدم هو من طلب الزيارة |
| ClaudeBot | Anthropic | تدريب النماذج | تستبعد موادك المستقبلية من بيانات التدريب |
| Claude-SearchBot | Anthropic | تحسين نتائج البحث | لا يفهرس محتواك للبحث، وقد يقل ظهورك ودقة ما يقال عنك |
| Claude-User | Anthropic | زيارة بطلب المستخدم | لا يجلب محتواك حين يسأل مستخدم Claude عن صفحتك |
| PerplexityBot | Perplexity | نتائج بحث Perplexity | لا يظهر موقعك رابطًا في نتائجها |
| Perplexity-User | Perplexity | زيارة بطلب المستخدم | يتجاهل عادة قواعد robots.txt لأن المستخدم طلب الجلب |
| Google-Extended | Google | رمز تحكم لتدريب Gemini | لا يؤثر في ظهورك في بحث Google ولا في ترتيبه |

الفرق الأهم أن حجب زاحف التدريب لا يخرجك من البحث. تقول OpenAI إن إعدادات كل زاحف عندها مستقلة عن الأخرى، فيمكنك السماح للزاحف OAI-SearchBot ليظهر موقعك في نتائج البحث، ومنع GPTBot كي لا يستخدم محتواك في التدريب. أما الخلط بين الاثنين فهو أكثر الأخطاء شيوعًا في ملفات robots.txt التي تنسخ من مصادر عامة.

> الزيارات التي يطلبها مستخدم لها حكم خاص. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهل هذه القواعد عادة. فلا يكفي ملف robots.txt وحده لمنع هذه الزيارات ولا لضمانها، وجدار الحماية هو الذي يحسم أمرها.

وللتفصيل في زواحف OpenAI وحدها، وكيف تسمح بالبحث وتمنع التدريب بمجموعات مستقلة في الملف، اقرأ [الفرق بين OAI-SearchBot وGPTBot وChatGPT-User](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D8%B2%D9%88%D8%A7%D8%AD%D9%81-openai-%D8%A7%D9%84%D8%AB%D9%84%D8%A7%D8%AB%D8%A9).

## حجب قد تفرضه Cloudflare دون أن تطلبه

أعلنت Cloudflare في 1 يوليو 2025 أنها تغير الإعداد الافتراضي ليحجب زواحف الذكاء الاصطناعي ما لم تدفع لأصحاب المحتوى. وتذكر صفحة وثائقها «Block AI Bots»، التي كان آخر تحديث لها في 1 يوليو 2026، أن إعدادات افتراضية جديدة للنطاقات الجديدة تبدأ في 15 سبتمبر 2026: تحجب الزواحف المصنفة «Training» أو «Agent» في الصفحات التي تعرض إعلانات، ويبقى البحث مسموحًا. فإن أنشأت نطاقًا جديدًا خلف Cloudflare، فراجع هذه السياسة بنفسك ولا تفترض أنها مفتوحة.

وتقدم Cloudflare كذلك إعداد «robots.txt المدار»: حين تفعله تنشئ ملفًا يطلب من زواحف الذكاء الاصطناعي المعروفة الابتعاد، وتدمجه مع ملفك إن كان عندك ملف. وتصرح وثائقها بأن الالتزام بملف robots.txt طوعي، وأن «AI Crawl Control» هو الأداة التي تفرض الحجب فعلًا. أي أن الطبقتين قد تكونان في خدمة سياسة واحدة، وقد تتعارضان.

أين تنظر إذن؟ بحسب وثائق Cloudflare وقت اطلاعنا، وقد تتغير التسميات:

- سياسات الروبوتات: «Security Settings» ثم «Configure AI bot policies»، وفيها إعداد مستقل لكل غرض (بحث، ووكيل، وتدريب) بين حجب كامل وحجب في صفحات الإعلانات فقط وسماح.
- لوحة «AI Crawl Control»: تبويب «Crawlers» يعرض كل زاحف وعدد طلباته، ولك أن تختار له السماح أو الحجب.
- قواعد WAF المخصصة وإعداد Bot Fight Mode: تقول Perplexity في وثائقها إنك قد تحتاج إلى السماح الصريح لزواحفها في WAF، وإلا ردت.

## اختبر موقعك بنفسك في ثلاث خطوات

1. اقرأ ملف robots.txt في متصفحك: «example.com/robots.txt». ابحث عن مجموعات تسمي الزواحف أعلاه، وعن «Disallow: /» تحت «User-agent: *».
2. اطلب صفحتك الرئيسية بوكيل مستخدم كل زاحف، وسجل رمز الحالة. الأوامر أدناه تستخدم curl وسلاسل User-agent المنشورة في وثائق OpenAI.
3. قارن النتيجة بطلب عادي من متصفحك. رمز 200 يعني أن الصفحة قدمت، أما 403 أو 429 أو صفحة تحقق فتعني أن الشبكة تعامل ذلك الزاحف معاملة خاصة.

```bash
# 1) read the robots.txt file
curl -s https://example.com/robots.txt

# 2) request the home page as GPTBot (user agent string published by OpenAI)
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/

# 3) the same request as OAI-SearchBot (the search crawler)
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/
```

وللاختبار حد ينبغي أن تعرفه. هو يقلد اسم الزاحف لا عنوانه IP، وبعض جدران الحماية تتحقق من الزاحف الحقيقي بعناوينه المنشورة (تنشر OpenAI وPerplexity نطاقات عناوين زواحفهما)، فتعد طلبك المقلد منتحلًا. لذلك لا يثبت الرمز 403 على طلبك أن الزاحف الحقيقي محجوب، ولا يثبت الرمز 200 أنه مسموح. اعتبر النتيجة قرينة، واحسم بسجلات الخادم أو بسؤال مزود الاستضافة كتابةً.

وانتبه إلى ملف robots.txt نفسه. بحسب المعيار RFC 9309، إذا رد الخادم على طلب الملف برمز بين 400 و499 عد الملف غير متاح وجاز للزاحف أن يصل إلى كل شيء، أما إذا رد برمز بين 500 و599 أو تعذر الوصول إليه فعلى الزاحف أن يفترض منعًا كاملًا. أي أن عطلًا مؤقتًا في الخادم عند طلب هذا الملف قد يغلق موقعك أمام الزواحف المنضبطة.

## مثال من فحص حقيقي على موقعنا

شغلنا فحص وصول زواحف الذكاء الاصطناعي على موقعنا نحن، CiteTune، في 8 أكتوبر 2026 الساعة 06:37 بالتوقيت العالمي. يختبر الفحص الصفحة الرئيسية فقط: يقرأ ملف robots.txt لكل زاحف من أربعة عشر زاحفًا، ثم يطلب الصفحة بوكيل مستخدمه ويقارن النتيجة بطلب بوكيل متصفح.

```text
site: our own site (CiteTune)      checked: 2026-10-08 06:37 UTC
baseline (browser user agent): 200

agent               group     robots.txt        live   verdict
GPTBot              training  Allow: /          200    allowed
OAI-SearchBot       search    Allow: /          200    allowed
ChatGPT-User        search    Allow: /          200    allowed
ClaudeBot           training  Allow: /          200    allowed
Claude-User         search    Allow: /          200    allowed
Claude-SearchBot    search    Allow: /          200    allowed
PerplexityBot       search    Allow: /          200    allowed
Perplexity-User     search    Allow: /          200    allowed
Google-Extended     training  Allow: /          -      allowed
Googlebot           search    Allow: /          200    allowed
Bingbot             search    Allow: /          200    allowed
CCBot               training  Allow: /          200    allowed
Applebot-Extended   training  Allow: /          -      allowed
Meta-ExternalAgent  training  Allow: /          200    allowed

overall: open (search 8/8 allowed, training 6/6 allowed)
```

النتيجة «مفتوح»: جميع الرموز الأربعة عشر مسموحة في robots.txt، ثمانية منها للبحث وستة للتدريب. وأعادت الطلبات الحية في الجدول الرمز 200. أما Google-Extended وApplebot-Extended فلا طلب حيًا لهما، لأنهما رمزا تحكم في robots.txt لا زاحفان يرسلان طلبات. وهذه نتيجة موقع واحد نملكه في لحظة واحدة، وليست إحصاءً عن مواقع الخليج، ولا تقول شيئًا عن موقعك أنت.

وحين يكون الموقع محجوبًا يصنف الفحص كل زاحف في واحدة من حالات: مسموح، أو محجوب في robots.txt، أو مرفوض من جدار الحماية، أو يواجه صفحة تحقق، أو محدود المعدل، أو غير حاسم إذا رفض طلب المتصفح نفسه. وتجد ذلك مفصلًا في [فحص وصول الزواحف المجاني](https://citetune.com/ar/%D8%A7%D8%AF%D9%88%D8%A7%D8%AA/%D9%81%D8%AD%D8%B5-%D8%A7%D9%84%D8%B2%D9%88%D8%A7%D8%AD%D9%81)، وهو لا يطلب تسجيلًا.

## كيف تصلح الحجب؟

1. حدد ما تريده لكل غرض. ما رأيك في أن يظهر متجرك في إجابات ChatGPT وClaude وPerplexity؟ إن أردت ذلك فاسمح لزواحف البحث: OAI-SearchBot وClaude-SearchBot وPerplexityBot.
2. عدل ملف robots.txt. المثال أدناه يسمح لزواحف البحث ويمنع زاحف التدريب لدى OpenAI. وهو توضيح لا توصية، فمنع التدريب قرار تجاري لك.
3. إن كان عندك مجموعة باسم زاحف معين، فانسخ إليها منع الصفحات الخاصة (السلة والدفع وحساب العميل). فبحسب RFC 9309 يطبق الزاحف المجموعة المسماة له وحدها، ولا يرجع إلى مجموعة «*» إلا إذا لم توجد مجموعة تخصه.
4. راجع Cloudflare أو جدار الحماية الذي أمام موقعك، واضبط سياسة كل غرض على حدة. لا تحجب «البحث» إن كان هدفك الظهور في إجابات الذكاء الاصطناعي.
5. انتظر نحو 24 ساعة، فتذكر OpenAI وPerplexity أن أنظمتهما قد تحتاج هذه المدة لتعتمد تعديل الملف، ثم أعد الاختبار.

```text
User-agent: OAI-SearchBot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account

User-agent: Claude-SearchBot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account

User-agent: PerplexityBot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account

User-agent: GPTBot
Disallow: /
```

> **!** لا تحجب عناوين IP التي تنشرها شركة ما لتمنع زاحفها. تقول Anthropic إن حجب العناوين قد لا يضمن الانسحاب، لأنه يمنعها من قراءة ملف robots.txt نفسه. استعمل الملف، ولا تستعمل الحجب بالعناوين وحده.

## متى يكون الحجب قرارًا سليمًا؟

كثير من أصحاب المحتوى يختارون منع زواحف التدريب، وهذا حقهم. والقرار تجاري: هل يستحق أن تستخدم صفحاتك في تدريب نموذج لا يعيد إليك زائرًا؟ لكن اعرف الثمن قبل أن تحجب زواحف البحث. تقول OpenAI إن المواقع التي لا تسمح للزاحف OAI-SearchBot لن تظهر في إجابات بحث ChatGPT، وتقول Anthropic إن تعطيل Claude-SearchBot قد يقلل ظهور موقعك ودقته في نتائج البحث.

ولا تنس أن الوصول شرط لازم لا كاف. فموقع مفتوح لكل الزواحف قد لا يذكر في إجابة أبدًا. إن كان وصولك سليمًا وما زال متجرك غائبًا، فانتقل إلى [قائمة التشخيص العملية](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D9%84%D9%85%D8%A7%D8%B0%D8%A7-%D9%84%D8%A7-%D9%8A%D8%B0%D9%83%D8%B1-chatgpt-%D9%85%D8%AA%D8%AC%D8%B1%D9%83). وإن كانت صفحاتك تبنى بلغة JavaScript فاقرأ [لماذا لا ترى الزواحف مواقع JavaScript](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/javascript-%D9%88%D8%B2%D9%88%D8%A7%D8%AD%D9%81-ai).

وللتعمق في معنى كل زاحف وتصنيفاته راجع مصطلح [زواحف الذكاء الاصطناعي](https://citetune.com/ar/%D8%A7%D9%84%D9%85%D8%B5%D8%B7%D9%84%D8%AD%D8%A7%D8%AA/%D8%B2%D9%88%D8%A7%D8%AD%D9%81-%D8%A7%D9%84%D8%B0%D9%83%D8%A7%D8%A1-%D8%A7%D9%84%D8%A7%D8%B5%D8%B7%D9%86%D8%A7%D8%B9%D9%8A) في قاموسنا. وإن أردت أن ترى ما تراه الزواحف في صفحاتك كلها لا الرئيسية وحدها، فإن [الفحص المجاني](https://citetune.com/ar/%D9%81%D8%AD%D8%B5-%D9%85%D8%AC%D8%A7%D9%86%D9%8A) يقرأ حتى 30 صفحة عامة، ويعرض لك السبب الذي رصدناه ودليله.

## أسئلة شائعة

### هل يخرج حجب GPTBot متجري من بحث ChatGPT؟

لا بحسب OpenAI. تقول إن إعدادات كل زاحف مستقلة عن الأخرى، وإن OAI-SearchBot هو الذي يتحكم في ظهور موقعك في نتائج بحث ChatGPT، أما GPTBot فللتدريب. ويمكن أن تحتاج أنظمتها نحو 24 ساعة لتعتمد تعديلك على robots.txt.

### هل يكفي أن يكون ملف robots.txt مفتوحًا؟

لا. الملف طلب مهذب وليس تحكمًا في الوصول، وقد يرفض جدار الحماية زاحفًا يسمح له الملف. افحص الطبقتين معًا: ما يقوله الملف، وما يرد به الخادم فعلًا على كل زاحف.

### هل تحجب Cloudflare زواحف الذكاء الاصطناعي تلقائيًا؟

تذكر وثائقها أن لها إعدادات افتراضية جديدة للنطاقات الجديدة ابتداءً من 15 سبتمبر 2026، تحجب فيها التدريب والوكلاء في صفحات الإعلانات وتبقي البحث مسموحًا. وإن كان نطاقك أقدم فقد تكون السياسة التي اخترتها أنت هي المطبقة. راجع إعداداتك ولا تفترض.

### هل رمز Google-Extended يؤثر في ظهوري في بحث Google؟

لا. تقول وثائق Google إن Google-Extended يتحكم في استخدام المحتوى لتدريب نماذج Gemini وتأسيس إجاباتها في منتجات أخرى، ولا يؤثر في إدراج موقعك في بحث Google ولا يستخدم إشارة ترتيب.

### ماذا يحدث إن رد خادمي بخطأ 500 عند طلب robots.txt؟

بحسب RFC 9309 يعد الزاحف الملف غير قابل للوصول ويفترض منعًا كاملًا، فقد يتوقف الزاحف المنضبط عن زيارة موقعك حتى يعود الملف. أما الرمز 404 فيعد الملف غير موجود ويجوز للزاحف أن يصل إلى كل شيء.

## المصادر

- [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots) (تاريخ الاطلاع: 2026-10-08)
- [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) (تاريخ الاطلاع: 2026-10-08)
- [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) (تاريخ الاطلاع: 2026-10-08)
- [Google Search Central: Google common crawlers (Google-Extended)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) (تاريخ الاطلاع: 2026-10-08)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) (تاريخ الاطلاع: 2026-10-08)
- [Cloudflare Docs: Block AI Bots](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (تاريخ الاطلاع: 2026-10-08)
- [Cloudflare Docs: Managed robots.txt](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/) (تاريخ الاطلاع: 2026-10-08)
- [Cloudflare Blog: Content Independence Day (1 July 2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/) (تاريخ الاطلاع: 2026-10-08)

## صفحات ذات صلة

- [زواحف الذكاء الاصطناعي](https://citetune.com/ar/%D8%A7%D9%84%D9%85%D8%B5%D8%B7%D9%84%D8%AD%D8%A7%D8%AA/%D8%B2%D9%88%D8%A7%D8%AD%D9%81-%D8%A7%D9%84%D8%B0%D9%83%D8%A7%D8%A1-%D8%A7%D9%84%D8%A7%D8%B5%D8%B7%D9%86%D8%A7%D8%B9%D9%8A)
- [لماذا لا يذكر ChatGPT متجرك؟ قائمة تشخيص عملية من سبع طبقات](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D9%84%D9%85%D8%A7%D8%B0%D8%A7-%D9%84%D8%A7-%D9%8A%D8%B0%D9%83%D8%B1-chatgpt-%D9%85%D8%AA%D8%AC%D8%B1%D9%83)
- [مواقع JavaScript لا تراها زواحف الذكاء الاصطناعي: كيف تعالج ذلك؟](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/javascript-%D9%88%D8%B2%D9%88%D8%A7%D8%AD%D9%81-ai)
- [متاجر سلة وزد وShopify في ChatGPT: ما الذي تفحصه أولًا؟](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D8%B3%D9%84%D8%A9-%D9%88%D8%B2%D8%AF-shopify-chatgpt)
- [كم متجرًا خليجيًا يحجب ChatGPT؟ دراسة على 760 متجرًا](https://citetune.com/ar/%D9%85%D8%AF%D9%88%D9%86%D8%A9/%D9%83%D9%85-%D9%85%D8%AA%D8%AC%D8%B1%D8%A7-%D8%AE%D9%84%D9%8A%D8%AC%D9%8A%D8%A7-%D9%8A%D8%AD%D8%AC%D8%A8-chatgpt)
- [هل وكيل ذكاء اصطناعي محجوب؟](https://citetune.com/ar/%D8%A7%D8%AF%D9%88%D8%A7%D8%AA/%D9%81%D8%AD%D8%B5-%D8%A7%D9%84%D8%B2%D9%88%D8%A7%D8%AD%D9%81)
- [فحص مجاني](https://citetune.com/ar/%D9%81%D8%AD%D8%B5-%D9%85%D8%AC%D8%A7%D9%86%D9%8A)