# هل وكلاء الذكاء الاصطناعي محجوبون عن موقعك؟

> أدخل نطاقك فيخبرك هذا الفاحص المجاني هل تستطيع ChatGPT وClaude وPerplexity وGoogle وBing الوصول إلى موقعك. يقرأ ملف robots.txt لأربعة عشر زاحفًا للذكاء الاصطناعي والبحث، ويطلب صفحتك الرئيسية بهوية كل منها، ويرصد تحديات Cloudflare ورفض جدار الحماية بالرمز 403 ووسوم noindex. تحصل على نتيجة واحدة، مفتوح أو محجوب جزئيًا أو محجوب، مع الإصلاح، في أقل من 30 ثانية ودون حساب.

المصدر: https://citetune.com/ar/%D8%A7%D8%AF%D9%88%D8%A7%D8%AA/%D9%81%D8%AD%D8%B5-%D8%A7%D9%84%D8%B2%D9%88%D8%A7%D8%AD%D9%81

## كيف تقرأ النتيجة

تأتي النتيجة في الأعلى من جانب البحث فقط: زواحف البحث مثل Googlebot وBingbot وOAI-SearchBot، ووكلاء الذكاء الاصطناعي مثل ChatGPT-User الذين يجلبون صفحة حين يسأل أحد مساعدًا عنك. إن وصلت كلها إلى صفحتك الرئيسية فالموقع مفتوح. وإن رفض بعضها فهو محجوب جزئيًا؛ وإن لم يصل أي منها فهو محجوب.

لكل صف جوابان. يبين عمود robots.txt هل يسمح الملف برمز الزاحف عند صفحتك الرئيسية وأي قاعدة طابقت. ويبين عمود الاختبار المباشر ما استلمته خوادمنا بوكيل المستخدم المعلن لذلك الزاحف: الرمز 200 يعني أن الصفحة قدمت، أما 403 أو 429 أو صفحة تحد فتعني أن شيئًا بين الزاحف وصفحاتك يرفضه. والصفحة المقدمة التي تقول noindex تحتسب محجوبة عن البحث.

## زواحف التدريب قرارك أنت

تجمع GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وMeta-ExternalAgent المحتوى لتدريب النماذج. وتقع في جدول منفصل ولا تخفض النتيجة أبدًا: حجبها خيار مشروع، وتوثق OpenAI وAnthropic وGoogle وApple زواحف منفصلة للبحث. يبين الفاحص ما هو محجوب ويترك القرار لك.

## الإعداد الافتراضي في Cloudflare الذي يحجب وكلاء الذكاء الاصطناعي

منذ 15 سبتمبر 2026 تحجب إعدادات Cloudflare الافتراضية للنطاقات الجديدة زواحف التدريب والوكلاء في الصفحات التي تعرض إعلانات، بينما تبقى زواحف البحث مسموحًا لها. فقد يرفض متجر على Cloudflare ChatGPT-User أو Perplexity-User دون أن يختار ذلك أحد. وحين يرفض الوكلاء وزواحف التدريب فقط على موقع Cloudflare، يسمي الفاحص هذا النمط ويسرد خطوات لوحة التحكم لتغييره تحت «Security» ثم «Settings» ثم «Configure AI bot policies».

ويرصد أيضًا كتلة robots.txt المدارة من Cloudflare التي تمنع زواحف التدريب فقط، ويميزها عن حجب يطال زواحف البحث أيضًا، مثل «Bot Fight Mode» أو قاعدة مخصصة في جدار الحماية.

## ما لا يستطيع الفاحص إخبارك به

تأتي الطلبات من خوادمنا لا من نطاقات عناوين IP الحقيقية لهذه الزواحف. وقد يعامل جدار حماية يتحقق من الزواحف بعنوان IP أو بالبحث العكسي في DNS طلبنا على أنه منتحل، فالحجب هنا يدل على قاعدة تطابق وكيل المستخدم، لا على دليل أن الزاحف الحقيقي محجوب. تنشر OpenAI وAnthropic وPerplexity نطاقات عناوينها؛ فراجع سجلات جدار الحماية لطلبات من هذه النطاقات لتتأكد.

يطلب الاختبار صفحتك الرئيسية فقط، مرة واحدة لكل زاحف، اثنين في وقت واحد، من مكان واحد وفي لحظة واحدة. ولا يقرأ سجلاتك، ولا يقول هل زارك زاحف يومًا.

## ما الزواحف التي يجري اختبارها؟

أربعة عشر رمزًا: GPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وClaude-User وClaude-SearchBot وPerplexityBot وPerplexity-User وGoogle-Extended وGooglebot وBingbot وCCBot وApplebot-Extended وMeta-ExternalAgent. أما Google-Extended وApplebot-Extended فرمزا تحكم في robots.txt ولا زاحف لهما، فيسري عليهما فحص robots.txt وحده.

## أسئلة شائعة

### هل بدأت Cloudflare بحجب زواحف الذكاء الاصطناعي على موقعي؟

ربما. منذ 15 سبتمبر 2026 تحجب إعدادات Cloudflare الافتراضية للنطاقات الجديدة زواحف التدريب والوكلاء في الصفحات التي تعرض إعلانات، بينما تبقى زواحف البحث مسموحًا لها. ويجلب وكلاء مثل ChatGPT-User صفحة حين يسأل أحد مساعد ذكاء اصطناعي عنها. يرصد الفاحص هذا النمط ويسرد الإصلاح: في لوحة التحكم افتح «Security» ثم «Settings» ثم «Configure AI bot policies» واجعل الوكلاء مسموحًا لهم.

### هل GPTBot هو الزاحف الذي يقرر هل يعرض ChatGPT موقعي؟

لا. توثق OpenAI أن GPTBot زاحف للمحتوى الذي قد يدرب نماذجها، وأن OAI-SearchBot هو الذي يظهر المواقع في ميزات البحث في ChatGPT. والمواقع التي استبعدت نفسها من OAI-SearchBot لا تظهر في إجابات بحث ChatGPT. ويتحكم في الاثنين منفصلين في robots.txt، فتحقق منهما معًا.

### هل أحجب GPTBot وClaudeBot؟

هذا قرار تجاري. كلاهما موثق على أنه زاحف تدريب، وحجبهما يستبعد محتواك من تدريب النماذج. ولا تربطهما أي من الشركتين بنتائج بحثها، التي تستخدم OAI-SearchBot وClaude-SearchBot. لذلك لا يحتسب الفاحص حجب زواحف التدريب ضد نتيجتك أبدًا. وإن أردت الظهور في إجابات البحث بالذكاء الاصطناعي فأبق زواحف البحث والوكلاء مسموحًا لها.

### لماذا يقول الفاحص إن الزاحف مسموح في robots.txt لكنه محجوب؟

ملف robots.txt طلب موجه إلى الزواحف لا بوابة. وقد تعيد شبكة CDN أو جدار حماية تطبيقات الويب أو الاستضافة لديك الرمز 403 أو 429 أو صفحة تحد لوكيل مستخدم زاحف ما. وحين يحدث ذلك تكون النتيجة حجبًا من جدار الحماية لا من robots.txt، ويكون الإصلاح في إعدادات CDN أو جدار الحماية.

### هل يزيلني حجب Google-Extended من ملخصات الذكاء الاصطناعي في Google؟

تقول Google إن Google-Extended لا يؤثر في الإدراج في بحث Google وليس إشارة ترتيب. ويقول دليل ميزات الذكاء الاصطناعي لديها إن الصفحة قد تظهر رابطًا داعمًا في ملخصات الذكاء الاصطناعي ووضع AI إذا كانت مفهرسة ومؤهلة للعرض بمقتطف، دون متطلبات تقنية إضافية.