فاحص الملفات التقنية للموقع
تحليل شامل لملفات robots.txt، sitemap.xml، ومحتوى Mixed Content.
احصل على تقرير SEO تقني متكامل مع توصيات احترافية لتحسين فهرسة موقعك وأمانه في فحص واحد.
فحص تقني شامل
جاري التحليل...
سنقوم بفحص الملفات التقنية الثلاثة.
تحليل robots.txt
تحليل Sitemap.xml
فحص Mixed Content
التقرير الكامل
ما هي الملفات التقنية للموقع؟
الملفات التقنية الثلاثة (robots.txt، sitemap.xml، وأمان HTTPS) تشكّل الأساس الذي تبني عليه محركات البحث فهمها لموقعك.
إهمالها يعني أن Google و Bing قد يواجهان صعوبة في فهرسة صفحاتك، أو أن المتصفحات تحجب موارد موقعك، أو أن المستخدمين يرون تحذيرات "غير آمن".
وفقاً لدراسة Ahrefs 2024 على 2 مليون موقع، 68% من المواقع لديها مشكلة واحدة على الأقل في ملف robots.txt، و41% من Sitemaps تحتوي أخطاء، و23% من مواقع HTTPS تعاني من Mixed Content. هذه المشاكل مجتمعة قد تُكلّفك خسائر في الترتيب تصل إلى 40%.
حقيقة مهمة:
كل ثانية تأخير في الزحف بسبب مشاكل تقنية تكلفك ميزانية زحف (Crawl Budget) ضائعة. المواقع ذات الإعدادات التقنية الصحيحة تُفهرَس أسرع بمعدل 3.5 مرات من المواقع التي تعاني من مشاكل في robots.txt أو Sitemap.
robots.txt: دليل الزحف
ملف robots.txt هو أول ملف تزوره محركات البحث عند دخول موقعك. وظيفته الأساسية هي إخبار العناكب (Crawlers) أي أجزاء من موقعك يُسمح لها بالزحف وأيها يجب تجنبها.
الملف موجود في جذر الموقع: https://example.com/robots.txt.
البنية الأساسية لملف robots.txt
التوجيهات الأساسية
| التوجيه | الوظيفة | مثال |
|---|---|---|
User-agent |
يحدد أي روبوت تنطبق عليه القواعد | User-agent: Googlebot |
Disallow |
يمنع الزحف لمسار معين | Disallow: /admin/ |
Allow |
يسمح بالزحف (يتجاوز Disallow) | Allow: /public/ |
Crawl-delay |
عدد الثواني بين الطلبات | Crawl-delay: 2 |
Sitemap |
يُعلن عن موقع Sitemap | Sitemap: https://... |
الأخطاء الشائعة في robots.txt
- حظر كامل للموقع:
Disallow: /سيمنع فهرسة كل شيء! - حجب موارد CSS/JS: Google يحتاجها لعرض الصفحة كما يراها المستخدم
- استخدام robots.txt لمنع الفهرسة: خطأ شائع! استخدم
noindexبدلاً منه - نسيان Sitemap: عدم الإعلان عنه يُبطئ اكتشاف صفحاتك الجديدة
- حظر صفحات مهمة بالخطأ: مثل
/products/بدلاً من/products-old/
تحذير مهم:
robots.txt يمنع الزحف فقط، وليس الفهرسة. إذا كانت صفحة محجوبة في robots.txt لكن هناك روابط خارجية تشير إليها، قد يفهرسها Google بدون محتوى (ظاهرة "Indexed, not crawled"). لمنع الفهرسة تماماً، استخدم meta robots noindex أو X-Robots-Tag: noindex في HTTP headers.
Sitemap.xml: خريطة موقعك
ملف sitemap.xml هو خريطة XML تُدرج جميع URLs المهمة في موقعك مع معلومات إضافية تساعد محركات البحث في فهرسة موقعك بذكاء.
على عكس robots.txt الذي يمنع الزحف، Sitemap يُشجع محركات البحث على اكتشاف صفحاتك.
أنواع ملفات Sitemap
- URL Sitemap: الأنواع الأكثر شيوعاً، يُدرج صفحات HTML العادية
- Image Sitemap: لتحسين ظهور صورك في Google Images
- Video Sitemap: للفيديوهات المضمنة في صفحاتك
- News Sitemap: للمواقع الإخبارية (فهرسة فورية خلال 48 ساعة)
- Sitemap Index: ملف يجمع عدة sitemaps (للمواقع الكبيرة)
بنية ملف Sitemap قياسي
العناصر الأربعة الأساسية
| العنصر | الوصف | إلزامي؟ |
|---|---|---|
<loc> |
الرابط الكامل للصفحة (HTTPS) | نعم |
<lastmod> |
تاريخ آخر تعديل (YYYY-MM-DD) | مُوصى به |
<changefreq> |
كم مرة تتغير الصفحة (daily, weekly...) | اختياري |
<priority> |
أهمية الصفحة (0.0 إلى 1.0) | اختياري |
إحصائية:
وفقاً لـ Google Search Central 2023، المواقع التي تستخدم lastmod بدقة تشهد فهرسة أسرع للصفحات المحدثة بنسبة 73%.
لكن انتبه: إذا كان lastmod ثابتاً (مثل تاريخ اليوم في كل صفحة) وغير دقيق، سيتجاهله Google تماماً.
حدود Sitemap الرسمية
- 50,000 URL كحد أقصى لكل ملف sitemap
- 50 MB كحد أقصى لحجم الملف (قبل الضغط)
- إذا تجاوزت هذه الحدود، استخدم Sitemap Index لتقسيم المحتوى
Mixed Content: تهديد أمني صامت
Mixed Content يحدث عندما تُحمَّل صفحة HTTPS موارد (صور، سكريبتات، CSS، فيديو) عبر HTTP غير المشفر. هذا يُعتبر تهديداً أمنياً خطيراً لأن المهاجم يمكنه اعتراض وتعديل الموارد غير المشفرة (Man-in-the-Middle attack).
النوعان من Mixed Content
| النوع | الأمثلة | سلوك المتصفح | الخطورة |
|---|---|---|---|
| Active (نشط) | Scripts, iframes, forms, Flash | حجب تلقائي كامل | حرج جداً |
| Passive (سلبي) | Images, videos, audio | عرض مع تحذير (يُحجب في Chrome 81+) | متوسط |
لماذا يُعد Mixed Content مشكلة SEO؟
- علامة "غير آمن": المتصفحات تعرض تحذيراً في شريط العنوان مما يُقلل الثقة
- تأثير على الترتيب: Google يُفضّل المواقع الآمنة HTTPS بالكامل
- كسر الوظائف: Scripts المحجوبة قد تُعطّل تفاعلات الموقع
- تجربة مستخدم سيئة: صور لا تظهر، أزرار لا تعمل
كيف تصلح Mixed Content؟
- ابحث عن جميع الروابط
http://في HTML، CSS، وقواعد البيانات - استبدلها بـ
https://أو روابط نسبية (//protocol-relative) - فعّل HSTS (HTTP Strict Transport Security) لإجبار HTTPS
- في WordPress: استخدم إضافة Really Simple SSL أو Better Search Replace
- فحص كل صفحة بعد الإصلاح باستخدام أداة WaselCheck
الحل النهائي:
بعد إصلاح Mixed Content، فعّل HSTS عبر إضافة الرأس: Strict-Transport-Security: max-age=31536000; includeSubDomains; preload.
ثم سجّل موقعك في HSTS Preload List عبر hstspreload.org ليُجبر كل المتصفحات على استخدام HTTPS تلقائياً.
التكامل بين الملفات الثلاثة
هذه الملفات الثلاثة تعمل كفريق متكامل لتحسين SEO وأمان موقعك:
- robots.txt + Sitemap: الأول يمنع زحف الصفحات غير المهمة، الثاني يُوجه المحركات للصفحات المهمة
- Sitemap in robots.txt: الإعلان عن Sitemap في robots.txt يسرّع اكتشافه
- HTTPS + Mixed Content: HTTPS يحمي الاتصال، وخلو الموقع من Mixed Content يضمن عمل كل الموارد
- التوازن:robots.txt يحجب /admin/، لكن Sitemap يُدرج فقط الصفحات العامة، وHTTPS يحمي كل شيء
أفضل الممارسات لعام 2024
- اختبر أسبوعياً: أضف فحص الملفات التقنية إلى سير عملك الأسبوعي
- راقب Google Search Console: الأخطاء فيه تظهر قبل أن تُلاحظها أنت
- استخدم Sitemap Index للمواقع الكبيرة: قسّم المحتوى منطقياً (posts, products, categories)
- حافظ على lastmod دقيق: فقط تاريخ التعديل الحقيقي، ليس تاريخ اليوم
- فعّل HSTS: لحماية كاملة من downgrade attacks
- لا تحجب CSS/JS في robots.txt: Google يحتاجها لعرض الصفحة
- استخدم wildcard بحذر:
/*.pdf$قد يحجب أكثر مما تريد - راجع بعد كل تحديث CMS: الإضافات قد تغيّر ملفاتك التقنية
نصيحة محترف:
أضف فحص الملفات التقنية إلى CI/CD pipeline الخاص بك. أي commit يُفسد robots.txt أو Sitemap أو يُضيف Mixed Content يجب أن يُرفض تلقائياً قبل النشر.
هذا يمنع 90% من المشاكل التقنية قبل أن تصل للإنتاج.
الأسئلة الشائعة
robots.txt هو ملف نصي في جذر موقعك (example.com/robots.txt) يُخبر محركات البحث أي صفحات يُسمح لها بالزحف وأيها يُمنع. ملف مُعد بشكل صحيح يمنع فهرسة صفحات غير مرغوبة (مثل staging، admin panels، نتائج البحث الداخلي) مما يحافظ على ميزانية الزحف (crawl budget) ويُحسّن SEO.
Disallow يمنع محرك البحث من الزحف، بينما Allow يسمح به حتى لو كان هناك Disallow أعم. على سبيل المثال: Disallow: /admin/ يمنع كل /admin/، لكن Allow: /admin/public/ يسمح بصفحة محددة داخله. Google يدعم Allow لكن بعض المحركات القديمة قد لا تفعله.
Sitemap هو ملف XML يُدرج جميع URLs المهمة في موقعك مع معلومات إضافية (lastmod, changefreq, priority). أنواعه: URL Sitemap (لصفحات عادية)، Image Sitemap (للصور)، Video Sitemap (للفيديوهات)، News Sitemap (للأخبار)، وSitemap Index (ملف يجمع عدة sitemaps للمواقع الكبيرة).
عندما يتجاوز عدد URLs في Sitemap واحد 50,000 URL أو حجمه 50MB (قبل الضغط). أيضاً للمواقع الكبيرة التي تحتاج sitemaps منفصلة (مثلاً sitemap للمنتجات، آخر للمقالات). WordPress يُنشئ sitemap index تلقائياً عبر /wp-sitemap.xml.
Mixed Content هو تحميل موارد (صور، سكريبتات، CSS) عبر HTTP داخل صفحة HTTPS. هذا خطر لأن: 1) المهاجمين يمكنهم تعديل الموارد غير المشفرة، 2) المتصفحات الحديثة (Chrome, Firefox) تحجب الموارد النشطة (scripts, iframes) تلقائياً مما يكسر وظائف الموقع، 3) يُظهر علامة "غير آمن" في شريط العنوان.
Active Mixed Content (خطير جداً): سكريبتات، iframes، نماذج، Flash - يمكنها تعديل الصفحة كاملة. المتصفحات تحجبها تلقائياً. Passive Mixed Content (أقل خطراً): صور، فيديو، صوت - تُعرض لكن مع تحذير. بعض المتصفحات (Chrome 81+) بدأت تحجبها أيضاً.
ليس إجبارياً لكنه مُوصى به بشدة. إضافة السطر "Sitemap: https://example.com/sitemap.xml" في نهاية robots.txt يساعد محركات البحث على اكتشاف Sitemap أسرع. يمكنك أيضاً إرساله يدوياً عبر Google Search Console و Bing Webmaster Tools.
الحد الأقصى الرسمي: 50,000 URL لكل ملف sitemap، وحجم 50MB (غير مضغوط). لمعظم المواقع، هذا أكثر من كافٍ. إذا تجاوزت، استخدم Sitemap Index وقسّم المحتوى (مثلاً sitemap-posts.xml, sitemap-products.xml).
نعم وبشكل متزايد. Google أعلن في 2023 أنه يعطي lastmod أهمية كبيرة عند تحديد متى يُعيد الزحف. إذا كان تاريخ lastmod دقيقاً (يعكس تغييرات حقيقية)، فسترى فهرسة أسرع. أما إذا كان ثابتاً أو غير دقيق، فـ Google قد يتجاهله.
1) ابحث عن جميع الروابط http:// في قاعدة البيانات أو الملفات. 2) استبدلها بـ https:// أو روابط نسبية (//). 3) فعّل HSTS لإجبار HTTPS. 4) استخدم أداة WaselCheck لفحص كل صفحة بعد الإصلاح. 5) في WordPress، استخدم إضافة مثل Really Simple SSL أو Better Search Replace.
لا! robots.txt يمنع الزحف فقط، وليس الفهرسة. إذا كانت صفحة محجوبة في robots.txt لكن هناك روابط خارجية تشير إليها، قد يفهرسها Google بدون محتوى (ظاهرة "Indexed, not crawled"). لمنع الفهرسة تماماً، استخدم meta robots noindex أو X-Robots-Tag: noindex في HTTP headers.
نعم. Google و Bing يدعمان * (أي سلسلة) و $ (نهاية URL). مثال: Disallow: /*.pdf$ يمنع كل ملفات PDF. Disallow: /*?* يمنع كل URLs مع query string. لكن كن حذراً: wildcards قد تحجب أكثر مما تريد. اختبر دائماً بعد التعديل.