فحص تقني شامل

الأداة تفحص robots.txt و sitemap.xml وتبحث عن Mixed Content في الصفحة الرئيسية.
0
/ 100

جاري التحليل...

سنقوم بفحص الملفات التقنية الثلاثة.

تحليل robots.txt

تحليل Sitemap.xml

فحص Mixed Content

التقرير الكامل

تقرير جاهز للنسخ والتحميل

ما هي الملفات التقنية للموقع؟

الملفات التقنية الثلاثة (robots.txt، sitemap.xml، وأمان HTTPS) تشكّل الأساس الذي تبني عليه محركات البحث فهمها لموقعك. إهمالها يعني أن Google و Bing قد يواجهان صعوبة في فهرسة صفحاتك، أو أن المتصفحات تحجب موارد موقعك، أو أن المستخدمين يرون تحذيرات "غير آمن".

وفقاً لدراسة Ahrefs 2024 على 2 مليون موقع، 68% من المواقع لديها مشكلة واحدة على الأقل في ملف robots.txt، و41% من Sitemaps تحتوي أخطاء، و23% من مواقع HTTPS تعاني من Mixed Content. هذه المشاكل مجتمعة قد تُكلّفك خسائر في الترتيب تصل إلى 40%.

حقيقة مهمة:
كل ثانية تأخير في الزحف بسبب مشاكل تقنية تكلفك ميزانية زحف (Crawl Budget) ضائعة. المواقع ذات الإعدادات التقنية الصحيحة تُفهرَس أسرع بمعدل 3.5 مرات من المواقع التي تعاني من مشاكل في robots.txt أو Sitemap.

robots.txt: دليل الزحف

ملف robots.txt هو أول ملف تزوره محركات البحث عند دخول موقعك. وظيفته الأساسية هي إخبار العناكب (Crawlers) أي أجزاء من موقعك يُسمح لها بالزحف وأيها يجب تجنبها. الملف موجود في جذر الموقع: https://example.com/robots.txt.

البنية الأساسية لملف robots.txt

# مثال على robots.txt احترافي User-agent: * Disallow: /admin/ Disallow: /search?q= Disallow: /api/ Allow: /public/ User-agent: Googlebot Allow: / Crawl-delay: 2 User-agent: Bingbot Disallow: /private/ Sitemap: https://example.com/sitemap.xml Sitemap: https://example.com/sitemap-news.xml

التوجيهات الأساسية

التوجيه الوظيفة مثال
User-agent يحدد أي روبوت تنطبق عليه القواعد User-agent: Googlebot
Disallow يمنع الزحف لمسار معين Disallow: /admin/
Allow يسمح بالزحف (يتجاوز Disallow) Allow: /public/
Crawl-delay عدد الثواني بين الطلبات Crawl-delay: 2
Sitemap يُعلن عن موقع Sitemap Sitemap: https://...

الأخطاء الشائعة في robots.txt

تحذير مهم:
robots.txt يمنع الزحف فقط، وليس الفهرسة. إذا كانت صفحة محجوبة في robots.txt لكن هناك روابط خارجية تشير إليها، قد يفهرسها Google بدون محتوى (ظاهرة "Indexed, not crawled"). لمنع الفهرسة تماماً، استخدم meta robots noindex أو X-Robots-Tag: noindex في HTTP headers.

Sitemap.xml: خريطة موقعك

ملف sitemap.xml هو خريطة XML تُدرج جميع URLs المهمة في موقعك مع معلومات إضافية تساعد محركات البحث في فهرسة موقعك بذكاء. على عكس robots.txt الذي يمنع الزحف، Sitemap يُشجع محركات البحث على اكتشاف صفحاتك.

أنواع ملفات Sitemap

بنية ملف Sitemap قياسي

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://example.com/</loc> <lastmod>2024-10-07</lastmod> <changefreq>weekly</changefreq> <priority>1.0</priority> </url> <url> <loc>https://example.com/about</loc> <lastmod>2024-09-15</lastmod> <changefreq>monthly</changefreq> <priority>0.8</priority> </url> </urlset>

العناصر الأربعة الأساسية

العنصر الوصف إلزامي؟
<loc> الرابط الكامل للصفحة (HTTPS) نعم
<lastmod> تاريخ آخر تعديل (YYYY-MM-DD) مُوصى به
<changefreq> كم مرة تتغير الصفحة (daily, weekly...) اختياري
<priority> أهمية الصفحة (0.0 إلى 1.0) اختياري

إحصائية:
وفقاً لـ Google Search Central 2023، المواقع التي تستخدم lastmod بدقة تشهد فهرسة أسرع للصفحات المحدثة بنسبة 73%. لكن انتبه: إذا كان lastmod ثابتاً (مثل تاريخ اليوم في كل صفحة) وغير دقيق، سيتجاهله Google تماماً.

حدود Sitemap الرسمية

Mixed Content: تهديد أمني صامت

Mixed Content يحدث عندما تُحمَّل صفحة HTTPS موارد (صور، سكريبتات، CSS، فيديو) عبر HTTP غير المشفر. هذا يُعتبر تهديداً أمنياً خطيراً لأن المهاجم يمكنه اعتراض وتعديل الموارد غير المشفرة (Man-in-the-Middle attack).

النوعان من Mixed Content

النوع الأمثلة سلوك المتصفح الخطورة
Active (نشط) Scripts, iframes, forms, Flash حجب تلقائي كامل حرج جداً
Passive (سلبي) Images, videos, audio عرض مع تحذير (يُحجب في Chrome 81+) متوسط

لماذا يُعد Mixed Content مشكلة SEO؟

كيف تصلح Mixed Content؟

  1. ابحث عن جميع الروابط http:// في HTML، CSS، وقواعد البيانات
  2. استبدلها بـ https:// أو روابط نسبية (// protocol-relative)
  3. فعّل HSTS (HTTP Strict Transport Security) لإجبار HTTPS
  4. في WordPress: استخدم إضافة Really Simple SSL أو Better Search Replace
  5. فحص كل صفحة بعد الإصلاح باستخدام أداة WaselCheck

الحل النهائي:
بعد إصلاح Mixed Content، فعّل HSTS عبر إضافة الرأس: Strict-Transport-Security: max-age=31536000; includeSubDomains; preload. ثم سجّل موقعك في HSTS Preload List عبر hstspreload.org ليُجبر كل المتصفحات على استخدام HTTPS تلقائياً.

التكامل بين الملفات الثلاثة

هذه الملفات الثلاثة تعمل كفريق متكامل لتحسين SEO وأمان موقعك:

أفضل الممارسات لعام 2024

  1. اختبر أسبوعياً: أضف فحص الملفات التقنية إلى سير عملك الأسبوعي
  2. راقب Google Search Console: الأخطاء فيه تظهر قبل أن تُلاحظها أنت
  3. استخدم Sitemap Index للمواقع الكبيرة: قسّم المحتوى منطقياً (posts, products, categories)
  4. حافظ على lastmod دقيق: فقط تاريخ التعديل الحقيقي، ليس تاريخ اليوم
  5. فعّل HSTS: لحماية كاملة من downgrade attacks
  6. لا تحجب CSS/JS في robots.txt: Google يحتاجها لعرض الصفحة
  7. استخدم wildcard بحذر: /*.pdf$ قد يحجب أكثر مما تريد
  8. راجع بعد كل تحديث CMS: الإضافات قد تغيّر ملفاتك التقنية

نصيحة محترف:
أضف فحص الملفات التقنية إلى CI/CD pipeline الخاص بك. أي commit يُفسد robots.txt أو Sitemap أو يُضيف Mixed Content يجب أن يُرفض تلقائياً قبل النشر. هذا يمنع 90% من المشاكل التقنية قبل أن تصل للإنتاج.

الأسئلة الشائعة

robots.txt هو ملف نصي في جذر موقعك (example.com/robots.txt) يُخبر محركات البحث أي صفحات يُسمح لها بالزحف وأيها يُمنع. ملف مُعد بشكل صحيح يمنع فهرسة صفحات غير مرغوبة (مثل staging، admin panels، نتائج البحث الداخلي) مما يحافظ على ميزانية الزحف (crawl budget) ويُحسّن SEO.

Disallow يمنع محرك البحث من الزحف، بينما Allow يسمح به حتى لو كان هناك Disallow أعم. على سبيل المثال: Disallow: /admin/ يمنع كل /admin/، لكن Allow: /admin/public/ يسمح بصفحة محددة داخله. Google يدعم Allow لكن بعض المحركات القديمة قد لا تفعله.

Sitemap هو ملف XML يُدرج جميع URLs المهمة في موقعك مع معلومات إضافية (lastmod, changefreq, priority). أنواعه: URL Sitemap (لصفحات عادية)، Image Sitemap (للصور)، Video Sitemap (للفيديوهات)، News Sitemap (للأخبار)، وSitemap Index (ملف يجمع عدة sitemaps للمواقع الكبيرة).

عندما يتجاوز عدد URLs في Sitemap واحد 50,000 URL أو حجمه 50MB (قبل الضغط). أيضاً للمواقع الكبيرة التي تحتاج sitemaps منفصلة (مثلاً sitemap للمنتجات، آخر للمقالات). WordPress يُنشئ sitemap index تلقائياً عبر /wp-sitemap.xml.

Mixed Content هو تحميل موارد (صور، سكريبتات، CSS) عبر HTTP داخل صفحة HTTPS. هذا خطر لأن: 1) المهاجمين يمكنهم تعديل الموارد غير المشفرة، 2) المتصفحات الحديثة (Chrome, Firefox) تحجب الموارد النشطة (scripts, iframes) تلقائياً مما يكسر وظائف الموقع، 3) يُظهر علامة "غير آمن" في شريط العنوان.

Active Mixed Content (خطير جداً): سكريبتات، iframes، نماذج، Flash - يمكنها تعديل الصفحة كاملة. المتصفحات تحجبها تلقائياً. Passive Mixed Content (أقل خطراً): صور، فيديو، صوت - تُعرض لكن مع تحذير. بعض المتصفحات (Chrome 81+) بدأت تحجبها أيضاً.

ليس إجبارياً لكنه مُوصى به بشدة. إضافة السطر "Sitemap: https://example.com/sitemap.xml" في نهاية robots.txt يساعد محركات البحث على اكتشاف Sitemap أسرع. يمكنك أيضاً إرساله يدوياً عبر Google Search Console و Bing Webmaster Tools.

الحد الأقصى الرسمي: 50,000 URL لكل ملف sitemap، وحجم 50MB (غير مضغوط). لمعظم المواقع، هذا أكثر من كافٍ. إذا تجاوزت، استخدم Sitemap Index وقسّم المحتوى (مثلاً sitemap-posts.xml, sitemap-products.xml).

نعم وبشكل متزايد. Google أعلن في 2023 أنه يعطي lastmod أهمية كبيرة عند تحديد متى يُعيد الزحف. إذا كان تاريخ lastmod دقيقاً (يعكس تغييرات حقيقية)، فسترى فهرسة أسرع. أما إذا كان ثابتاً أو غير دقيق، فـ Google قد يتجاهله.

1) ابحث عن جميع الروابط http:// في قاعدة البيانات أو الملفات. 2) استبدلها بـ https:// أو روابط نسبية (//). 3) فعّل HSTS لإجبار HTTPS. 4) استخدم أداة WaselCheck لفحص كل صفحة بعد الإصلاح. 5) في WordPress، استخدم إضافة مثل Really Simple SSL أو Better Search Replace.

لا! robots.txt يمنع الزحف فقط، وليس الفهرسة. إذا كانت صفحة محجوبة في robots.txt لكن هناك روابط خارجية تشير إليها، قد يفهرسها Google بدون محتوى (ظاهرة "Indexed, not crawled"). لمنع الفهرسة تماماً، استخدم meta robots noindex أو X-Robots-Tag: noindex في HTTP headers.

نعم. Google و Bing يدعمان * (أي سلسلة) و $ (نهاية URL). مثال: Disallow: /*.pdf$ يمنع كل ملفات PDF. Disallow: /*?* يمنع كل URLs مع query string. لكن كن حذراً: wildcards قد تحجب أكثر مما تريد. اختبر دائماً بعد التعديل.