DevOps والخوادم

قراءة error_log كمدير أنظمة: الأنماط التي يبحث عنها المحترفون

الخلاصة سريعاً

  • error_log تيار إشارات لا سلة مهملات: القيمة في التوزيع والتوقيت لا في السطر المفرد.
  • ثلاث سلال تصنيف فقط: ضجيج متوقع، عرضي يُراقب، طارئ يُصلح الآن — الخلط بينها هو مصدر الإرهاق.
  • حقيبة أوامر صغيرة (tail -F، هيستوغرام الخطورة، أعلى الرسائل تكراراً) تختصر ساعة تصفح إلى دقيقتين.
  • تواقيع بعينها لا تُناقَش: PHP Fatal، No space left، AH00124، MaxRequestWorkers.
  • السجل قد يكذب: ملف خاطئ، منطقة زمنية مختلفة، أو LogLevel يخفي الطبقات الدنيا — تحقق من المصدر قبل الحكم.

تشريح سطر السجل

سطر Apache error log القياسي ليس نصاً حراً؛ إنه حقول ثابتة تعرف قراءتها يعني معرفة أين تبحث:

[Thu Oct 23 02:14:09.812345 2026] [php:error] [pid 2211] [client 198.51.100.23:50112] PHP Fatal error: ... └────────────── الطابع الزمني ──────────────┘ └─ الوحدة:الخطورة ─┘ └ العملية ┘ └──── العميل ────┘ └─ الرسالة ─

افصل التيارين: error.log يسجّل شكاوى الخادم والتطبيق، بينما access.log يسجّل كل طلب برموز استجابته. تشخيص كامل = قراءة متقاطعة الاثنين: رمز 500 في access بلا سطر مقابل في error يعني غالباً أن الخطأ حدث خارج نطاق تسجيل التطبيق (أو في عقدة أخرى).

التصنيف الثلاثي: ضجيج، عرضي، طارئ

المحترف لا يقرأ كل سطر؛ يصنّف التيار إلى ثلاث سلال ويتعامل مع كل سلة بسياسة مختلفة:

ضجيج متوقع (يُوثَّق ويُتجاهل)

عرضي يُراقَب (يُقاس ولا يُصلَح فورياً)

طارئ يُصلَح الآن

حقيبة الأوامر: استخراج الإشارة

# 1) متابعة حية تنجو من التدوير (-F تعيد الفتح عند تبديل الملف) tail -F /var/log/apache2/error.log # 2) هيستوغرام الخطورة: ما الذي يصرخ فعلاً؟ grep -oE '\[[a-z]+:(emerg|alert|crit|error|warn|notice|info)\]' error.log \ | sort | uniq -c | sort -rn # 3) أعلى 10 عناوين مصدراً للأخطاء grep -oP '(?<=\[client )[\d.]+' error.log | sort | uniq -c | sort -rn | head # 4) أكثر الرسائل تكراراً بعد تطبيع الأرقام (الضجيج يظهر كتلة واحدة) grep -oP '(?<=\] )[A-Z].*' error.log | sed -E 's/[0-9]+/N/g' \ | sort | uniq -c | sort -rn | head -15 # 5) تأطير زمني حول لحظة البلاغ (sed نطاقات أنشط من awk هنا) sed -n '/Oct 23 02:10:00/,/Oct 23 02:20:00/p' error.log # 6) مسح التواقيع الطارئة بتمريرة واحدة grep -nE 'PHP Fatal|Allowed memory|segmentation fault|No space left|AH00124|MaxRequestWorkers|exited with signal' error.log # 7) التاريخ المضغوط دون فك: zgrep zgrep -c 'PHP Fatal' /var/log/apache2/error.log.2.gz

فخ ترتيب الأشهر: أسماء الأشهر لا تُرتَّب زمنياً بالفرز النصي («Oct» تسبق «Sep» أبجدياً وتليها زمنياً). أي نطاق awk أو sort يمتد عبر حد شهر سيكذب عليك. استخدم نطاقات sed النمطية داخل الشهر الواحد، أو حوّل الطوابع أولاً، أو أداة تفهم الزمن مثل lnav.

كتالوج التواقيع الأشهر

التوقيع في السجلالمعنى الأرجحأول إجراء
PHP Fatal error: Uncaught Error: Call to undefined function X()امتداد مفقود بعد ترقية PHP أو نشر ناقصphp -m ومقارنة فرق النشر
Allowed memory size of 268435456 bytes exhaustedتسريب أو حلقة غير محدودة؛ أو حد منخفض فعلاًرفع مؤقت + تتبع المصدر (إضافة/كرون)
AH00124: Request exceeded the limit of 10 internal redirectsحلقة إعادة كتابة داخلية في .htaccessراجع مقال الحلقات؛ استخدم أداة اختبار htaccess
(28) No space left on deviceقرص أو inodes ممتلئdf -h وdf -i؛ تنظيف تدوير آمن
(13) Permission denied + AH00529صلاحيات ملفات أو سياق SELinux/AppArmorفحص الصلاحيات وls -Z
ModSecurity: Access denied with code 403قاعدة WAF اصطدمت بطلب شرعي أو هجوميوضع Audit أولاً ثم ضبط القاعدة
server reached MaxRequestWorkers settingاختناق سعة: عمليات مشغولة كلها بطيئةفحص نقاط البطء وضبط العمال
child pid NNNN exited with signal 11Segfault في امتداد/وحدة nativeعزل الامتداد؛ جمع core dump
AH02032 / SSL handshake failedعميل قديم أو عدم تطابق بروتوكول/سلسلةفحص السلسلة والبروتوكولات عبر أداة فحص SSL
Temporary failure in name resolutionتعطل المُحلل المحلي أو الشبكة إليهفحص /etc/resolv.conf وأداة انتشار DNS
Connection reset by peer (متفرقة)إنهاء من جهة العميلضجيج ما لم تقفز النسبة فجأة

القراءة الزمنية: الإيقاع يكشف السبب

نفس الرسالة تعني أشياء مختلفة بإيقاعات مختلفة:

لهذا يحتفظ المحترفون بخط زمن للأحداث (نشر، تغيير DNS، تعديل قواعد) بجانب السجل: المطابقة الزمنية تختصر نصف التشخيص. عند تغيير سجلات DNS، راقب الانتشار عبر أداة فحص انتشار DNS لتربط بين التغيير وظهور الأخطاء.

التدوير والمساحة: احذف بأمان

# /etc/logrotate.d/apache2 — أساس سليم /var/log/apache2/*.log { daily rotate 14 compress delaycompress missingok notifempty sharedscripts postrotate systemctl reload apache2 > /dev/null 2>/dev/null || true endscript }

لا تحذف ملفاً مفتوحاً: حذف error.log بينما العملية ما تزال تمسك مقبضه لا يحرر المساحة حتى إعادة التشغيل — لغز «df ممتلئ بعد الحذف» الكلاسيكي. للتفريغ الفوري استخدم الاقتطاع: truncate -s 0 error.log أو > error.log، ودع التدوير يتولى الأرشفة.

متى يكذب error_log

ترياج 15 دقيقة: سير عمل كامل

  1. دقيقة 0-2: tail -F أثناء إعادة إنتاج المشكلة؛ إن لم يظهر شيء، وسّع LogLevel أو بدّل الملف المشتبه.
  2. دقيقة 2-4: هيستوغرام الخطورة (أمر 2) — حدد الطبقة التي تستحق وقتك.
  3. دقيقة 4-6: أعلى الرسائل تكراراً بعد التطبيع (أمر 4) — فصل الضجيج عن الإشارة.
  4. دقيقة 6-9: تأطير زمني حول البلاغ (أمر 5) ومطابقة مع خط زمن النشر/الـ cron.
  5. دقيقة 9-12: مسح التواقيع الطارئة (أمر 6)؛ إن وُجد توقيع، انتقل لكتالوج الإصلاح.
  6. دقيقة 12-15: قرار مكتوب: إصلاح الآن / مراقبة بمعدل / توثيق كضجيج — وأضف الأنماط الجديدة لقائمة الضجيج الموثق.

من القراءة اليدوية إلى التنبيه

# كل 5 دقائق: تنبيه عند قفزة في الـ Fatals داخل آخر نافذة */5 * * * * tail -n 300 /var/log/apache2/error.log \ | grep -c 'PHP Fatal' \ | awk '{ if ($1 > 3) system("/usr/local/bin/send-alert.sh php-fatal-spike") }'

المرجعيات الأساسية: توثيق Apache Core Logging (ErrorLog وLogLevel وصيغة السطر)، mod_log_config، إعدادات PHP Runtime (log_errors، error_log)، وlogrotate(8). للتتمة الطبيعية: مقالنا عن تشخيص حلقات إعادة التوجيه يشرح التوقيع AH00124 من جهة القواعد نفسها.

فريق WaselCheck

فريق يناوب على خوادم إنتاج حقيقية ويقرأ السجلات أكثر مما يكتب الكود. نوثّق الأنماط التي كلفتنا وقتاً ليلاً حتى لا تكلفك أنت الشيء نفسه.

مقالات وأدوات ذات صلة