ارسال لاگ‌ها

قابلیت Log Forwarding به شما اجازه می‌دهد لاگ‌های جمع‌آوری‌شده در لاگ ابری آروان‌کلاد را به مقصدهایی خارج از زیرساخت آروان‌کلاد ارسال کنید. این ویژگی برای یکپارچه‌سازی داده‌ها با ابزارهای تحلیل، مانیتورینگ و ذخیره‌سازی Third-party طراحی شده است. برخلاف لاگ‌اسپیس که لاگ‌ها را در همان زیرساخت لاگ ابری آروان‌کلاد نگه‌داری می‌کند، لاگ فورواردر آن‌ها را به مقصدی خارج از این زیرساخت ارسال می‌کند.

به‌کمک ارسال لاگ آروان‌کلاد می‌توانید موارد زیر را اجرا کنید:

• تحلیل پیشرفته و جست‌وجوی عمیق در Splunk
• انتقال لاگ‌ها به سرویس‌های داخلی یا ابزارهای مانیتورینگ اختصاصی
• یکپارچه‌سازی لاگ ابری با اکوسیستم فعلی Observability در سازمان

در حال حاضر، مقصدهای زیر برای ارسال لاگ پشتیبانی می‌شوند:

• Splunk: ارسال داده به پلتفرم تحلیل لاگ اسپلانک
• Custom HTTP Endpoint: ارسال داده به هر آدرس URL دل‌خواه از طریق پروتکل HTTP
• Arvancloud Storage: آرشیو بلندمدت لاگ‌ها در صندوقچه‌ی فضای ابری آروان‌کلاد

ساخت Log Forwarder

برای ایجاد یک مقصد ارسال لاگ، از منوی لاگ ابری، وارد بخش «ارسال لاگ‌ها» شوید و روی دکمه‌ی «ساخت لاگ فورواردر» کلیک کنید.

در صفحه‌ی جدید، جزییات زیر را وارد کنید:

۱. اطلاعات پایه

در این بخش، مشخصات کلی مقصد را وارد کنید:

• نام (اجباری): یک نام اختصاصی و معنادار برای شناسایی راحت‌تر این Forwarder انتخاب کنید (مثلن: Production-logs-to-Splunk). این نام تنها می‌تواند شامل حروف انگلیسی، اعداد و خط تیره (-) باشد و حداکثر ۱۰۰ کاراکتر داشته باشد.
• توضیحات (اختیاری): توضیح کوتاهی درباره‌ی کاربرد یا مقصد این لاگ‌ها بنویسید. حداکثر ۲۰۰۰ کاراکتر مجاز است.

توجه داشته باشید که پس از ساخت لاگ فورواردر، نام و نوع مقصد قابل تغییر نیستند و تنها توضیحات و تنظیمات مقصد را می‌توانید ویرایش کنید.

۲. انتخاب نوع مقصد

نوع سرویس مقصد را برای دریافت لاگ‌ها تعیین کنید:

• Splunk: برای ارسال لاگ به Splunk با استفاده از قابلیت HTTP Event Collector (HEC).
• HTTP: برای ارسال لاگ به هر Endpoint دل‌خواه از طریق درخواست‌های HTTP.
• Arvancloud Storage: برای آرشیو بلندمدت لاگ‌ها در صندوقچه‌ی فضای ابری آروان‌کلاد.

۳. تنظیمات مقصد

با توجه به نوع مقصد انتخابی، اطلاعات مربوطه را وارد کنید:

• در تنظیمات Splunk:

  • آدرس مقصد: نشانی HEC در سرویس اسپلانک (مثلن: https://your-splunk-domain:8088/services/collector).

  • HEC Token: توکن اختصاصی که از پنل Splunk دریافت کرده‌اید.

    توجه داشته باشید که پیش از این کار باید در Splunk یک HTTP Event Collector فعال کرده، توکنی با دسترسی ارسال لاگ ایجاد کرده باشید و آدرس endpoint نیز از طریق HTTPS در دسترس باشد.

• در تنظیمات HTTP Endpoint:

  • Endpoint URL: نشانی کامل مقصد (URL) برای دریافت داده‌ها.

    توجه داشته باشید که تنها HTTPS پذیرفته می‌شود و اگر پروتکل را وارد نکنید، //:https به‌طور خودکار به ابتدای آدرس اضافه می‌شود.

  • نام کاربری و رمز عبور (اختیاری): برای احراز هویت Basic Authentication استفاده می‌شود. اگر یکی از این دو فیلد را پر کنید، تکمیل فیلد دیگر نیز الزامی می‌شود.

  • Headers (اختیاری): حداکثر ۱۰ هدر HTTP سفارشی می‌توانید تعریف کنید. کلیدهای تکراری در این فهرست مجاز نیستند.

  برای نمونه، برای مشخص کردن منبع لاگ‌ها و افزودن یک هدر احراز هویت، مقادیر زیر را وارد کنید:

  کلید	مقدار
  arvancloud-logs	Custom-Source
  authorization	Bearer YOUR_TOKEN

• در تنظیمات Arvancloud Storage:

  • صندوقچه (Bucket): یکی از باکت‌های موجود در فضای ابری آروان‌کلاد را از فهرست انتخاب کنید.
  • فشرده‌سازی Gzip (اختیاری): با فعال‌سازی این گزینه، لاگ‌ها پیش از ذخیره‌سازی فشرده می‌شوند و حجم فایل‌ها، فضای مصرفی و حجم انتقال داده کاهش می‌یابد. اگر این گزینه را فعال نکنید، لاگ‌ها به‌شکل JSON و بدون فشرده‌سازی در صندوقچه ذخیره می‌شوند.
  • پیشوند سازگار با Hive (اختیاری): با فعال‌سازی این گزینه، لاگ‌ها با ساختار پیشوندهای سازگار با ابزارهای تحلیلی Hive ،Spark و Trino ذخیره می‌شوند تا این ابزارها بتوانند داده‌های جدید را به‌طور خودکار شناسایی و بارگذاری کنند.

پس از بررسی صحت اطلاعات، روی دکمه‌ی «ساخت» کلیک کنید تا Log Forwarder در لیست شما ثبت شود.

اگر پس از ساخت سینک متوجه شدید لاگ‌ها به مقصد نمی‌رسند، تنظیمات مقصد را دوباره بررسی کنید. آدرس HTTPS، توکن HEC یا دسترسی صندوقچه باید صحیح و دردسترس باشد.

مدیریت و استفاده از Forwarderها

• مدیریت لیست: در بخش ارسال لاگ‌ها، می‌توانید لیست تمام مقصدهای ساخته‌شده را مشاهده کنید و بر اساس نام لاگ فورواردر جست‌وجو کنید.

• مشاهده جزییات: با کلیک روی آیکن اطلاعات کنار هر لاگ فورواردر، پنل جزییات آن باز می‌شود و می‌توانید تنظیمات مقصد (آدرس، هدرها، تنظیمات صندوقچه و...) را ببینید. اطلاعات حساس مانند توکن HEC و رمز عبور در این پنل به‌شکل ماسک‌شده نمایش داده می‌شوند.

• ویرایش: با کلیک روی «ویرایش»، می‌توانید توضیحات و تنظیمات مقصد را تغییر دهید؛ نام و نوع مقصد در این صفحه فقط خواندنی هستند. فیلدهای قابل ویرایش بر اساس نوع مقصد به شکل زیر است:

  نوع مقصد	فیلدهای قابل ویرایش
  Splunk	توضیحات، آدرس مقصد، توکن HEC
  HTTP	توضیحات، آدرس مقصد، احراز هویت پایه، هدرها
  Arvancloud Storage	توضیحات، صندوقچه، فشرده‌سازی Gzip، پیشوند Hive

• حذف: برای حذف یک لاگ فورواردر، روی «حذف» کلیک کنید و در پنجره‌ی تایید، نام دقیق آن را وارد کنید. پیش از حذف مطمین شوید هیچ سینک فعالی این لاگ فورواردر را به‌عنوان مقصد استفاده نمی‌کند زیرا مسیردهی لاگ‌های مرتبط با آن سینک متوقف می‌شود.

• استفاده در سینک‌ها: پس از ساخت یک Log Forwarder، برای فعال‌سازی جریان ارسال، باید هنگام ساخت یا ویرایش سینک، این Forwarder را به‌عنوان «مقصد» انتخاب کنید. در فرم ساخت سینک نیز می‌توانید بدون خروج از این فرآیند، یک لاگ فورواردر جدید بسازید و به‌طور آنی آن را به‌عنوان مقصد انتخاب کنید.

  توجه داشته باشید که ساخت لاگ فورواردر به‌تنهایی کافی نیست. اگر سینکی با مقصد «لاگ فورواردر» نساخته و فعال نکرده باشید، هیچ لاگی مسیردهی نمی‌شود.

  راهنمای «مسیردهی لاگ‌ها» به شما در این مسیر کمک می‌کند.

  برای محدود کردن ارسال به لاگ‌های موردنظر، می‌توانید در مرحله‌ی Inclusion سینک عبارتی به زبان ARQL تعریف کنید، مثلن:

logType == "cdn.accessLog" AND severity >= "WARNING"

این قانون فقط لاگ‌های دسترسی CDN با سطح WARNING و بالاتر را به لاگ فورواردر ارسال می‌کند. با تعریف قانون Inclusion، به‌شکل خودکار قانون exclude-all برای سایر لاگ‌ها اعمال می‌شود.

اگر قوانین Inclusion و Exclusion سینک با لاگ‌های موردنظر شما مطابقت نداشته باشند، این لاگ‌ها هیچ‌وقت به لاگ فورواردر نمی‌رسند.

توجه داشته باشید که:

• پیش از نهایی‌کردن تنظیمات، از دردسترس بودن مقصد و صحت آدرس واردشده مطمین شوید.
• با وارد کردن اطلاعات نادرست (مانند اشتباه در HEC Token یا URL)، فرآیند ارسال لاگ با خطا مواجه شده و داده‌ای منتقل نخواهد شد.
• محدودیتی در تعداد Log Forwarderها وجود ندارد و می‌توانید برای هر سینک، مقصدهای متفاوتی تعریف کنید.
• دسترسی به مقصد خارجی باید از شبکه‌ی آروان‌کلاد امکان‌پذیر باشد. اگر مقصد پشت فایروال یا در یک شبکه‌ی خصوصی قرار دارد، دسترسی لازم را برای آن فراهم کنید.

هزینه‌ی ذخیره‌سازی لاگ‌ها بر اساس حجم داده (گیگابایت) محاسبه می‌شود. برای مشاهده‌ی جزییات دقیق می‌توانید به صفحه‌ی قیمت‌گذاری لاگ ابری مراجعه کنید.

در مدیریت هزینه‌های خود به نکات زیر توجه داشته باشید:

• توقف هزینه‌ی نگه‌داری: با غیرفعال کردن یک Log Space، هزینه‌ی نگه‌داری و ذخیره‌سازی داده‌های آن متوقف می‌شود.
• توقف هزینه‌ی جمع‌آوری: غیرفعال‌کردن فضای لاگ، به‌معنای توقف فعالیت سینک مربوط به آن نیست. هزینه‌ی جمع‌آوری و انتقال لاگ‌ها توسط سینک هم‌چنان محاسبه خواهد شد. برای توقف کامل فرآیند و هزینه‌های مرتبط، باید از بخش مسیردهی لاگ‌ها، سینک مورد نظر را غیرفعال یا حذف کنید.