ستاره غیر فعالستاره غیر فعالستاره غیر فعالستاره غیر فعالستاره غیر فعال
 

BDA vs Splunk

اغلب سیستم‌ها و دستگاه‌ها در محیط‌های IT امروزی فایل‌های Log بسیار بزرگی ایجاد می‌کنند. به عنوان برخی از اطلاعات ثبت شده در این فایل‌ها می‌توان به مواردی همچون منابع و کسانی که به آن‌ها دسترسی یافته‌اند، فعالیت‌های صورت گرفته، خطاها/استثناهایی که host با آن مواجه شده و ... اشاره کرد. حجم فایل‌های Log در زیرساخت هر سازمانی می‌تواند با سرعتی غیرقابل‌تصور افزایش یابد. استفاده از راه‌کارهای مدیریت و تحلیل Log، به سازمان‌ها در دستیابی به هوش عملیاتی از این دریای داده کمک می‌کند. در ادامه این مطلب دو راهکار مهم موجود برای مدیریت Log را بررسی کرده و با یکدیگر مقایسه خواهیم کرد.

 

معرفی BDA

ماژول BDA (Big Data Analysis) با هدف تحلیل و نمایش معنی­دار داده­های کلان طراحی شده است. به این منظور BDA از تجمیع چند ماژول تشکیل شده که معماری آن‌ها در شکل زیر نمایش داده شده است:

Splunk در مقابل BDA

به زبان ساده از BDA که بر بستر ELK پیاده­سازی شده است، به منظور مشاهده، جستجو و تعامل با داده­های موجود در پایگاه داده استفاده می‌شود و در ترکیب با داده­های کلان موجود در SIEM شامل اطلاعات لاگ و غیره، به‌راحتی اعمالی مانند آنالیز تخصصی، مشاهده به صورت نمودارهای متنوع، جداول و نقشه‌های جغرافیایی، تجمیع نمودارها در داشبوردهای پویا، بررسی تغییرات به شکل بلادرنگ، تشخیص رفتارهای ناهنجار بر اساس رفتارهای نرمال قبلی و هم­چنین اعمال فیلترهای مختلف امکان‌پذیر خواهد بود و به این ترتیب به عنوان مثال، امکان تشخیص حمله­ای از نوع DDOS (Distributed Denial Of Service) فراهم می­شود.

معرفی Splunk Enterprise

این محصول هسته‌ای هوشمند برای Big Data و مشابه موتور جستجوی Google برای فایل‌های Log تولیدی در یک شبکه از تجهیزات رایانه‌ای و الکترونیکی است که هیچ‌گونه وابستگی به نوع و فرمت این Logها وجود ندارد. معماری این نرم‌افزار در شکل زیر ارائه شده است.

Splunk در مقابل BDA

Splunk Enterprise Security

Enterprise Security (ES) اصلی‌ترین Solution ارائه شده بر پایه Splunk Enterprise که نوعی سامانه مدیریت وقایع و رویدادهای امنیتی (SIEM) است، می‌باشد. این افزونه Logهای ایجاد شده از تمامی تجهیزات و نرم‌افزارهای امنیتی موجود از لبه بیرونی شبکه گرفته تا سیستم کاربران را به صورت یک‌جا جمع‌آوری می‌کند و بر پایه آن‌ها تحلیل و گزارش ارائه می‌دهد. نمونه صفحه و امکانات این سیستم در شکل زیر دیده می‌شود.

Splunk در مقابل BDA

مقایسه ویژگی‌های فنی

در جدول زیر مشخصات فنی BDA و Splunk مقایسه شده است. با در نظر گرفتن این نکته که سیستم Splunk Enterprise Security بر اساس Splunk Enterprise بنا شده است، از ذکر مشخصات فنی این سیستم به طور جداگانه پرهیز شده است.

ردیف

موارد

Splunk

BDA

عمومی

1

روش های مدیریت سامانه

⊗وب          ⊗ برنامه تحت سیستم عامل        ⊗کنسول

⊗ وب          - برنامه تحت سیستم عامل          ⊗ کنسول

2

زبان پیاده سازی

زبان پیاده ­سازی: C++, Python

زبان پیاده ­سازی: Java

3

مستندات آموزشی

راهنمای آنلاین

راهنمای آنلاین

4

پلت‌فرم

All OS

All OS

داده

5

جمع­ آوری داده ­ها

-      App و Add-Ons

-      Splunk Forwarder

-      Beats  که خود دسته‌بندی‌های زیادی را شامل می‌شود:

Filebeat, Metricbeat, Packetbeat, Winlogbeat, Auditbeat, Heartbeat, Functionbeat

6

فرمت داده ­ها

انواع فایل از جمله JSON، CSV و TextFile

 انواع فایل از جمله JSON، CSV و TextFile

7

پایگاه­ داده

NoSQL

NoSQL

8

جمع ­آوری و هم­بسته­ سازی داده

-      index event correlate commands

-      Decorators

-      Aggregate filter

-      Logstash correlation event filters

-      ElastAlerts

9

بازه جمع ­آوری داده ­ها

در لحظه

در لحظه

جستجو

10

قابلیت­های جستجو

اکتشاف داده‌های پویا برای استخراج هر آیتم بر اساس زبان جستجو

جستجوی مقیاس‌پذیر به صورت Full-text  و سیستم آنالیز قوی با Elasticsearch

Visualization

11

تاریخچه مدیریت داده

-      گزارش­گیری از جستجو­های ذخیره ­شده، visualization، داشبورد

-      تنظیم گزار­ش­دهی زمان­بندی شده، اولویت بندی گزارش­ زمان­بندی شده

-      خروجی PDF

-      گزارش­گیری سریع از داشبورد، Kibana visualization و داده خام

-      شخصی­ سازی گزارش

-      خروجی PDF

-      خروجی CSV

12

هشدار­های امنیتی

سیستم هشدار اختصاصی

امکان ایجاد هشدار لحظه‌ای و یا زمان­ بندی ­شده

ارسال هشدار به ابزار  AIOps

-      وجود دارد .

-      ارسال هشدار به ابزار  AIOps

مانیتورینگ

13

مانیتورینگ Log سرور­ها و تجهیزات

با استفاده از Splunk Insight

استفاده از Metricbeat, Filebeats به منظور جمع ­آوری Log­های مربوطه

14

مانیتورینگ Log شبکه

استفاده از Splunk MINT به منظور جمع ­آوری Log­های شبکه

استفاده از Packetbeat به منظور جمع ­آوری Log­های شبکه، ترافیک و Netflow

15

مانیتورینگ Cloud Logs

استفاده از Splunk Add-Ons برای Cloud­های متفاوت

با استفاده از Logstash, Filebeat, Modules

16

مانیتورینگ Containers Log

ذخیره­ سازی Log­های درایور برای Docker

استفاده ازLogstash, File Beat & Metric Beat, Logstash processors  برای جمع ­آوری Docker Logs

17

مانیتورینگ Log پایگاه­داده

از طریق Splunk add-ons برای پایگاه­داده ­های مختلف و همچنین Splunk DB connect

از طریق Filebeat Modules, Logstash

18

مانیتورینگ Log کاربران و  نرم­افزار­ها

از طریق Splunk App برای مانیتورینگ Synthetic، ماژول­هایSplunk ITSI و Splunk MINT SDK

از طریق APM، Beat­های مختلف،

 Logstash Correlation, X-Pack Components

19

آنالیز

پشتیبانی از Machine learning با Splunk IT Service Intelligence Modules

پشتیبانی از Machine Learning به صورت کامل

دیگر ویژگی­ها

20

سفارشی‌سازی/توسعه‌پذیری

-      قابلیت انعطاف­پذیری به منظور اضافه­ کردن یا ویراش کامپوننت­ها و  View­ها بر روی داشبورد­ها

-      قابلیت توسعه­ پذیری و یکپارچه ­سازی با دیگر ابزار با Webhooks و پلاگین­ها

-      دسترسی­های برنامه ­نویسی از طریق REST HTTP/JSON API

-      مدیریت کاربران

-      امکان ایجاد داشبورد­های سفارشی

-      مجموعه متریک­های سفارشی و پلاگین‌ها

-      Rule­های سفارشی

-      قابل توسعه و یکپارچه ­سازی با دیگر ابزارها با Webhooks و پلاگین­ها

-      دسترسی­های برنامه ­نویسی از طریق REST HTTP/JSON API

-      مدیریت کاربران از طریق X-Pack

21

مقیاس‌پذیری

امکان پیاده­سازی سامانه به صورت توزیع ­شده[1]  در چهار  لایه Data Input،Indexing ، Parsing و  Search

امکان پیاده­سازی سامانه در حالت توزیع ­شده و همچنینHigh Availability  به صورت کلاستر Master/Slave

22

پشتیبان­گیری/بازیابی

پشتیبان­گیری از پیکربندی، Index­ها و Warm Db Buckets

پشتیبان‌گیری از داشبوردها، Indexها و سایر موارد

ویژگی‌های پشتیبانی و مالی

23

قابلیت به‌روزرسانی

ندارد

دارد

24

پشتیبانی شرکت مادر در ایران

ندارد

دارد

25

قیمت

10 X

X

26

لایسنسینگ

محدود – به صورت سالانه

نامحدود – پشتیبانی 1 ساله رایگان

27

سرویس SOC

ندارد

دارد – بر اساس سه سطح SLA

 

[1] Distributed

 

مقایسه ویژگی‌های عملکردی

مقایسه‌ مشروحی میان Splunk و ELK که سامانه BDA بر آن بنا شده است، توسط سایت UpGaurd[2] انجام گرفته است که معیارهای مقایسه و نتایج آن در ادامه ذکر می‌شود.

توضیحات

معیارهای مقایسه

پلت‌فرم ‌مدیریت و تحلیل لاگ

Capability Set

راحتی استفاده و توسعه

Ease of Use

گروه‌های توسعه‌دهنده و کاربری که از مزایای سیستم‌های OpenSource است.

Community Support

تعداد نسخه‌های منتشر شده که به‌روز رسانی سیستم‌ها را شامل می‎شود.

Release Rate

پشتیبانی کاربران و شرکت‌ها و قیمت

Pricing and Support

وجود API و قابلیت توسعه

API and Extensibility

امکان یکپارچگی با سایر سیستم‌ها

 

شرکت‌هایی که از این محصول استفاده می‌کنند

Companies that Use It

چرخه یادگیری

Learning Curve

نتایج این بررسی بر اساس امتیازهای اختصاص داده شده در شکل زیر دیده می‌شود که بر اساس آن سیستم‌های مبتنی بر ELK نسبت به Splunk از کیفیت بهتری برخوردار هستند.

Splunk در مقابل BDA

مقایسه ویژگی‌های Next Generation SIEM

در ادامه هر سه سیستم BDA، Splunk Enterprise و Splunk Enterprise Security بر اساس معیارهای پایه SIEM مقایسه می‌شوند. این معیارها بر اساس گزارش Gartner تحت عنوان Magic Quadrant for Information and Event Management منتشر شده در تاریخ 3 دسامبر 2018 استخراج شده است.

معیارهای پایه SIEM

Splunk Enterprise

Splunk Enterprise Security

BDA

دسته

مورد

Advanced Threat Detection

Monitoring

OK

OK

OK

Alerting in Real-Time

OK

OK

OK

Longer-Term Analysis

x

OK

OK

User Behavior Analysis

x

OK

OK

Application Activity

x

OK

OK

Basic Security Monitoring

Log Management

OK

OK

OK

Compliance Reporting

x

OK

OK

Real-Time Monitoring of Security Controls

x

OK

OK

Investigation and Incident Response

Dashboards and Visualization Capabilities

OK

OK

OK

Workflow and Documentation Support

OK

OK

OK

 

اطلاعات ارائه شده در جدول نشان می‌دهد که BDA و Splunk Enterprise Security ویژگی‌های عملکردی یکسانی دارند که Splunk Enterprise در حالت استاندارد فاقد برخی از آن‌هاست. از این رو برای پیاده‌سازی در سازمان‌های بزرگ بهتر است یکی از این دو سیستم انتخاب شود.

پیاده‌سازی Splunk در ایران با توجه به شرایط تحریم

به دلیل شرایط تحریم، امکان خرید License معتبر Splunk از شرکت مادر وجود ندارد، لذا برای پیاده‌سازی آن در کشور از راه‌های دیگری مانند استفاده از لایسنس‌های کرک یا اشتراکی (Shared) استفاده می‌شود. حال این سؤال مطرح است که سازمان‌های متوسط و بزرگ در ایران برای استفاده از Splunk باید از چه راهکاری استفاده نمایند. بدین منظور دو رویکرد وجود دارد:

رویکرد اول استفاده از محصول Splunk به صورت Crack شده می‌باشد. این گزینه به دلایل واضحی به هیچ وجه مناسب نمی‌باشد. دلیل اول کرک خود نرم‌افزار است که هیچ اطمینانی به آن نبوده و وجود هر نوع Backdoor نرم‌افزاری در آن امکان‌پذیر است. به علاوه، نسخه‌های کرک شده محدودیت‌هایی در نرم‌افزار داشته که کاربری آن‌ها را با مشکل مواجه می‌سازد. نمونه این محدودیت‌ها تعداد جستجوهای هم‌زمان، عدم امکان به‌روزرسانی، عدم امکان پشتیبانی از Netflow و عدم امکان پیاده­سازی سرویس به صورت High Availability می­باشد. دلایل ذکر شده به کار بردن این رویکرد برای استفاده از Splunk را رد می‌نماید.

رویکرد دوم استفاده از لایسنس‌های Shared است که برای محصولات ArchSight ESM و Splunk در بازار وجود دارد. علی‌رغم غیراخلاقی بودن این راهکار، در اینجا به بررسی آن خواهیم پرداخت. در این مدل، لایسنسی که برای یک مشتری خریداری شده است، در اختیار یک مشتری دیگر قرار می‌گیرد. مشکل اول این مدل عدم مالکیت لایسنس می‌باشد. بدین معنی که در سایت تولیدکننده نرم‌افزار هیچ اکانتی برای مشتری ثبت نخواهد شد و به همین دلیل مشتری هیچ‌گونه ادعایی در مورد محصول نخواهد داشت. مزیت Splunk ارائه به‌روزرسانی در سایت خود Splunk است و در این حالت بسیاری از به‌روزرسانی‌ها وجود نخواهد داشت. اما نکته مهم این محصول استفاده از (Splunk Enterprise Security) ES APP می‌باشد که همان ماژول SIEM است.

برای استفاده، این محصول باید خریداری گردد و به‌روزرسانی آن هم به مشتریان ارائه می‌شود. فایل‌های اشتراکی موجود در بازار قدیمی بوده و به همین دلیل تقریبا کاربردی نیستند. بنابراین اگر تصمیم به استفاده از لایسنس اشتراکی محصول Splunk را داشته باشید، حتما باید یک تیم متخصص وجود داشته باشد که توسعه محصول Enterprise را انجام داده و یک ماژول شبیه ماژول SIEM ایجاد کند که نیازمند صرف زمان و نیروی انسانی فراوان است. البته به یاد داشته باشید که بازآفرینی این ماژول بسیار مشکل است.

نکته مهم دیگر که باید به آن توجه داشت ، عدم پشتیبانی و ارائه سرویس به علت نبود شرکت Splunk یا نماینده قانونی یا حتی شرکت ایرانی که به صورت کامل بر پشتیبانی، نگهداری و خدمات ابزارهای Splunk احاطه کامل داشته باشد، است.

ضمنا لازم به ذکر است، بر اساس الزامات افتا پیاده‌سازی محصول SIEM خارجی در زیرساخت‌های حیاتی کشور ممنوع می‌باشد.

نتیجه‌گیری

در این مطلب به بررسی BDA و Splunk به عنوان دو راه‌کار اصلی موجود در بازار برای تحلیل Log پرداخته شد. مقایسه صورت گرفته میان این دو راه‌کار نشان می‌دهد که در حالیکه هر دو راه‌کار ویژگی‌های نسبتا مشابهی ارائه می‌دهند، راه‌کار BDA به لحاظ هزینه بسیار مقرون به‌صرفه‌تر می‌باشد. علاوه‌براین، بررسی شرایط استفاده از Splunk در ایران نشان می‌دهد که با توجه به شرایط تحریم، حتی با صرف هزینه بالاتر نیز امکان استفاده از تمام ویژگی‌های Splunk در کشور وجود ندارد.

 

[1] Distributed

[2] https://www.upguard.com/articles/splunk-vs-elk

تگ ها:  
تهران - بلوار كشاورز، خيابان شهيد نادري پائين تر از خيابان ايتاليا، پلاك ۲ واحد ۵۰۵
۷۳ ۴۲۲ (۰۲۱)
۴۲۲۳۸۰۰۰ (۰۲۱)
۱۴۱۶۶۱۳۶۶۹
info{at}apk-group.net
یزد - خیابان شهید دکتر چمران، روبـروی کارخانه درخشان
۳۶۲۹۰۹۹۰ (۰۳۵)
۸۹۱۶۷۱۵۹۵۷

 امن پردازان کویر