如何评估大数据安全分析产品

gpp135

网络犯罪以及其他恶意行为的不断增加正促使企业部署更多的安全控制、收集越来越多的相关数据。结果，大数据分析方面的进展被用于以更宽和更深的分析为目的的安全监控中，以保护昂贵的企业资源。大数据安全分析技术融合了大数据的可扩展性，并将其与 Advanced Analytic 和 安全事件管理系统( security event and incident management systems，SIEM) 结合起来。在不久的将来，大数据安全分析将会变成像病毒检测和漏洞扫描一样常见。

因此，大数据安全分析适用于很多用例，但也不是所有的用例都适用。考虑一下探测和阻挡 高持续性威胁(Advanced Persistent Threat，APT) 的技术挑战。采用这些技术的攻击者或许会采用慢节奏的、低可见性的攻击方式来避免以避免被探测到。传统的日志和监控技术会漏过这种类型的攻击。攻击的各步可能发生在不同的设备的不同时间段，而且看起来是毫无关联的。这样，一个攻击者杀招的关键部分可能与正常行为差别不大。针对可疑行为的日志和网络流扫描有时也会漏掉这些东西。避免遗漏数据的一种方法就是收集尽可能多的信息。这就是大数据安全分析平台所采用的方法。

正如字面意思所言，该安全分析的方法利用了专门为收集、分析和管理大规模、高速度数据而设计的工具。这些技术也同样用于相关产品，如针对流视频用户的电影推荐系统和为优化车队的运输效率而设计的车辆性能特性分析平台等。此外，这些技术还可以应用于信息安全。本文重点分析Cybereason、Fortscale、Hawkeye、IBM、LogRhythm、RSA和Splunk等若干大数据安全工具供应商的最主要的产品特性。其分析主要依据实现这些平台所有好处的五大必需要素：

统一的数据管理

支持日志、漏洞和流等多种数据类型

可扩展的数据获取

信息安全相关的分析工具

合规报告

因素1：统一的数据管理

统一的数据管理是一个大数据安全分析系统的基础，负责存储和查询企业数据。由于关联数据库在扩展时比分布式NoSQL数据库代价要高，处理大规模数据通常会使用Cassandra 或 Accumulo 等这样的分布式数据库。当然，这些数据库也其缺点。例如，实现ACID transaction等这些理所当然存在的数据库特征的分布式版本就变得非常困难。

因此，大数据安全分析产品背后的数据管理平台需要在数据管理特性和代价、可扩展性之间进行权衡。数据库应该具备在不阻塞的情况下实时写入新数据的能力。相似的，查询也要能够支持针对流入的安全数据的实时分析。

由于 Hadoop 已经成为流行的大数据管理平台和相关的生态系统，采用它作基础的大数据安全分析平台也很常见。例如， Fortscale 就使用了Cloudera的Hadoop平台。这使得Fortscale平台可以随着集群中新加入节点的数量而线性扩展。

IBM的QRadar使用了提供数据存储水平扩展功能的分布式数据管理系统。在一些情况下，SIEM或许只需要访问本地数据。但是，在取证分析等情况下，用户或许需要跨分布式平台搜索信息。IBM的QRadar还集成了一个能够跨平台或本地检索的搜索引擎。同时，该大数据SIEM系统使用的是数据节点，而非存储域网(SAN)。这可以帮组减少花费和管理复杂度。这个基于数据节点的分布式存储模型可以扩展到P字节的存储空间——可以很好满足那些需要很多大规模长期存储的组织的需求。

RSA安全分析也采用了分布式的联合架构来保证线性扩展。当扩展到大规模数据时，RSA工具中的分析工作流解决了一个关键需求：区分事件和任务的优先级，以改善分析的效率。

Hawkeye分析平台(Hawkeye AP) 是基于一个专门处理安全事件数据的数据仓库平台构建而成。除了拥有底层、可扩展的数据管理(例如，在跨多个服务器的镀铬文件中存储大规模数据的能力)功能，拥有以结构化的方式查询数据的工具也很关键。Hawkeye AP采用了分时存储数据的方式，避免了全局重建索引的工作。而且，它被设计为了只读的数据库。一方面，它使能了性能优化;另一个更重要方面，它可以保证数据在写完成后不会被篡改。最后，Hawkeye AP采用了专门针对分析应用有所优化的列导向数据存储 ，而非行导向的存储。

因素2：支持多种数据类型

容量、速度和种类是大数据的三个关键特性。安全事件数据的多样性使得把数据集成到一个大数据安全分析产品变得富有挑战性。

事件数据的收集粒度是不同的。例如，网络报文就是底层、细粒度的数据;而有关任何管理员密码变化的日志项就是粗粒度的。尽管数据的收集粒度不同，他们之间仍然是有关联的。网络报文就可能包含了攻击者访问服务器，甚至在取得访问权限后修改管理员密码的相关信息。

不同类型的事件数据的含义也各不相同。网络报文信息可以帮助分析人员了解两个终端之间传输的内容，而一份漏斗扫描日志在某种意义上描述了服务器或其他设备在一段时间内的运行状态。大数据安全分析平台需要理解这些数据类型的含义，以更好的进行数据集成。

RSA Security Analytics 的解决办法是采用一个模块化的结构，以此保证在维持增量添加其他源的能力的同时，支持多种数据类型。平台本身是为了捕获大规模的满报文、NetFlow数据、末端数据和日志。

有时，多个数据类型就意味着多种安全工具。例如，IBM的QRadar就有一个漏洞管理组件。该组件专门负责从各种各样的漏洞扫描器中整合数据，并把网络使用相关的信息添加到数据中。IBM的Security QRadar Incident Forensics是另外一个专门利用网络流数据和full-packet抓包来分析安全事故的模块。该取证工具包括了一个能够对TB级别的网络数据进行检索的引擎。

LogRhythm的Security Intelligence Platform 是另外一个大数据安全分析平台的例子。该平台支持非常多的数据类型，包括系统日志、安全事件、审计日志、机器数据、应用日志以及流数据。通过分析来自这些源的原始数据，它可以产生有关文件完整性、进程活跃度、网络通信情况、用户以及活动的二级数据。

Splunk Enterprise Security允许分析人员检索数据并执行可视化关联，以此识别恶意事件和收集有关这些事件上下文的数据。

大数据安全分析目前主要被大企业所采用。但是，随着相关工具的花费和复杂度不断降低，中等规模的企业、甚至小企业最后也肯定会意识到该技术的好处。

转载自：http://elec.it168.com/a2016/0426/2617/000002617981.shtml