图片 2

5 个有用的开源日志分析工具

除了最小型的企业外,所有组织都有针对服务器的某些等级的安全审计。不管它收集的信息关于失败登录次数、安全文件访问、文件删除、活动目录修改或是其它,事实是我们大部分人需要获取一定量的信息。

计算机数据

图片 1

在TechEd
2011上,我发起了一次有关审计的小组讨论,这次讨论弄清楚了一件事:Windows的本地安全审计明确地有些安全问题。某位先生的故事可以代表每个人的经历:

大量的数据流,不断增长的来源,蕴含着巨大的价值


Splunk,我们大量谈及计算机数据。
这些数据是指在数据中心、“物联网”和互联设备世界中运行的所有系统产生的数据。其中包括支撑组织的应用程序、服务器、网络设备、安全设备和远程基础结构所产生的全部数据。

计算机数据包含明确的记录,其中涉及您的客户、用户、交易、应用程序、服务器、网络、工厂机器等的所有活动和行为。它不仅仅包含日志,还包括配置数据、API
和消息队列数据、更改事件、诊断命令输出和呼叫详细记录、远程设备传感器数据等等。

Splunk
软件用户知道有成千上万种不同的计算机数据格式。
以有意义的方式来分析这些数据,对于诊断服务问题、检测复杂的安全威胁、了解远程设备的健康状况以及展示合规性至关重要。

以下是一些最重要的计算机数据源,以及它们的具体内容。记住,这个列表仅仅是起点。每个环境都有其独特的计算机数据空间。哪里会是您尚未涉足的计算机数据机会?


 

 

监控网络活动可能是一项单调而乏味的工作,但你有充分的理由要这样做。首先,它可以帮助你查找和调查工作站、连网设备和服务器上的可疑登录,同时确定管理员滥用的源头。还可以跟踪软件安装和数据传输,以便实时识别潜在的问题。

管理方面要求我提供一些关于失败登录、成功登录等事情的细节。我告诉他们,我们目前没有收集这些信息,他们命令我们要去做这件事。我启用了必要的审计,又尽快地几乎将它们全关了。我们的域控制器根本不能处理额外的负载。

应用程序日志

大多数内部开发和打包的应用程序通常通过日志框架(如 log4j 或
log4net)、应用程序服务器(如 WebLogic、WebSphere 和
JBoss)内置的日志服务或 .Net、PHP
等来写入本地日志文件。这些文件对开发人员和应用程序支持人员日常调试生产应用程序至关重要。它们通常还是报告业务和用户活动以及发现欺诈情况的最佳方法,因为其中包含所有交易细节。如果开发人员将计时信息写入日志事件,它们还可以用来监视并报告应用程序性能。

这些日志还有助于公司遵守适用于欧盟内任何实体的《通用数据保护条例》。因为如果你的网站要在欧盟是可浏览的,那么就必须遵守
GDPR。

审计导致性能损失的事实最初让很多管理员感到惊讶,因为这不完全是直觉。毕竟,域控制器已经在执行工作,为什么仅仅对它做个标注会这么难呢?它确实很难:有人表示,审计在他的公司是放在容量规划里的工作。他估计他的团队拥有的域控制器是处理登录流量所需域控制器的两倍,因为它已经开启了几乎每一个可能的审计选项。

业务流程日志

复杂事件处理和业务流程管理系统日志是业务和 IT
相关数据的宝库。这些日志通常包含多种不同渠道(如
Web、IVR/联络中心或零售)中客户活动的明确记录。它们可能包含客户购买记录、帐户变化和故障报告。计算机数据与应用程序、CDR
和 Web 日志相结合,可用于实现全面的业务活动监视。

日志记录应该是任何监控基础设施中的一个基本过程。要从灾难中恢复 SQL
Server 数据库,就需要事务日志文件。此外,通过跟踪日志文件,DevOps
团队和数据库管理员可以保持最佳的数据库性能,或者在网络受到攻击的情况下找到未授权活动的证据。因此,定期监视和分析系统日志非常重要。

对文件服务器而言,拒绝访问文件的请求是一件事,而打开事件日志并将事实标注出来又是完全不同的操作。虽然Windows的本地事件日志架构是roburst,它并不是免费的。它需要计算力,它可以耗尽一台服务器的所有性能。这也是审计几乎总是在性能和知识间平衡的原因。发生越多的审计,这台服务器最终处理的用户工作负载就越少,因为它在审计工作负载上花的时间更多。一些组织只部署更多的计算资源来处理这些工作负载,其它企业为了保持服务器在理想的性能级别运行,不得不将审计量调整回去。

呼叫详细记录

呼叫详细记录
(CDR)、计费数据记录、事件数据记录都是电信和网络交换机所记录事件的名称。CDR
包含经过交换机的呼叫或服务的有用详细信息,如发起呼叫的电话号码、接收呼叫的电话号码、呼叫时间、呼叫时长、呼叫类型等。随着通信服务转移到基于
Internet 协议的服务,这些数据也被称为 IPDR,其中包含诸如 IP
地址、端口号等详细信息。这些文件的规格、格式和结构差别很大,要跟上所有这些序列向来都颇具挑战性。然而,它们包含的数据对于计费、收入保证、客户保证、合作伙伴结算、营销情报等极为重要。Splunk
软件可以快速地为这些数据建立索引,并将它们与其他业务数据相结合,以使用户能够从这些丰富的使用信息中获得新的深入见解。

现下有相当多的开源日志跟踪器和分析工具可供使用,这使得为活动日志选择正确的资源变得比想象中更容易。免费和开源软件社区提供了适用于各种站点以及几乎任何操作系统的日志设计,为大家推荐
5 个非常好用的开源日志分析工具。Graylog

第三方审计解决方案有时候比本地事件日志架构处理更高等级的审计。它们通过结合三种基本技术来完成这一任务:

点击流数据

在点击流数据中捕获用户在 Internet
上的活动。这可以提供有关用户的网站和网页活动的深入见解。这些信息对于可用性分析、营销和一般性研究非常有价值。这些数据的格式是非标准的,而且操作可能在多个位置中记录,如
Web
服务器、路由器、代理服务器、广告服务器等。现有监视工具仅查看来自特定来源的部分数据视图。现有的网站分析和数据仓库产品通常仅对数据采样,缺少完整的行为视图,并且不提供实时分析。

Graylog于 2011
年在德国创建,现在作为开源工具或商业解决方案提供。它被设计成一个集中式日志管理系统,接收来自不同服务器或端点的数据流,并允许用户快速浏览或分析该信息。

安装在服务器上的代理可以直接接入Windows的应用程序接口API),而不是等待事件写入到事件日志中。这些代理节省了事件日志的日常开支,因为本地审计可以关闭。直接从API流量中获取数据通常花费也更少。

配置文件

要了解基础结构的设置情况,实际、有效的系统配置具有不可替代的作用。当调试过去发生过且将来可能再次发生的故障时,需要用到过去的配置。当配置发生改变时,需要知道更改内容和时间、更改是否经过授权,以及是否有成功的攻击者在系统中植入后门、时间炸弹或其他潜在威胁。

图片 2

审计数据可以“慵懒写入”,这意味着它可以在较段时间内排队等候日志。这通常不是很长的一段时间,但它确实允许审计占用次要位置来处理用户工作负载。

数据库审计日志和表

数据库包含一些最敏感的公司数据,如客户记录、财务数据、患者病历等。要弄清谁在何时访问或更改了哪些数据,获得所有数据库查询的审计记录非常重要。数据库审计日志还有助于弄清应用程序对数据库的使用方式以优化查询。某些数据库采用审计记录日志文件,而另一些数据库则是维护审计表,并可通过
SQL 进行访问。

由于其易于扩展,Graylog 在系统管理员中建立了良好的声誉。大多数 Web
项目开始时规模很小,但是之后可能会成倍增长。Graylog
可以平衡跨后端服务器网络的负载,每天处理几 TB 的日志数据。

事件通常传输到中央数据库用于从服务器上实际地编写、移除多一点的工作负载,因为该服务器不需要维持实际的日志。

文件系统审计日志

有些敏感数据不在数据库中,而在文件系统中。在诸如医疗保健等行业中,最大的数据泄露风险是位于共享文件系统中的消费者记录。不同的操作系统、第三方工具和存储技术在文件系统级别上提供了不同的敏感数据读取访问审计选项。这些审计数据是监视和调查敏感数据访问的重要数据源。

IT 管理员会发现,Graylog 的前端界面易于使用,并且功能强大。Graylog
是围绕仪表板的概念构建的,它允许你选择你认为最有价值的度量标准或数据源,并快速查看随着时间的变化趋势。

管理员可能不得不做一些基于实验室的实验来精确地查看服务器环境中创建什么级别的性能会影响所选的审计配置。选择审计方法的核心信息是:你不能拥有全部。管理需要理解,获取每一点可能的信息都会产生性能影响,公司需要愿意为这些影响付出额外的服务器、更大的服务器或降低性能的代价。

管理和日志 API

许多供应商越来越多地通过标准化和专有
API(而不是记录到文件)来显示重要管理数据和记录事件。Checkpoint
防火墙通过 OPSEC Log Export API (OPSEC LEA) 来记录日志。诸如 VMware 和
Citrix 等虚拟化供应商通过自有 API 来显示配置、日志和系统状态。

当发生安全或性能事件时,IT
管理员希望能够尽可能快地从症状追溯到根源。Graylog
中的搜索功能使这项工作变得简单。它具有内置的容错功能,可以运行多线程搜索,因此,你可以同时分析多个潜在的威胁。Nagios

消息队列

消息队列技术(如 JMS、RabbitMQ 和
AquaLogic)用于在基于发布/订阅模式的服务和应用程序组件之间传输数据和任务。订阅这些消息队列是在复杂的应用程序中调试问题的好方法,因为您可以清楚地看到链中下一个组件从前一个组件接收到的内容。另外,消息队列越来越多地被用作应用程序日志架构的骨干。

Nagios始于 1999
年,当时只有一名开发人员,后来发展成为管理日志数据的最可靠的开源工具之一。当前版本的
Nagios 可以与运行 Microsoft Windows、Linux 或 Unix 的服务器集成。