从1996年“211”校园网建设项目启动，到2016年进行校园网络建设改造，北京大学医学部主干线速率从155Mbps升至万兆，校园物理服务器增至24台，校园虚拟服务器增至123台，虚拟化存储升至90TB。

随着北京大学医学部网络规模的逐渐扩大，网络管理人员的安全意识也逐步深入，并组织上架了各种安全防护产品，如防火墙、安全审计产品、入侵检测产品和漏洞扫描系统等。但随着大数据时代的来临，网络安全面临着新的挑战：

北京大学医学部信息化建设经过数十年的发展，网络几乎覆盖校园的每一个角落。

一方面，学生与教职员工的各类电子设备，如手机、平板电脑、笔记本和科研服务器等，成为校园网络日志数据的重要源头，每天都会产生大量的上网行为日志；另一方面，随着网络规模的扩大，网络设备本身也会产生大量的操作系统日志与设备日志。

如何从海量日志中挖掘有效信息是一项重要任务，而采用传统的日志分析软件却无法高效、实时地分析处理海量日志。

在现在的网络安全体系中，查杀病毒安装防病毒软件、防御外部普通的攻击安装防火墙、防入侵购买入侵检测系统、防范Web攻击采用漏洞扫描系统。

但是这些设备都是单一的、分散的，需要网络管理人员逐一配置，并人工汇总分析这些设备产生的数据，缺乏综合性、全局性和连续性的功能，只是设备的堆叠，不能实现安全设备之间的协同联动。

随着以APT为代表的新型攻击的发展^[2]，网络安全形势发生了巨大的改变，APT攻击已经成为高危的网络攻击方式。

与传统的数据库注入、跨站脚本攻击、病毒与木马的威胁不同，APT攻击具有破坏性更大、隐蔽性更强与持久性更高等特征。

而现有的网络安全防御设备的告警信息都各自存放，没有从全方位的整体视角来看待安全问题，因而难以实现从海量日志中发现APT。

自从1999年美国空军通信与信息中心的T.Bass提出网络空间态势感知(Cyberspace Situation Awareness，CSA)的概念^[3]以来，各专家学者基于此概念提出了不同的改进模型。综合多种不同的模型得出，网络安全态势感知指的是

从概念中可以看出网络安全态势感知包含三个层次：网络态势要素提取、网络态势数据融合和网络态势预测，如图1所示。

针对网络安全面临的三个问题，结合态势感知概念设计了网络安全态势感知方案，如图2所示。

该方案分为三个层次：

下面详细介绍网络安全态势感知每一部分的具体情况。

要素提取是从网络架构中提取影响网络态势产生变化的要素，是建立网络安全态势感知的第一步。

首先，要素提取需具有全面性，包括WEB日志、操作系统日志、网络及安全设备日志。全面的数据采集是态势感知的具有整体性、全局性的重要保障。同时，也可以形成对设备的全方面监控。

其次，要素采集方式多样化。不同的产品有不同的日志输出方式，多样化的数据要素采集方法是保证要素提取全面性的重要手段。常用的数据采集方式有：探针、爬虫、FileBeat采集与SDK接口等。

最后，对提取的要素进行规范化处理。不同产品的日志格式往往大不相同，甚至相同产品不同类型的日志格式也不相同。因此对于下一步数据融合而言，对数据进行规范化处理不可或缺。常用的规范化处理方法包括按照需求正则化处理与使用Logstash、Kafka、ETL等工具处理。

数据融合是通过采集与汇聚不同种类、不同来源的数据，依次通过数据描述、数据组织和数据交换三个过程实现数据融合的功能，并且最终通过数据服务对外提供数据检索和展示功能。

如图2所示，在经过要素提取对数据进行规范化处理之后，使用不同的大数据分布式存储相结合的方式分类别存储日志数据。一部分要素，如防火墙日志，使用ElasticSearch及对应的组件存储和检索数据，其他要素使用Hive及对应的组件存储和检索数据。

ElasticSearch具有强大的聚合统计和全文检索功能，但不能关联查询。Hive具有关联检索和数据转换能力，但实时性能不足。二者相互补充，相互协作，可以对不同来源的数据进行联合查询。

数据融合横向打通了多源异构数据，并且原业务系统任意数据的变动通过数据融合都可以进行实时捕获。因此，针对威胁事件可以及时地检索出某段时间执行威胁动作的源IP地址与目的IP地址，然后挖掘出更多有效信息。

根据数据融合提供的数据接口，利用机器学习算法进行态势预测，识别出各类网络活动以及异常网络活动的意图，从而获得网络的安全态势。

北京大学医学部采用机器学习算法进行态势预测。机器学习在描述非线性的复杂系统方面具有良好的表现，且自适应、自组织和无限逼近能力表现优异，因此使用机器学习算法来进行态势预测。

网络安全管理人员根据呈现的攻击、威胁、风险提示，及时作出预判与干预，快速、精准地消除或降低安全威胁隐患。

态势预测将威胁响应时间从以往的数天缩短至数十分钟，进一步降低了病毒横向传播的几率。可视化是态势感知平台的重要组成部分，通过可视化可以清晰有效地传达态势预测信息。

网络安全态势预测是一种主动防御机制，其首先对现在及以往的网络态势要素进行分析和理解，然后对将来的网络态势进行推测，因而是建立动态响应机制的重要保障。

北京大学医学部（图源官网 摄/邱志维）

本文针对北京大学医学部网络安全面临的海量日志处理问题、高级持续威胁兴起与传统安全设备弱关联性的三方面问题，提出了网络安全态势感知方案。

该方案采用多种措施，实现了安全要素数据的提取，并利用了两种分布式数据存储相结合的方式进行数据融合，最后利用机器学习算法对网络未来态势进行预测。该方案提高了学校对海量数据的治理能力，增强了网络安全的防御能力，同时也增加了安全状态的可视性。

*文章来源：中国教育网络

*侵权必删