第一章 绪论
随着信息技术的不断发展，尤其面临着网络技术的日新月异，人们几千年来已经形成的各种信息传递方式正在被改变着、包括人们之间的各种沟通方式和相应的社会管理的各种组织方式也正在被改变着。在此基础之上，对现实社会的生活和管理机构的各种运作方式也产生了深刻地影响。目前，在全社会推进信息化的全面发展是我国建设社会主义现代化的必然抉择，而与之相关的信息安全，则成为关系公共安全，甚至是国家安全的关键环节。
1.1 研究背景
网络安全从其产生到现在，一直是以系统概念的方式出现。对于网络安全而言最重要的目标是要能够对某一确定的网络系统制定行之有效的策略或方案以确保系统的安全。与上述内容相关的技术到目前为止，有许多不同的类型，主要有：访问控制、数据加密、安全审计、身份认证等等。而上这些与安全相关的技术中，对网络中各种信息的审计系统已经渐渐成为整个安全系统，甚至是整个系统中十分重要的部分。其一般意义上的基本思想在于：对网络上不断通行的各种数据包采取实时采集，并迅速进行解包，通过分析与还原实现对上层应用协议所对应的各种数据进行获取，并在此基础之上，实现对网络中的各种具体应用的使用情况实施监控，特别要对各种发现的违规网络行要有能力实施实时报告，必要时，还可以根据管理员的要求实现对某些特定主机实进行封锁，有效切断其在网络上的非法行为，从而实现对网络中的信息资源实施有效的管理和维护。
在上述思想的指导下，产生了许多种网络安全的设备，比如：防火墙、IDS系统、病毒检测等。这些安全设备往往会产生运行日志。另外，在底层运行的操作系统（比如：Windows 和 Unix），以及已经使用的各种应用服务等等，在它们的运行过程中都会产生大量的日志。这些日志的最主要内容，就是较为详实地记录网络和系统中的各种各样的事件。由此可见，这些日志数据对于记录、检测、分析、识别基于网络的各种各样的安全事件有十分重要的作用。但在实际工作中，由于网络攻击手段的多样性，那种想要单纯依靠某个，或部分孤立的日志就对各种安全事件进行有效分析和识别的想法是不切实际的，必然要求各种日志记录的综全利用。一般情况下，防火墙日志主要记录了某一信息系统所受到的那些不安全攻击事件时的时间，该种事件的类型等等。
与此对应的日志的内容主要有：源发地址、目标地址、允许或拦截、源端口、目标端口、通讯的类型等。现实中也存在着更为详细记录的防火墙，其能够产生更细致的日志记录，比如：HF 防火墙就能够实现较为详细的日志记录，其主要内容 FTP 代理日志、包过滤日志、HTTP 代理日志、SMTP 代理日志、SOCK 代理日志、用户的登录审计日志等等。如果将上述详细的日志数据进行有效的分析完全能够有效地发现在系统中已经发生过的或者是正在发生的各种入侵。而 IDS 入侵检测系统的日志则可以对入侵的时间、以及入侵的类型等进行相应的记录。比如，IPPS 保护系统中产生的各种日志数据进行记录的主要内容可以用 3W1H 来描述，即：Who，When，What，How。翻译过来为：谁在什么时间对什么进行了什么操作。对上述的各种安全产品而言，其日志完全能够进行综合，并进行分析，从而有效地确保内网的安全。但所面临的问题在于，由于网络安全本身就完全是一个完全动态的过程，尤其对于那些己经建立好相应安全结构的网络系统而言，如果不能有效地采取集中化的，能够进行实时，甚至可视化的审计，根本就不可能及时地、有效地对信息系统的安全进行分析与评估，更不能及时发现系统本身所具备的各种安全隐患。因此，集中的审计系统是任何一个信息系统都应具备的。
另外，各种不同的网络安全产品也会不断随着技术的发展而在功能上日益完善，许许多多的功能也会在不断的进行完善和发展。各种不同安全产品的技术特点、工作方式也会发生相应的改变，本身的兼容性也存在问题。所以，为了有效地提高网络系统自身的安全能力，完全有必要将该系统中各个安全设备各自的、分离的日志审计系统进行一定的抽取，从而形成一种安全新型的安全产品来实现统一的日志审计，即基于日志的网络安全审计系统。该系统的主要特点在于：它是基于日志的审计系统，而且形成网络化的结构，可以及时地、有效地评估多种安全产品建立网络安全系统，特别是防火墙、IDS、IPPS 三种安全产品。
第二章 日志监控与安全审计技术分析
目前的安全产品最大的现状是各自为政，所以许多产品的堆砌，并不能更好地保障信息系统的安全。为此同，日志监控与安全审计技术已经正逐步成为如何保证网络安全的研究热点之一，并已经引起了许许多多专家和各种不同安全厂商的关注。目前而言，就单机或单个应用的日志监控，包括在此基础之上的安全审计技术在国内外的研究都比较多，而且也出现了不少成熟的产品。但面对网络的环境，特别是要实现对多种计算机系统的日志的监控与安全审计，在技术的研究方面还存在颇多问题。
2.1 日志概述
在目前的计算机系统中，一般为了便于相关人员去掌握计算机系统自身的运行状况，一般都会使用某些机制去描述计算机系统自身的各种行为。而日志（LOG）文件是目前计算机系统中最重要的手段之一。一般情况下，日志文件都是计算机系统，特别是安全系统重要的组成部分之一。日志会对计算机系统内发生的各种情况进行记录（有时也称为审计跟踪）。与这些信息相关的日志对于某一信息系统的维护和安全审计是极具价值的。
2.1.1 系统日志的概念
对于日志（Log）的定义，一般情况下是指计算机系统对指定对象的特定操作及该操作的结果，按照时间形成的有序集合。它是一些文件系统集合，依靠建立起的各种数据的日志文件而存在。在计算机系统中，每个日志文件的构成均采取了较为相似的方法实现，其构成由一系列的各个不同的记录形成。其中的任何一个具体的记录都主要对一次单独的系统安全事件进行描述。通常情况下，用户是具备权限去实现对各个日志文件的阅读。而各种日志文件也通常以文本形式存在，在这些日志文件件中除时间戳之外，同样必须具备有相关的描述，以便去应对一个消息或者是系统自身所特别拥有的相关信息。因此，在实际工作中，日志文件可以完全实现对工作站、服务器、路由器、防火墙、各种具体的应用软件等进行必要的活动记录，并将这些极具价值的信息采取某种方式进行保存，而这些信息对于维护系统，以及系统的安全审计极具价值。
第三章 日志监控与安全审计系统需求.........................21-36
3.1 网络环境下的日志采集需求 ........................21-31
3.2 网络环境下日志的特点分析 ........................31-32
3.3 安全审计需求........................ 32-35
3.1.1 数据挖掘的任务........................ 33-34
3.1.2 KDD 的需求........................34-35
3.4 本章小结........................ 35-36
第四章 日志监控与安全审计系统的设计........................ 36-43
4.1 系统体系结构........................ 36-39
4.1.1 功能构成 ........................36-37
4.1.2 系统结构设计........................ 37-39
4.2 日志的中间格式的设计 ........................39-41
4.3 安全审计引擎的设计........................ 41-42
4.4 本章小结........................ 42-43
第五章 日志监控与安全审计系统的实现........................43-65
5.1 日志数据采集代理的实现 ........................43-48
5.2 网络日志采集的实现 ........................48-53
5.3 日志数据汇总的实现 ........................53-56
5.4 采集代理的配置和管理........................ 56-61
5.5 安全审计分析的实现........................ 61-64
5.6 本章小结 ........................64-65
结论
日志对于计算机系统的管理，特别是对计算机的安全保障而言，具有极其重要的意义，因此，对日志监控与安全审计技术的各种研究一直都是一个研究的热点。本文主要设计了一个具有进行实时的监控，并实现集中的管理，以及进行智能的审计为主要功能的网络日志监控与安全审计系统的原型。并以该原型系统为主线进行了相应的研究与实现，本文所做的工作主要有：
（1）通过对现有的对日志进行安全审计的各种产品进行较为深入的分析与研究，设计了一种适合于网络日志进行相互转换的“日志的中间格式”，从而较好地解决了网络环境中多种不同日志的融合；#p#分页标题#e#
（2）通过对安全审计方法的分析与简介，在构建安全审计引擎的时候，采取具有学习能力的数据挖掘技术来实现，并给出了安全审计引擎的结构框架；
（3）设计并实现一个具体的网络日志监控与安全审计系统原型。通过相应的实例分析，其分析的结果表明:通过数据挖掘，从而实现对采集日志数据进行浓缩、统计、关联、聚类等操作，可以方便地从大量的日志数据中分析并提取出相对应的安全信息，这些信息在传统安全审计方式中是难以实现的，这在一定程度上实现了日志的智能审计。
参考文献
[1] [美]布拉格，《网络安全完全手册》，电子工业出版社，2005.10
[2] [英]戈尔曼，《计算机安全》，人民邮电出版社，2003.12
[3] T Munakata.Knowledge Discovery[J].Communications/sjlwfb/ of the ACM,1999
[4] [美]侯登，《防火墙与网络安全-入侵检测和 VPNS》，清华大学出版社，2004.06
5] 黄锦，李家滨，《基于防火墙日志信息的入侵检测研究》，2001 年第 27 期
[6] 林晓东，刘心松，《文件系统中日志技术的研究》，《计算机应用》，Vol 18
[7] 汤效琴，毕利，《数据挖掘中的软计算方法及应用综述》，2008.05
[8] Core SoftWare Technologies，Modular Syslog Manual Pages，2001.11
[9] U.Fayyad，G.Piatetsky-Shapiro,Padhraic Smyth.Knowledge Discovery and DataMining:Towards a Unifying Framework[A].Proceedings
