绪论:写作既是个人情感的抒发,也是对学术真理的探索,欢迎阅读由发表云整理的11篇网络流量分析的方法范文,希望它们能为您的写作提供参考和启发。
1 多媒体流量分析的基础
多媒体在应用层面对于用户的强大支持,映射到其数据层面,必然是不容忽视的大量不同数据格式。而在这样的环境之下,想要展开有效的网络流量分析,实现对于通信资源的优化利用,首先必须展开对于多媒体报文的有效分类。每一个报文都会在这个过程中被分类到对应的类型,而后进一步依据运营商制定的传输优先策略对其展开传输处理。
多媒体流分类问题可抽象成从多媒体报文映射到流类型的过程,多媒体报文流经流分类器,即展开对于其的辨别并且添加相关的类型标识,通常会将该标志写入报文头部字段中,便于后续识别和处理。在识别的过程中,可供识别多媒体流的方法主要有三种,即基于报文头部信息的分类方法、基于数据包载荷内容的分类方法以及基于流量统计模型的分类方法。其中基于报文头部信息的分类方法,即依据报头中的多元组信息展开工作,将其与预先定义的规则集进行比对匹配,并且确定出媒体流的对应分类进行标识。此种工作方式相对简单,因此发展也趋于成熟,效率较高,但是在识别过程中由于多媒体应用使用的端口通常并不固定,因此针对而言准确率比较有限。而基于数据包载荷内容的分类方法则面向报文载荷信息展开识别和工作,进一步又可以针对应用层协议展开解析或针对载荷内容展开特征解析。此种识别方式工作准确率基本有所保证,但是对于某些私有协议以及加密数据流,会因为无法有效提取特征信息而导致识别失败。最后,基于流量统计模型的分类方法主要是关注多媒体流量特征,通过流量来判断多媒体数据的传输行为模式,诸如数据包的大小以及包与包之间的间隔时间等方面特征。此种方式能够实现系统的自主学习,但是会存在一定的分类延时。
2 网络流量分析技术浅议
对多媒体进行标识之后,可以在网络环境中展开更为有效的网络流量分析。已经被标记的信息流在传输过程中能够表现出不同的对于资源的占用,以此作为依据展开更具有针对性的网络流量分析,对于整体网络数据传输资源和功能的优化都必然有着积极价值。
随着计算机技术的不断成熟,网络流量分析技术也呈现出不断发展的特征。当前的流量分析技术,主要是在传统的数据库技术基础之上,以一种开放的态度构建起支持自学习的网络流量分析系统,从而实现整个体系的智能化。就目前的状况看,常见的几种流量分析技术有以下几种。小学德育论文
1)SNMP技术。此种技术主要用于实现面向网络环境中多种类型设备展开监控和管理,并且对既有问题进行定位。该技术系统包括SNMP协议、管理信息结构以及管理信息库三个部分构成,其中SNMP协议用于实现在应用程序和设备时间交换信息,而管理信息结构用于指定一个设备维护的管理信息的规则集,最后管理信息库用于明确设备所维护的全部被管理对象的结构集合。
2)RMON技术。该项技术由IETF定义,本身是对于SNMP技术的一种深入。其对于标准功能以及网管站远程监控器之间的接口进行了重新定义,使得其能够实现更为顺畅的数据交换,从而有助于展开对于网络环境数据流量的更为有效监视。在RMON系统中,当探测器发现了一个非正常态的网络段之后,会主动与网络维护管理控制台接通联络,并将对应的网络信息进行发送,实现对于整体网络流量的监控和分析。
3)SFlow技术。此种技术以随机采样作为主要的研究方式,并且能够提供从第二层到第四层的相对完整的网络流量分析信息,这种分析甚至可以扩展到整个网络环境中,能够实现面向大数据流量的适应,尤其是在面向以流媒体作为主要流量资源占用的网络环境时,仍然能够保持稳定的表现。此种技术成本较低且不会因为引入其技术为网络环境带来新的冲突,同时数据信息量大,能够实现更为完善的网络分析。
4)NetFlow技术。此种技术主要用于实现网络层高性能交换,首先被用于对网络设备的数据交换进行加速。但是其核心是对于流缓存进行进一步的整理,因此在工作的过程中必然会能够得到很多依据汇聚方法而统计的数据,其中包括诸如源IP、目的IP以及源端口和目的端口以及相关传输协议与包数量等,这些信息和统计数据对于深入展开网络流量分析有着不容忽视的积极价值。
3 结论
在多媒体应用的网络环境中,深入可靠的网络流量分析系统,对于切实提升网络自身的数据传输能力,为多媒体用户提供更为稳定的数据传输服务有着积极价值。实际工作中唯有不断深入发现自身网络环境特征,才能有的放矢展开有效的流量分析,实现网络环境优化。
随着网络技术的不断发展及网络应用的不断推广,校园网规模日益扩大且网结构与应用日趋复杂,如何对校园网进行全面有效的监控是目前网络管理面临的巨大挑战,这给校园网网络监控技术带来了广阔的研究领域,网络监控技术的核心技术就是对网络中的流量进行即时准确的分析,本文首先对常用的流量分析技术进行简单的介绍。又重点介绍了sFlow技术,针对sFlow的特点,在校园网中部署了一个基于sFlow技术与Juniper网络设备的网络监控系统,并对系统如何实现网络监控进行了描述,此系统可实时有效的对校园网流量进行分析,对校园网管理有很大的实用价值。
1流量分析技术介绍
当前能对网络的流量进行分析的类型主要有以下两种:
1.1点接触型流量分析
点接触型流量分析技术的原理为:在网络中的某个接入点上,利用探针检测该接入点的每个pack-age,所利用的方法为逐个包拆分,并在检测的同时完成统计。点接触型流量分析的优点为:此技术中流量的采集只依赖于探针的包处理机制,与网络中使用何种类型的交换机没有关联;由于本技术采用逐个包拆分的方法,所以可自主制定策略来满足用户的需求。缺点为:接入点的个数有限,只能对有限的点进行数据的采集,如果想在网络的所有关键点布置接入点,成本较大;在关键接入点串入网络流量采集设备,会增加网络的故障点。采用点接触型流量分析的代表设备为:IDS,FLUKE测试等。
1.2面接触型流量分析
面接触型流量分析技术的原理:利用交换机固有的流量采集来完成报文中关键信息的统计工作[1]。面接触型流量分析的优点为:此技术不同于点接触型流量分析,无需在网络的关键接入点上布置探针,只需要布置一台交换机设备用以流量采集统计,即可采集分析核心层流量,并不影响整个网络的性能;此技术可在网络的任一点上采集整个网络的流量;整个校园网中,只需布置一套监控系统,成本低。缺点为:此技术采集的数据只局限于某种类型的package的采样值,而不是包的全部,相较于点接触型流量分析来说,采集的数据较少。采用面接触型流量分析的代表设备为:NET-FLOW监控,sFlow监控等。当前CERNET校园网都是万兆核心层网络平台,根据前面对两种流量分析技术的介绍可知,相较于点接触型流量分析技术,面接触型在采集与分析如此巨大网络流量时,有显而易见不比拟的优势。本文采用当前较主流的sFlow监控系统完成校园网网络流量的采集与监控。
2sFlow技术应用
2.1sFlow技术介绍
sFlow,是由InMon公司于2001年提出的一种基于“统计采样”的网络流量监测技术[2],以RFC3176[3]文件的形式进行了。sFlow通过对校园网中网络设备处理的package进行采集来获取网络中流量的信息,之后把采集后的数据包发送给流量分析服务器进行分析,让用户详尽与实时地知道网络的性能与安全等问题[4]。目前,仅有Foundry和JuniperNetworks等厂商的部分型号的交换机支持sFlow。sFlow的主要优势在于:进行整个网络监视成本更低;拥有的“一直在线技术”能够对网络流量进行实时采集与分析能力;嵌入到ASIC中的强劲技术;全网的视图都是可看见的;采样的速率是可以自主配置的;整个网络的交换性能不受影响;网络带宽基本不受影响;包头的信息是完整的;第二到七层的详细信息是完整的并且支持多种协议。
2.2实现原理
sFlow的网络流量监测实现一般由两部分构成:sFlow(Agent)和sFlow流量采集器(Collector)[2]。sFlow系统的基本原理为:分布在校园网的sFlow把sFlow报文发送到Collector。
2.3sFlow技术
在校园网中的布署本文以Juniper交换机和PRTG软件为例部署系统。首先在校园网络的各个层级交换机(Agent)启用sFlow,通过收集设备上相关端口的流量转况并实时将整个校园网络的流量发送到服务器端(Collector)。服务器端部署PRTG软件,由PRTG分析软件来对从交换机收到的数据包进行全面、实时、丰富的流量及统计分析。
3结语
要实现对网络全面、实时的监控分析必须依靠先进有效的网络监控协议和技术来满足业务日益增长的需求。sFlow网络技术的出现可以很大程度满足当前及未来几年校园网络发展规模,为我们网络管理员的日常巡检维护带来了极大的方便,也为保障校园网络的安全、稳定、高效运行提供了很好的依据。
参考文献
中图分类号:TP393 文献标识码:A 文章编号:1007-9416(2012)02-0160-02
1、引言
随着信息化建设的高速发展,校园网作为数字信息的基本载体在数字校园的建设中具有非常重要的作用。但是,由于各种网络应用的不断涌现,消耗了大量网络带宽,导致网络拥堵、性能降低,干扰了教学科研等关键业务的正常运行。为了优化网络环境,保证数字校园的正常运行,我们有必要对网络流量进行深入的分析与研究,对占用大量网络带宽的流量、环节采取针对性的手段进行调整与控制,保障数字校园高效稳定安全的运行。
2、流量分析的常用方法
网络流量分析指通过捕获网络流量数据对其进行深入量测和分析,来掌握网络的流量特性,例如某种协议、应用服务的使用情况或者某些用户的行为特征等,为精细化流量控制提供数据依据。目前采用的网络流量分析方法按照分析的对象有:
2.1 基于地理位置的分析
基于地理位置的分析是通过获取已知位置、用户群的相关网络设备的运行情况来进行分析。常见的是使用简单网络管理协议(SNMP)来实现信息获取,这种方法优点在于需要的设备及人员较少,能够获得流量的相互关系。
2.2 基于数据包的分析
对数据包的分析一般可以分为:基于地址、端口的分析,基于特征码的分析以及深度数据包检测。
基于地址、端口的分析是通过识别IP、URL地址或者应用服务的特定端口来检测分类的方法。但是随着网络技术的发展,越来越多的应用不再基于固定的地址、端口,使得这种方法的使用范围不断缩小。
基于特征码的分析是通过检测OSI模型中四层以下的内容中是否含有某些应用服务的特殊标示或使用的特定协议来对数据包进行分类的方法,是一种使用较多的分析方法。
深度数据包检测(DPI)是一种对数据包深入到应用层协议检测分析的方法。它通过逐包分析、模式匹配,并且使用行为模式识别等技术,可以对流量中的具体应用服务实现较为准确的识别,例如鉴别P2P数据应用,虽然它的分析速度较慢而且需要不断的根据新的协议和新的应用来升级后台应用数据库,但仍不失为一种使用较为广泛的方法。
2.3 基于流量行为的分析
目前较为常见的是深度流行为检测(DFI),这是通过对数据流的数据包长度、数据流持续时间、链接状态、网络层传输层信息等参数来对其进行统计分析的检测方法,速度快于深度数据包检测方法,可以分析加密数据流,但仅能对数据进行模糊分类,例如将满足P2P流量模型的应用统一识别为P2P流量,因为一般新型应用都是由某些旧应用发展而来,其流量特征变化较小,所以不需要频繁升级流量模型数据库就可以较为准确的分辨类别。
3、流量控制的常用方法
在对网络流量进行深入分析了解数据构成后,就可以针对性的使用适当的方法来控制网络流量,常用方法有“限”、“封”、“分级”:
(1)限:指对带宽、连接数等设置门限,是流量控制中最常用的方法,一般有基于用户的带宽限制、基于服务的带宽限制、基于时间段的带宽限制以及基于并发连接数的限制等。
(2)封:也就是通过封堵特定应用、行为的IP地址、端口号的连接,来禁止使用的目的。但是随着技术的发展,很多软件可以自动协商通讯端口甚至可以使用80端口,所以在单独使用时效果并不理想。
(3)分级:也就是划分应用服务等级,让关键应用获得最高级优先权,让重要应用获得较高优先权,从而使网络流量有序化。
4、校园网流量控制策略的实施
4.1 流控设备的部署
笔者所在学校是在外网防火墙和骨干网交换机之间部署锐捷ACE2000来实现内网至外网主干线路的流量控制。
ACE2000是锐捷专门针对国内市场定制和优化的流控设备,可以对网络流量、用户上网行为进行深入分析,为用户提供网络应用和流量趋势报表,还运用深度包检测(DPI)和深度流检测(DFI)技术,能够全面识别和控制各种应用,从而有效的检测和防止某些应用对带宽资源的非正常消耗,保证关键应用带宽,保障整体网络应用的服务质量。
4.2 流量分析
通过ACE2000对校园网出口流量监控分析发现在我校校园网内主要是P2P数据流泛滥,导致关键网络应用延时较大、丢包较多。在工作时间以及晚上繁忙时段,P2P下载、P2P应用占据了超过80%的网络带宽,流出流量超过流入流量,在线会话数远大于在线IP数,某些用户数据流量异常。
4.3 管理策略
考虑到校园网需要满足全校师生在日常办公学习、实验教学、网络视频教学以及业余时间休闲娱乐等方面的需求,根据长期流量分析数据,从以下四个方面制定控制策略:
(1)按IP段划分:我校为办公用户、教学用户、学生用户、家属用户,分配了不同的IP段,根据各用户群不同的功能定位来分配带宽。
(2)按时间划分:按节假日、工作日以及每天的高低峰时段分配带宽。
(3)按应用设置优先级别:设定应用服务等级,优先保障关键应用、关键区域的网络资源。
(4)智能分配带宽:在各个参数允许范围内,灵活分配最大带宽,提高网络带宽利用率。
4.4 应用策略后的效果
在出口部署的锐捷ACE2000上应用策略后,出入口的流量下降近一半(如图1),P2P下载、应用等也减少近半(如图2),在线会话数减为原来的0.65%,基于校园网的办公、教学、远程等应用可以流畅使用。(如图1图2)
5、结语
通过对网络流量的分析,结合各个方面的需求,制定了具有针对性的网络策略,初步获得了显著的效果。但是还有不足之处,主要是各类型用户带宽限制值、并发连接数的合适点不容易找,智能带宽分配的各个参数的合适值不容易找。因此需要我们对网络流量进行长期研究、深入分析,不断调整网络管理策略,合理利用网络带宽,满足各种用户、应用的需求,确保网络的通畅,营造一个良好的数字校园。
参考文献
[1]林维锵.中小型校园网流量的控制方法,武汉工程大学学报,2011(4):97-99.
DOIDOI:10.11907/rjdk.162346
中图分类号:TP309
文献标识码:A 文章编号文章编号:16727800(2016)011018402
0 引言
异常流量相对于平稳的网络流量有着显著变化,它来自于网络中的拥塞和路由器上的资源过载。网络运营商必须及时准确地检测异常流量,否则网络无法有效、可靠地运行[1]。研究人员采用了各种分析技术,从基于体积分布的分析到基于网络流量分布的分析来研究流量异常检测。而最近研究表明,基于熵的异常检测具有更好的效果。该方法是在流量分布中捕捉细粒度的模式,使用熵来跟踪流量分布的变化具有两方面优势:①利用熵可以提高检测灵敏度,异常事件的发生可能未表现出存储量异常;②使用流量特征可以诊断信息异常事件的性质(如区分蠕虫、DDoS攻击或扫描)[2]。
一般而言,大多数研究者认为Flow头的功能(如IP地址、端口和流量大小)可作为基于熵的异常检测的备用选择[3]。然而,端口和地址分布的两两相关性大于0.95,异常检测到的端口和地址分布明显重叠,这是产生深层流量模式的本质原因。此外,异常扫描、DoS和P2P事件都不能通过端口和地址分布进行精确检测,或只有在显著的网络流量异常事件发生时才能检测出异常。考虑到端口和地址分布的有限作用,应选择流量分布作为基于熵的异常检测指标。
本文提出一种利用度分布提高端口和地址分布检测能力的异常检测机制。使用入度和出度分布来估算每个主机通信的目的/源IP地址,对于每个入度值(出度值),通过计算熵来诊断异常。其中,选择目的/源IP地址作为唯一备用指标,而不是两个地址和端口,不需要使用具有相同底层属性的不同分布来增加计算开销。同时,为了捕捉动态网络流量的本质,引入了一个固定时间宽度的滑动窗口机制。
1 相关研究
网络流量的异常检测是保证网络正常有效运行的重要手段。网络流量异常检测技术自提出以来,经过多年发展,诞生了多种检测方法,但这些方法通常都存在一定缺陷。因此,如何进一步提高检测准确性、减少误报率仍然是国内外学者的研究热点。其中,许多方法都集中在使用流量分布来诊断异常,如Thottan[4]使用单独的MIB变量的统计分布来检测网络流量的突然变化。在各种异常统计检测技术中,基于熵的方法已被证明在检测异常的流量矩阵时间序列中的准确性和效率。张航等[5]利用最大值和相对熵建立了一种基于行为的异常检测方法。以最大熵为基础的基线分布由预先标记的训练数据构成,但该基线适应网络流量动态变化的机制仍然不清楚。本文提出一个机制,根据动态网络流量在测量期间的变化来构建自适应基线,并调整基线在一个特定的时间跨度内。
在线检测异常受大流量数据的实时统计影响。吴静等[6]采用五元组流分布(即源地址、目的地址、源端口、目的端口、协议)进行流量分析,导致内存和处理能力的高开销。一些网络入侵检测系统,如FlowMatrix与Snort匹配数据包到一个预定义的规则集,使它们无法检测未知异常[7]。本文认为地址和端口具有高相关性,并使用地址作为独特的度量来代替元组,用于检测异常度分布的熵,不仅可减轻计算过程中在线分析阶段的开销,而且在发现新的异常类型方面比常规方法效果更好。
2 基础理论
大多数流量异常都有一个共同特点,它们诱导流量头特征分布的异常变化,如源地址、目的地址与端口,一般显示出分散或集中分布的现象[8]。
例如,图1显示了3种类型攻击的流量特征分布。图1(a)显示了一个典型的分布式拒绝服务(DDoS)攻击。在这种情况下,大量主机发送信息到一个特定主机。同样,许多网络蠕虫通过发送随机探测,即到随机区域产生大量目的地IP地址,从而使受感染的计算机继续感染其它脆弱的计算机,如图1(b)所示。在一些扫描事件中,一个源IP地址随机扫描多个IP地址,如图1(c)所示。
从以上分析得知,网络流量发生异常时,会使源/目的地址、源/目的端口分布出现变化(见表1)。接下来需要研究:①采用什么指标可以准确配置这些异常流量特征,并明确表明上述攻击的发生;②如何有效地量化异常大小,并揭示非正常的流量行为。
3 诊断方法
3.1 系统模型
总体架构包括3个主要功能部分:处理引擎(后端)、数据库和WebGUI(前端)。处理引擎执行显式算法WebGUI和数据库之间的通信。引擎主要实现以下几方面任务:①接收NetFlow记录的数据,如路由器、交换机、防火墙等,并以一个特定方式将数据通过缓冲存储到数据库;②获得相关参数后,可通过使用SQL查询来计算熵值度分布的原始流量数据;③根据测量期间的网络状态自动调整检测阈值。流量统计数据库提供了结构化存储,简化了熵值的分布程度计算。WebGUI前端可通过图形方式显示检测结果。
3.2 算法设计
进行在线流量分析时,要提高异常检测精度,减少计算时的开销,异常检测的流程与算法必须是轻量级的。首先,设计一个数据源和数据库之间的缓冲区进行存储和检索。其次,考虑到许多攻击一般只有几分钟时间,如DDoS攻击一般只持续两分钟,因此要设置一个有限的时间段作为一个基本测量时间窗口的度量单位。
从概念上讲,该算法可以分为3个阶段:在第一阶段,配置Netflow在特定时间段内的页面流量统计,根据训练数据和预定义的阈值熵排除异常值,以便在测量期间准确校准基线。自适应阈值在检测过程中生效;第二阶段为处理阶段,滑动时间窗口时,计算该窗口中流量特征的熵值;第三阶段为后处理阶段,设置阈值为下一个检测过程的计算均值熵和方差。该算法的伪代码如下:
4 结语
本文介绍了基于度分布的流量异常在线检测方法,该方法具有以下优点:①可以准确、高效地使用流量头特征捕捉细粒度的流量模式分布,不仅减少了在线处理时间,也提高了检测能力;②利用熵可以提高检测灵敏度的特点来发现已知或未知的流量异常,并将其量化;③具备一种可降低误警率的自适应阈值。下一步工作是进一步分析流量异常特征,寻找诊断网络异常的方法。此外,降低报警延迟也是需要考虑的问题之一。
参考文献:
[1] 王秀英,邵志清,陈丽琼.异常流量检测中的特征选择[J].计算机工程与应用,2010(28):129131.
[2] 崔锡鑫,苏伟,刘颖.基于熵的流量分析和异常检测技术研究与实现[J].计算机技术与发展,2013(5):126129.
[3] 郑黎明,邹鹏,韩伟红.基于多维熵值分类的骨干网流量异常检测研究[J].计算机研究与发展,2012(9):154163.
[4] THOTTAN M,JI C.Anomaly detection in IP networks[J].IEEE Transation on Signal Processing,2003,51(8):21912204.
[5] 赵飞翔,张航,何小海.基于多层分块的异常行为检测算法[J].科学技术与工程,2015(10):112116.
中图分类号:TP
文献标识码:A
文章编号:1672-3198(2010)17-0348-01
1 网络流量的特征
1.1 数据流是双向的,但通常是非对称的
互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。
1.2 大部分TCP会话是短期的
超过90%的TCP会话交换的数据量小于10K字节,会话持续时间不超过几秒。虽然文件传输和远程登陆这些TCP对话都不是短期的,但是由于80%的WWW文档传输都小于10K字节,WWW的巨大增长使其在这方面产生了决定性的影响。1.3 包的到达过程不是泊松过程
大部分传统的排队理论和通信网络设计都假设包的到达过程是泊松过程,即包到达的间断时间的分布是独立的指数分布。简单的说,泊松到达过程就是事件(例如地震,交通事故,电话等)按照一定的概率独立的发生。泊松模型因为指数分布的无记忆性也就是事件之间的非相关性而使其在应用上要比其他模型更加简单。然而,近年来对互联网络通信量的测量显示包到达的过程不是泊松过程。包到达的间断时间不仅不服从指数分布,而且不是独立分布的。大部分时候是多个包连续到达,即包的到达是有突发性的。很明显,泊松过程不足以精确地描述包的到达过程。造成这种非泊松结构的部分原因是数据传输所使用的协议。非泊松过程的现象迫使人们怀疑使用简单的泊松模型研究网络的可靠性,从而促进了网络通信量模型的研究。
1.4 网络通信量具有局域性
互联网流量的局域性包括时间局域性和空间局域性。用户在应用层对互联网的访问反映在包的时间和目的地址上,从而显示出基于时间的相关(时间局域性)和基于空间的相关(空间局域性)。
2 网络流量的测量
网络流量的测量是人们研究互联网络的一个工具,通过采集和分析互联网的数据流,我们可以设计出更加符合实际的网络设备和更加合理的网络协议。计算机网络不是永远不会出错的,设备的一小点故障都有可能使整个网络瘫痪,或者使网络性能明显下降。例如广播风暴、非法包长、错误地址、安全攻击等。对互联网流量的测量可以为网络管理者提供详细的信息以帮助发现和解决问题。互联网流量的测量从不同的方面可以分为:
2.1 基于硬件的测量和基于软件的测量
基于硬件的测量通常指使用为采集和分析网络数据而特别设计的专用硬件设备进行网络流的测量,这些设备一般都比较昂贵,而且受网络接口数量,网络插件的类型,存储能力和协议分析能力等诸多因素的限制。基于软件的测量通常依靠修改工作站的内核中的网络接口部分,使其具备捕获网络数据包的功能。与基于硬件的方法比较,其费用比较低廉,但是性能比不上专用的网络流量分析器。
2.2 主动测量和被动测量
被动测量只是记录网络的数据流,不向网络流中注入任何数据。大部分网络流量测量都是被动的测量。主动测量使用由测量设备产生的数据流来探测网络而获知网络的信息。例如使用ping来估计到某个目的地址的网络延时。
2.3 在线分析和离线分析
有的网络流量分析器支持实时地收集和分析网络数据,使用可视化手段在线显示流量数据和分析结果,大部分基于硬件的网络分析器都具有这个能力。离线分析只是在线地收集网络数据,把数据存储下来,并不对数据进行实时的分析。
2.4 协议级分类
对于不同的协议,例如以太网(Ethernet)、帧中继(Frame Relay)、异步传输模式(Asynchronous Transfer Mode),需要使用不同的网络插件来收集网络数据,因此也就有了不同的通信量测试方法。
3 网络流量的监测技术
根据对网络流量的采集方式可将网络流量监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于Netflow的监测技术三种常用技术。
3.1 基于网络流量全镜像的监测技术
网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。
3.2 基于Netflow的流量监测技术
Netflow流量信息采集是基于网络设备提供的Netflow机制实现的网络流量信息采集。
一、现状和问题
油田公司提出“百兆到作业区,十兆到井站”的网络架构,但现在很多井站都实现了百兆接入,同时计算机主干网页实现了广域网双2.5G,核心万兆互联,带宽的快速增加加快了业务数据传送的速度,从公司管理角度出发很多很多应用从井站直接到公司管理部门的核心网络,业务的可靠传输是对网络运维部门提出的新的要求。公司主干网流量组成,对于各个方向的网络流量大小,公司应用系统如视频会议、生产指挥、应急预警、财务系统、OA办公系统、A1A2系统,集团公司的应用系统的流量情况,需要对业务进行深入分析,获取相关流量。二级单位从井站到单位核心,数字化应用系统占有大量的网络链路流量,但管理者不能掌握,具体各类应用系统流量的大小、流向以及各类网络接口流量组成,需要采集网络中各个节点的网络流量,进而对应用系统进行详细的分析,将流量与应用系统进行有效结合,达到应用系统流量的深度分析。
二、流量分析技术应用
2.1流量分析技术
2.1.1基于SNMP
该方法仅能对网络设备端口的整体流量进行分析,可以获得设备端口的实时或者历史的流入/流出带宽、丢包、误包等性能指标,但无法分析具体的用户流量和协议组成。因其具有实现简单、标准统一、接口开放的特点,被业界广泛采用。
2.1.2基于网络探针
该方法的数据抓包、分析和统计等功能一般都在网络“探针”上以硬件方式实现,分析的结果存储在探针的内存或磁盘之中,具体的前端展现依赖与之对应的专门软件。因此具有效率高、可靠性高、高速运行不丢包的特点。
2.1.3基于网络流
相对于会话(Session)而言,流(Flow)具备更细致的标识特征,在传统的 TCP/IP 五元组的基础上增加了一些新的域值,至少包括以下几个字段:源IP地址、目的IP地址、源端口、目的端口、IP层协议类型、ToS服务类型、输入物理端口。以上七个字段可以唯一地确定任意一个数据包属于哪个特定的流,换言之任何一个字段出现了差异都意味着一个新的流产生。sFlow是基于端口的流量分析:按照一定的采样比从特定端口上采集报文,由Agent设备对报文进行分析(包括报文内容、报文转发规则信息等等),并将分析结果以及原始报文通告给Collector进行统一分析(Flow采样);并且支持周期性统计端口的流量计数以及设备CPU、内存等信息(Counter采样)。sFlow关注的是接口的流量情况、转况以及设备整体运行状况,因此适合于网络异常监控以及网络异常定位,通过Collector可以以报表的方式将情况反应出来,极大的方便了网络管理人员日常巡检维护,保证企业网络的正常稳定运行。
2.2部署方式
利用公司网络监控平台系统,结合交换机及路由器的FLOW流量采集功能,对油田主干网及试点二级单位的网络流量进行采集,其中计算机主干网,主要采集核心交换机8905和核心路由器t1200设备的流量情况,试点二级单位通过核心交换机软件升级,及试点作业区井站的设备替换,采集内网的流量情况。
2.3流量分析
2.3.1主干网流量分析
通过对流量采集和分析技术进行研究搭建流量分析系统,实现对主要生产办公业务流量分析,重要应用性能追踪。并开展油田计算机终端应用的自动化监控。具体研究内容主要包括一下几点:
通过s-flow、netflow等技术搭建流量分析系统,对区域中心出口、生产指挥中心、应急预警中心、公司视频会议系统及苏里格大厦数信部等重要业务和部门实现业务流量集中统计分析;
通过定制业务模型对主要生产办公流量进行全面分析,包括:视频会议,办公OA系统,生产网中的三端二系统等网络业务;
平均流入速率:450~465Mbps,平均流出速率:30~40Mbps,应用构成为:上网占77%,未知应用占13%,HTTP应用占2%。
2.3.2生产指挥流量分析
公司生产指挥系统流量很小,基本没有流入流量,只有流出流量,平均流出速率为1.08Mbps,平均流出速率波动较大,HTTP应用为主包含codasrv和raventbs等生产系统流量。
三、总结
中图分类号:TP393.1 文献标识码:A 文章编号:1672-3791(2013)05(b)-0249-02
随着高等教育信息化的发展,高等教育对于网络的依赖日渐增加,同时高校校园网的出口带宽要求也越来越高。但是受到资金、出口建设成本和网络技术等方面的限制,高校校园网出口带宽不可能无限提高,由此导致了高校校内用户日益增长的网络需求与出口带宽限制网络流量之间的矛盾。而通过对出口网络数据进行深层次应用分析制定相关策略能够在一定程度上缓解这一矛盾。
1 网络流量分析及控制的关键技术
网络流量分析及控制是指对数据包进行检测,并通过制定的策略对网络应用实现放行、限制或阻塞的技术。现今P2P类下载应用占用了大量的带宽资源,导致网络的拥堵和服务质量的下降。为了保证用户能够平等的使用网络带宽,需要采取必要的技术对P2P等应用进行一定程度的检测与调控。目前主要的分析控制技术如下。
1.1 传统防火墙对网络流量的分析及控制
传统防火墙都工作在OSI参考模型的第2、3、4层,通过对TCP/UDP端口、数据包的源/目的IP地址、MAC地址等进行过滤,实现对网络流量的监视。一般都是对数据包的包头来做策略,并不关心整个数据包的信息。传统防火墙对网络流量的处理方法一般都是阻塞某种协议常用端口,或者阻断客户端与服务器的连接等。由于不能有效的分析数据包内部信息,不能有效的了解用户应用层的信息,也就不能有效的限制用户的应用。采用传统防火墙阻断服务器与客户端连接的方法也已经不能准确的识别与控制。
1.2 DPI技术
深度报文检测技术DPI(Deep Packet Inspectio)是在分析数据包包头的基础上,增加了对OSI参考模型第七层即应用层的分析。当IP数据包、TCP、UDP数据流经过基于DPI技术的流量控制系统时,通过深入读取数据包的内容来对应用层信息进行重组,从而得到整个应用程序的内容,然后按照系统定义的管理策略对流量进行整形操作。DPI技术可以分为两大类:(1)使用特征字与掩码相结合进行协议识别的DPI技术;(2)使用正则表达式库进行协议识别的DPI技术。
2 高校校园网络的现状
目前大部分高校都已建成完善的园区网,普遍采用传统的三层结构(核心层、汇聚层和接入层),并租用运营商电路实现与互联网的高速对接。
校园网的主要特点是学生是网络的主要用户。随着网络技术的发展,学生作为社会最活跃的团体,对于网络新兴服务需求迫切,尤其是视频服务。造成的结果是对网络带宽的占用比例极高,造成传统服务的服务质量下降。
以我院为例,我院校园网络始建于2008年,网络已覆盖教学、办公、生活等区域,其中学生宿舍网络出口带宽所占比例达到80%以上,其中多以视频、P2P应用为主。
3 采用流量控制技术调整出口应用
在具体实现方面,采用了Panabit软件。Panabit是北京派网软件公司开发的免费的应用层流量控制系统,是基于稳定性极高的FreeBSD开发的。可在浏览器中对系统进行图形化管理,界面友好,操作简便。
3.1 Panabit流量控制系统的部署
(1)安装。
Panabit需要独立安装在一台计算机中,硬件配置要求如表1。
由表1可见,对于目前PC的硬件水平完全可以满足安装需要,只需要在计算机中多加装两块网卡即可。
Panabit的硬件部署在网络出口上。配置的3块网卡,1块用于管理Panabit管理系统,另外2块分别用于采集上传和下载流量的数据。
(2)Panabit系统的初始化配置。
①首先配置系统的IP地址等基础信息(在此全部都采用校园网内部私有地址),以便远程管理(采用HTTPS协议)。
②选择网络配置下的“数据接口”选项,两块网卡的“应用模式”均选择为“透明网桥”。
3.2 Panabit系统的流量控制策略的配置
(1)分配带宽。
Panabit对带宽的分配有三种模式:即带宽限制,带宽保证,带宽预留。根据我院对网络需求的实际情况,采用了带宽保证模式。下面对带宽保证模式进行详细的说明:首先,带宽保证模式也具有带宽预留模式的功能,即对特定IP组、特定协议预留出足够的带宽。例如教学、办公IP组,教务系统的ITSP协议等。在此基础上,带宽保证在其预留的带宽不能满足应用要求的时候,会从剩余的总带宽里借用所需带宽。例如每学期开学和学期末,学生大量选课,可以对选课系统的SSL等协议进行带宽保证设置。
(2)建立策略组。
可以根据数据包的源地址、目的地址、应用协议等建立策略组。
3.3 系统测试与分析
4 结语
为了提高网络带宽的利用率,使高校校园网络的使用更趋合理,网络流量分析及控制势在必行,同时也是非常有效的手段。互联网飞速发展,网络流量分析及控制也随之快速发展,为高校的教学等工作提供了稳定的网络基础,使教学信息管理系统和教学资源共享平台的搭建更为安全、高效。为高校的信息化教学做出了贡献。
参考文献
[1] 刘剑锋.部署运维管理平台提高校园网运维水平[J].中国教育技术装备,2011(10).
面向服务架构(SOA)将应用程序的不同功能单元包装成“服务(Service)”,通过这些服务之间定义良好的接口和协议联系起来。接口采用中立的方式定义,独立于具体实现服务的硬件平台、操作系统和编程语言,使得构建在各种这样系统中的服务可以使用统一和通用的方式进行通信。这种具有中立接口定义的特征称为服务之间的松耦合。面向服务架构是一种软件体系结构的思想,它需要依赖具体的实现技术。本文采用Web服务分布式管理(WSDM)标准来支持面向服务架构的实现。
为了解决网络环境下管理系统和基础设施的协同工作以及管理集成问题,OASIS组织在IBM、HP、CA等著名公司的大力支持下,于2005年3月推出了Web服务分布式管理(Web services distributed manage-ment,WSDM)标准,对Web Service管理提供标准化的支持,通过使用Web Service来实现对不同平台的管理。
WSDM是一个用于描述特定设备、应用程序或者组件的管理信息和功能的标准。所有描述都是通过Web服务描述语言进行的。WSDM标准实际上是由两个不同的标准组成的,WSDM-MUWS标准以及WS-DM-MOWS标准。
图1是WSDM的工作模式,可管理用户发现这个Web Service端点,然后,通过与端点交换消息,从而获取信息、定制事件以及控制与端点相关联的可管理资源。WSDM规范侧重于提供对可管理资源的访问。管理是资源的一个可能具有的特性,可管理资源的实现是通过Web Service端点提供一组管理功能。WSDM架构不限制可管理资源的实现策略,实现方式包括直接访问资源、用非方法、用管理等,实现细节对于管理消费者来说都是透明的。
WSDM作为一种功能强大的分布式系统集成解决方案,其主要特点如下:
(1)面向资源。WSDM的关注点是资源,因为一个资源就代表了多个Web服务,因此在该标准中,对资源属性和功能的详细描述显得尤为重要。为此,WSDM采用了专门的Web标准(如WS-Resource)对资源相关信息进行定义。
(2)实现分离。由于采用与实现操作无关的WSDL语言定义接口,使得接口与服务实现了分离,所以无论Web服务其内在实现细节如何改变都不会对客户端的操作方式有任何影响。这样做不但较好地封装了管理方法的实现细节,而且实现了对已有资源的重用。
(3)服务的可组合性。WSDM能随着应用环境规模的变化而变化,首先,WSDM标准的自身实现只需定义较少的属性和操作,使得其在小规模的系统中可以得到稳定的应用:其次,对于大规模应用环境而言,WSDM可以随着应用需求的变化灵活地添加某些服务。从而在使用者和部署人员之间起很好的协调作用。
(4)模型的兼容性。主要表现在WSDM能描述和封装任何资源模型(如cIM、SM-NP、SID等),并为其提供相应的Web服务接口。
2 系统设计方案
网络流量采集使用了三种技术:
(1)基于网管设备MIB的SNMP模式;
(2)基于网络探针技术的IP流量数据捕获模式;
(3)基于NetFlow技术的数据流捕获模式。
针对基于SNMP模式,实现基于WSDM的SNMP网关,通过该网关收集SNMP设备上的MIB信息;针对基于网络探针技术模式,可实现基于WSDM的网络探针服务;针对基于NetFlow技术模式,流量数据是通过NetFlow的主动式数据推送机制获得的,网络设备中的NetFlow是通过规范的报文格式将流量数据送往指定主机,WSDM服务提供了接收和传输NetFlow流量数据的功能。
2.1 系统架构
流量监测系统结构可划分为三个层次,即资源层、管理服务层、展示层,如图2所示。
(1)资源层
资源层由提供流量采集服务的分布式流量采集器(WSDM Agent)组成,它们通过调用管理服务层的WSDM Agent注册服务实行自主注册,具备向管理服务层主动汇报、自主管理和主动服务等功能。
(2)管理服务层
管理服务层包括应用组件、服务组件、管理平台以及数据库。其中应用组件是对展示层提供支持的各种
管理服务,包括策略管理模块、WSDM Agent管理模块、流量数据管理模块以及流量分析模块等系统功能实现的模块。服务组件是对资源层的各种WSDMAgent资源的支持,包括安全审计、日志服务、异常服务、自主管理等,主要是管理服务器自主实现的一些功能。数据库部分是应用组件中各模块对应的数据存储。中间层的管理平台是管理服务层的核心,是对应用组件、服务组件以及数据库的支持,包括Web服务、WSDM服务的引擎和API等。
(3)展示层
展示层实现流量状态显示。可以从流量数据库中取得所要查询的网络流量历史信息,也可以调用管理服务层提供的服务触发流量信息更新采集实时的流量数据,还可以通过服务将合法用户的操作信息送到管理服务层。根据用户需求采用图形用户界面将流量态势分析的结果展示出来。可提供多种格式的流量报表。
2.2 流量分析系统设计
流量分析系统是整个流量监测系统的核心。如图3所示,该系统分为五个模块:流量采集模块、数据接收模块、数据传输模块、流量分析模块、数据存储与管理模块。对照流量监测系统架构,流量分析系统结构中的这五个功能模块分别位于总体架构的各个层次。
0.引言
空管信息网络承担着包括OA系统、共享服务以及相关业务系统在内的重要网络业务,提供信息化的同时,给技术保障维护人员带来一定的保障压力。根据相关工作经验及实际实验数据,网络设备端口流量异常是导致故障发生的重要原因,因此,对于网络流量的监控显得更加重要。随着空管信息化要求的逐日提高,网络规模也日益变大,对于网络流量监控的工作也更加繁重。本文从空管网络流量监控的实际情况出发,提出一种基于C#的网络流量监控,能够实现对网络数据进行获取、流量记录与分析。系统在实际运行中效果良好,可以为相关网络监控设计提供一种可行的借鉴。
1.总体设计
SNMP即网络管理协议(Simple Network Management),在TCP/IP协议族中可以对网络进行管理,这种管理既可以是本地的也可以是远程的。而基于SNMP网络协议的本系统,可以实现对网络数据的获取与实时监控的功能,实现上具有通用、实时、多线程、维护性强及扩展性强的特点。实现在数据链路层和网络层上任意节点的数据获取。加之记录功能的辅助,系统能实现在应用层的数据回放,以满足空管安全事件调查以及系统维护对历史工作状况的评估。
SNMP协议中,一个网管基站可以实现对所有支持SNMP协议的网络设备的监控(随着网络技术的发展,目前绝大部分网络设备是可支持的),包括监视网络状态、修改网络配置、接收网络事件告警等等网络监控功能。在实现上主要包括远程文件访问、流量数据记录、流量监视以及系统的IP定位。其中流量监视是系统实现的核心,将在下一部分进行介绍。另外,系统还提供了日志文件记录实现对系统操作、监控数据以及告警信息的记录。
2.C#的实现
对于系统的C#实现,主要采用的C/S模式,因此在系统的实现上尽量简单、快捷、高效为主。因此自定义相关函数与类,在记录数据和日志方面采用文本文件记录。
2.1网络监控类与网络适配类的设计
为了提高系统的模块化程度及软件的封装性,系统在实现过程中定义了两个主要的类。分别是用于网络监控的NetWorkMonitorClass以及网络适配类NetWorkMatch,网络监控类主要实现系统的网络监控功能,而网络适配类则提供了一个安装在计算机上的网络适配器,该类可用于获取网络中的流量。两者功能及结构如下:
在实际工作中网络监控类NetWorkMonitorClass通过定义一个Timer计时器进行计时器时间执行,以每隔2S刷新适配器,并与此同时刷新上传下载速度。与此同时通过ArryList列表定义了所监控设备的适配器以及当前控制的适配器。在构造函数NetWorkMonitorClass()中则通过,定义两个ArrayList(),其中一个(adapterlist)来保存获取到的计算机的适配器列表,一个(monitoradapters)代表有效的运行的适配器列表。
NetAdapterShow ();
Timer = new System.Timers.Timer(2000);
Timer.Elapsed += new ElapsedEventHandler(timer_ElapsedClick);
其中,NetAdapterShow ()为列举出安装在该计算机上面的适配器,具体实现可以通过C#的foreach()语句进行编写如下:
PerformanceCounterCategoryPCCCategory=new PerformanceCounterCategory("Network Interface");
foreach (string InstanceName in PCCCategory.GetInstanceNames())
{
if (InstanceName == "MS TCP Loopback interface")
continue;
// 创建一个实例Net workAdapter类别,并创建性能计数器它
MyNetWorkMatchClassmyMNWMadapter=new MyNetWorkMatch
Class(InstanceName);myMNWMadapter.m_Performance_Down=new PerformanceCounter("Network Interface", "Bytes Received/sec", InstanceName);
myMNWMadapter.m_Performance_Up=newPerformanceCounter("Network Interface", "Bytes Sent/sec", InstanceName);
m_AdaptersList.Add(myMNWMadapter);
}
当然,在类中也定义了StartWorking以及StopWorking等控制函数对类的工作状态进行控制。另外timer事件也通过构造函数进行加入,如上所述。
网络适配类NetWorkMatch则主要计算网络的各种数据,如计算上传速度、下载速度、控制适配器等函数的封装,减少网络监控类的功能耦合度。
2.2具体实现
在窗体加载函数中,系统首先做自我初始化如下:首先定义上述设计的网络监控类,并实例化monitor = new NetWorkMonitorClass();与此同时通过类函数遍历获取所有计算机适配列表,m_MNWMadapters = monitor.Adapters; ,Adapters()为网络监控类封装好的函数。并将函数返回结果通过Items.AddRange()函数将其显示在listbox控件中,以实现友好的人机交互界面。其次,在timer定时器中对选中监控的适配器进行独立监控。至此,系统实现了独立监控与全面监控的所有设计。
3.结语
本文提出一种基于SNMP协议分析的网络监控系统,该系统应用于空管信息网络。在实现过程,主要采用C#进行开发,通过编写自我的网络监控类和网络适配类进行网络数据的流量监控,可以推广应用于信息网络维护工作较为繁重的行业,提供一种智能网络流量监控手段。
【参考文献】
[1]宫婧,孙知信,陈二运.一种基于流量行为分析的P2P流媒体识别方法[J].计算机技术与发展,2009(09).
网络流量性能测量和分析涉及许多关键技术,如单向测量中的时钟同步新问题,主动测量和被动测量的抽样算法探究,多种测量工具之间的协同工作,网络测量体系结构的搭建,性能指标的量化,性能指标的模型化分析,对网络未来状态进行趋向猜测,对海量测量数据进行数据挖掘或者利用已有的模型(petri网、自相似性、排队论)探究其自相似特征,测量和分析结果的可视化,以及由测量所引起的平安性新问题等等。
1.在IP网络中采用网络性能监测技术,可以实现
1.1合理规划和优化网络性能
为更好的管理和改善网络的运行,网络管理者需要知道其网络的流量情况和尽量多的流量信息。通过对网络流量的监测、数据采集和分析,给出具体的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议分布特性,为网络规划、路由策略、资源和容量升级提供依据。
1.2基于流量的计费
现在lSP对网络用户提供服务绝大多数还是采用固定租费的形式,这对一般用户和ISP来说,都不是一个好的选择。采用这一形式的很大原因就是网络提供者不能够统计全部用户的准确流量情况。这就需要有方便的手段对用户的流量进行检测。通过对用户上网时长、上网流量、网络业务以及目的网站数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的交费标准。
1.3网络应用状况监测和分析
了解网络的应用状况,对探究者和网络提供者都很重要。通过网络应用监测,可以了解网络上各种协议的使用情况(如www,pop3,ftp,rtp等协议),以及网络应用的使用情况,探究者可以据此探究新的协议和应用,网络提供者也可以据此更好的规划网络。
1.4实时监测网络状况
针对网络流量变化的突发性特性,通过实时监测网络状况,能实时获得网络的当前运行状况,减轻维护人员的工作负担。能在网络出现故障或拥塞时发出自动告警,在网络即将出现瓶颈前给出分析和猜测。现在随着Internet网络不断扩大,网络中也经常会出现黑客攻击、病毒泛滥的情况。而这些网络突发事件从设备和网管的角度看却很难发现,经常让网络管理员感到棘手。因此,针对网络中突发性的异常流量分析将有助于网络管理员发现和解决新问题。
1.5网络用户行为监测和分析
这对于网络提供者来说非常重要,通过监测访问网络的用户的行为,可以了解到摘要:
1)某一段时间有多少用户在访问我的网络。
2)访问我的网络最多的用户是哪些。
3)这些用户停留了多长时间。
4)他们来自什么地方。
5)他们到过我的网络的哪些部分。
通过这些信息,网络提供者可以更好的为用户提供服务,从而也获得更大的收益。
2.网络流量测量有5个要素摘要:
测量时间、测量对象、测量目的、测量位置和测量方法。网络流量的测量实体,即性能指标主要包括以下几项。2.1连接性
连接性也称可用性、连通性或可达性,严格说应该是网络的基本能力或属性,不能称为性能,但ITU-T建议可以用一些方法进行定量的测量。
2.2延迟
对于单向延迟测量要求时钟严格同步,这在实际的测量中很难做到,许多测量方案都采用往返延迟,以避开时钟同步新问题。
2.3丢包率
为了评估网络的丢包率,一般采用直接发送测量包来进行测量。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。
2.4带宽
带宽一股分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径(通路)中没有其他背景流量时,网络能够提供的最大的吞吐量。
2.5流量参数
ITU-T提出两种流量参数作为参考摘要:一种是以一段时间间隔内在测量点上观测到的所有传输成功的IP包数量除以时间间隔,即包吞吐量;另一种是基于字节吞吐量摘要:用传输成功的IP包中总字节数除以时间间隔。
3.测量方法
Internet流量数据有三种形式摘要:被动数据(指定链路数据)、主动数据(端至端数据)和BGP路由数据,由此涉及两种测量方法摘要:被动测量方法和主动测量方法然而,近几年来,主动测量技术被网络用户或网络探究人员用来分析指定网络路径的流量行为。
3.1主动测量
主动测量的方法是指主动发送数据包去探测被测量的对象。以被测对象的响应作为性能评分的结果来分析。测量者一般采用模拟现实的流量(如WebServer的请求、FTP下载、DNS反应时间等)来测量一个应用的性能或者网络的性能。由于测量点一般都靠近终究端,所以这种方法能够代表从监测者的角度反映的性能。
3.2被动测量
被动测量是在网络中的一点收集流量信息,如使用路由器或交换机收渠数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附加流量和Heisenberg效应,这些优点使人们更愿意使用被动测量技术。有些测度使用被动测量获得相当困难摘要:如决定分缩手缩脚一所经过的路由。但被动测量的优点使得决定测量之前应该首先考虑被动测量。被动测量技术碰到的另一个重要新问题是目前提出的要求确保隐私和平安新问题。
3.3网络流量抽样测量技术
流量统计和分析是网络管理中的一个重要内容,它不但可以及时发现网络流量的过载,攻击等异常情况,还可以对正常流量进行分析,帮助网络管理者了解各种级别的用户对于网络的使用情况,为采用合适的商业模式提供决策依据。
流量透明化的现状分析
随着校园网的规模越来越大,IT服务的完善,网络管理者也会提出以下问题。
一、当前的上网流量占用多大带宽?这些带宽主要谁在占用?这些占用是允许的吗?在WWW访问之外,是不是有大量的FTP等下载?是允许的吗?
二、DMZ区的服务器有多少是内网用户在访问,有多少是外网用户在访问?如果是内网用户访问多,是不是考虑将其迁移到服务器区?外网用户的访问有时间规律吗?
三、外联的服务器是提供特定用户访问吗?哪个访问流量最大?最大流量占用的用户是合法的吗?服务器是否该扩容了?有非法用户访问这些服务器吗?
四、这些关键的业务服务器的带宽够用吗?是不是考虑一台服务器提供多个业务服务或多台服务器提供一个业务服务?除生产业务外,这些服务器是不是还提供其它无关的业务,导致影响性能?谁访问这些服务器更多一些?这些服务器哪个时间段最繁忙?
五、教职工和学生用于的流量分别有多大?用于上网的流量有多大?谁更多地使用互联网?是必要的吗?谁占用的网络带宽最大?这些占用是必要的吗?哪个用户在非法扫描网络?是否有用户提供非法的下载(WWW/FTP)服务?
要解决这些流量问题,不是一件容易的事情,常规的方法有以下几种。
其中一种是网管方式。网管方式通过启动SNMP来获取流量信息。但SNMP只能获取流量的字节数,无法获取字节的构成,更无法获取流量的发起方。该方法可解决流量的分布问题,无法解决流量的构成问题。该方式主要用于设备的管理,而不适用于精细的流量分析。
另外一种是数据包监听方式。该方法是将关注的流量串联到或镜像到分析仪器;通过分析仪器来获取流量的构成和细节。该方法可做到流量的精细化分析,做到2~7层的流量分析,但缺点也很明显,只有在部署分析仪器的地方进行流量分析,如果做到全网多节点流量监控,必须部署多个分析仪器,导致部署成本急剧上升。该
方式可很好解决流量的构成问题,但几乎无法解决流量的分布问题。该方式适用于对少量关键点的监控,不适合大规模日常使用。
最后一种是基于流技术的方式。该方式是让网络设备在转发数据流量的同时,生成特定的流量信息,然后将流量信息发送到特定的分析模块,进而实现对流量的分析。理想情况下,如果让网络中的每台网络设备均发出流量信息,那么就可以轻松解决流量的分布问题,同时解决流量的构成问题。缺点是各厂商提供的流分析技术都是私有技术无法通用。
网管方式无法进行流量构成分析,不再讨论。由于分析仪器的昂贵,监听方式不适用于大规模部署,而且分析到7层应用后,容易使用户隐私受到侵犯。而流技术的分析方式功能均衡而强大,对流量的分析只到业务字节,不涉及应用级,无隐私顾虑。
流技术方式更适合网络流量分析。但由于各厂商之间流技术方式大多采用的是厂商的私有协议,就导致了不同厂商设备在组网后流技术方式不兼容的问题。正是由于这个原因国际化流量监控标准技术IPFIX(IP Information flowExport)应运而生。
校园网流量透明化管理
我校在进行流量透明化管理之前,整个网络接入用户的类型比较复杂,本来就不富裕的网络流量常被消
耗殆尽。在经过几次互联网出口和校园网骨干带宽进行扩容后,情况仍得不到解决,为了搞清楚这些流量都被哪些用户和哪些应用占用了,我们引进了锐捷网络的校园网解决方案,根据国际化流量监控标准技术IPFIX来对校园网的流量使用情况进行审计和评估。
网络透明化解决方案包括流量采样设备、流量采集设备、数据分析处理设备(如图1)。利用IPFIX日志,网络透明化解决方案提供了一种网络监测、分析的方式,直接从支持IPFIX功能的路由器和交换机中收集流量信息,可以灵活启动不同层面(接人层、汇聚层、核心层)的网络设备进行IPFIX流量日志收集,并将收集的内容以IPFIX格式的日志输出给Collerctor设备分析。管理员使用Analyser的分析功能,可做网络使用状况监控、用户行为追踪、异常流量检测等,同时基于功能丰富的报表,可做网络规划方面的决策。(如图3)
主要实现了以下功能。首先是网络得到优化。可以使网络管理员及时掌握网络负载状况,网内应用资源使用情况,对核心网络的重点链路进行统计,各类TOP应用百分比,使用各类应用的网内用户、服务器的流量趋势
及统计值,迅速发现网络当前的使用状况和不同链路的使用率变化趋势,尽早发现网络结构的不合理或网络性能瓶颈,尽快作出网络优化方面的决断,最终实现网络的优化使用。
其次是网络规划参考方面。利用IPFIX流日志以及网络透明化长期监控网络带宽而形成的各类趋势报表,如基于设备接口的长期流量入出趋势,长期流量入出趋势分析,各类应用百分比,有助于网络管理员跟踪和预测网络链路流量的增长,从而能有效的规划网络升级。
第三是网络流量异常监测方面。利用网络透明化解决方案提供的某段时间内的流量、应用趋势分析,可非常直观的看到网络流量是否有突然增长或突然下降的现象,并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。