绪论:写作既是个人情感的抒发,也是对学术真理的探索,欢迎阅读由发表云整理的11篇企业数据存储方案范文,希望它们能为您的写作提供参考和启发。
大数据存储不是一类单独的产品,它有很多实现方式。EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理PB级乃至数十PB的存储容量;具有全局命名空间,所有应用可以看到统一的文件系统视图;支持标准接口,应用无需修改可直接运行,并提供API接口进行面向对象的管理;读写性能优异,聚合带宽高达数GB乃至数十GB;易于管理维护,无需中断业务即可轻松实现动态扩展;基于开放架构,可以运行于任何开放架构的硬件之上;具有多级数据冗余,支持硬件与软件冗余保护,数据具有高可靠性;采用多级存储备份,可灵活支持SSD、SAS、SATA和磁带库的统一管理。
通过与中国用户的接触,杨兰江认为,当前中国用户最迫切需要了解的是大数据存储有哪些分类,而在大数据应用方面面临的最大障碍就是如何在众多平台中找到适合自己的解决方案。
EMC针对不同的应用需求可以提供不同的解决方案:对于能源、媒体、生命科学、医疗影像、GIS、视频监控、HPC应用、某些归档应用等,EMC会首推以Isilon存储为核心的大数据存储解决方案;对于虚拟化以及具有很多小文件的应用,EMC将首推以VNX、XtremIO为核心的大数据存储解决方案;对于大数据分析一类的应用需求,EMC会综合考虑客户的具体需求,推荐Pivotal、Isilon等一体化的解决方案。在此,具体介绍一下EMC用于大数据的横向扩展NAS解决方案——EMC Isilon,其设计目标是简化对大数据存储基础架构的管理,为大数据提供灵活的可扩展平台,进一步提高大数据存储的效率,降低成本。
EMC Isilon存储解决方案主要包括三部分:EMC Isilon平台节点和加速器,可从单个文件系统进行大数据存储,从而服务于 I/O 密集型应用程序、存储和近线归档;EMC Isilon基础架构软件是一个强大的工具,可帮助用户在大数据环境中保护数据、控制成本并优化存储资源和系统性能;EMC Isilon OneFS操作系统可在集群中跨节点智能地整合文件系统、卷管理器和数据保护功能。
杨兰江表示,企业用户选择EMC Isilon的理由可以归纳为以下几点。第一,简化管理,增强易用性。与传统NAS相比,无论未来存储容量、性能增加到何种程度,EMC Isilon的安装、管理和扩展都会保持其简单性。第二,强大的可扩展性。EMC Isilon可以满足非结构化数据的存储和分析需求,单个文件系统和卷中每个集群的容量为18TB~15PB。第三,更高的处理效率,更低的成本。EMC Isilon在单个共享存储池中的利用率超过80%,而EMC Isilon SmartPools软件可进一步优化资源,提供自动存储分层,保证存储的高性能、经济性。第四,灵活的互操作性。EMC Isilon支持众多行业标准,简化工作流。它还提供了API可以向客户和ISV提供OneFS控制接口,提供Isilon集群的自动化、协调和资源调配能力。
EMC Isilon大数据存储解决方案已经在医疗、制造、高校和科研机构中有了许多成功应用。
方案点评
EMC Isilon是一个强大但简单的横向扩展NAS方案,适用于希望投资数据管理而不是单纯存储的企业。当初,EMC将收购来的分布式数据仓库软件厂商Greenplum的软件与Isilon存储组合成了EMC最早的大数据解决方案。用户既可以分开选择Greenplum软件或Isilon存储,也可以选择由Greenplum软件和Isilon存储组成的一体机解决方案。现在,Greenplum软件虽然已归Pivotal公司,但EMC是Pivotal的经销商与合作伙伴,Greenplum与Isilon存储的组合方案并不会因此受到影响。
HDS UCP:统一平台 应用优化
HDS中国区解决方案与专业服务事业部总监陈戈认为,大数据存储应该是一个解决方案:“大数据解决方案是由基础架构的各部件组成的,包含数据存储、计算和分析,而存储是此架构中的一部分。”
大数据的存储类型与传统的存储类型有一定区别:在大数据存储中,更多的应用是一次写、多次读,读得更多是大数据存储的一个特点,而在传统的数据存储中,读写是随机的,由于每个应用不同,其读写的比例也是随机的;大数据存储需要具有横向的可扩展性,并可支持多种接口、多种数据访问协议,便于不同数据进入这个大数据平台。
谈到中国用户在大数据存储应用中最迫切的需求是什么,陈戈认为,中国用户最迫切的需求是如何逐步实现大数据应用,即用户从现有的模式如何过渡到大数据,如何更好地利用大数据进行经营分析。
大数据的经典定义可以归纳为四个“V”,但企业不可能一步到位实现四个“V”,这需要一个循序渐进的过程。海量的、多种类型的数据是一次性全部载入到大数据中,还是通过现有的平台进行数据初选,再导入到大数据平台中,是两种不同的实现途径。“先通过现有平台进行数据初选,再导入到大数据平台,这种方式更适合于客户逐渐实现大数据,可以缩短用户实现大数据应用的时间。”陈戈表示,“大数据主要是非结构化数据。用户可以使用基于对象数据存储的HCP,利用其独特的元数据采集和智能工具,对非结构化文件数据进行管理,实现智能的自动化,这有助于对数据进行深度分析,帮助客户从单一系统中存储、共享、同步、保护、保存、分析和检索文件数据,减少垃圾数据,进而为大数据分析建立一个良好的基础。”
谈到用户在大数据应用中遇到的主要障碍,陈戈表示,一方面,应用软件本身的智能程度是否能满足行业应用需求,应用软件是否已经成型,大数据人才是否具备等,是让大数据应用落地的关键;另一方面,如何抽取数据,放在大数据平台中进行相应的计算是另一个关键问题。
HDS可为所有数据提供单一、可扩展的虚拟化集成平台。HDS推出了“三步”云战略,从基础架构、内容和信息三个层面帮助客户解决目前所遇到的问题。具体来看,通过“基础架构云”,HDS可以帮助客户进行虚拟化和集成管理,实现数据中心的整合;在第二层的“内容云”当中,HDS可以按需提供内容,更可以不受应用限制地进行数据搜索和集成;在第三层的“信息云”中,针对所有数据类型,HDS在其存储平台中融入了分析功能,使客户可以从数据信息中获取洞察力。
HDS提供的UCP for SAP HANA集成了基于大量数据集的创新和内存分析技术,并提供实时的洞察力,从而使当前的信息驱动型企业可以加快其商业决策的速度。陈戈介绍说,UCP for SAP HANA解决方案结合了HDS刀片服务器技术、企业级存储系统和业内领先的网络组件,在这样一个集成的、高性能的硬件平台上可以快速交付SAP下一代内存计算技术。全球已有超过200家客户在使用HDS和SAP的大数据解决方案。
方案点评
其实,HDS的“三步”云战略也可以看成是其大数据战略。HDS借助以UCP为核心的大数据平台,可以帮助企业用户构建从基础架构到内容归档和搜索,直至信息提取和分析的全面、高效的大数据解决方案。HDS的“信息云”直接与大数据相关。UCP是一个集成了计算、存储与网络的一体化平台,它既可以提供像一体机一样的整合性、简单性,又可以提供灵活的选择,连接第三方的设备组件。HDS还通过与包括SAP在内的众多大数据分析类的合作伙伴合作,针对行业定制优质的大数据解决方案。
HP StoreAll :快速部署 极速搜索
中国惠普有限公司企业集团存储产品部存储架构师张楠向记者表示,大数据存储是一套解决方案,应该能够对大数据的Volume、Velocity、Variety和Value四个方面提供全面的支持。
第一,大数据存储要支持海量级的数据存储,比如具有PB级的存储能力。第二,大数据存储要支持更高的存储速度,支持10Gb甚至更高的网络连接。第三,大数据存储要支持数据的多样性,如图片、文本、视频、音频等。第四,大数据最重要的是价值的体现,而为了实现这一点,存储本身应该具备快速、智能的数据检索能力。“在存储的最底层提供最直接、快捷的数据检索。这一过程简单说就是,将上层的数据挖掘工作下移,充分利用存储强大的处理能力和数据识别能力。”张楠举例说,“比如,在秒级的单位内对数据进行极速的搜索, 从几千万甚至上亿个文件中找到目标数据。”
另外,模糊查询能力也是大数据存储不可缺少的功能。智能的模糊查询将为大数据平台提供更加便捷的存储服务能力,使得存储更像一台智能的高速计算设备。
目前,很多中国用户在存储厂商的引导下,片面追求存储的大容量和高性能,而忽略了大数据存储本身应该提供的其他额外属性。中国用户在实施大数据的过程中经常遇到的障碍有以下两方面:第一,无法将存储与大数据平台进行对接;第二,无法充分利用大数据存储的价值,也很难将其运用到实际的业务中。张楠表示,究其原因,主要在于有些大数据存储产品没有开放的接口协议,或没有针对用户的大数据场景进行特别优化,也没有用户容易接受的易用的管理方式等。
惠普在大数据方面可以提供软硬结合的解决方案。惠普在收购Autonomy公司之后,将其软件与惠普的硬件平台进行了整合, 形成了一套完整的大数据解决方案。张楠介绍说,在存储方面,惠普拥有像StoreAll这样的大数据存储平台。借助HP StoreAll硬件平台,用户除了可以实现海量数据的存储和高速数据访问以外,还能实现高级的数据检索功能,对特殊文件进行快速定位。同时,结合HP Autonomy软件的特性,惠普还引入了模糊查询、智能语义库等概念,可以帮助企业用户通过存储底层为上层业务带来所需的大数据业务价值。
如今,闪存不仅在大数据领域,而且在Tier 1存储市场同样占据着十分重要的地位。对于大数据平台来说,闪存可用来提升存储的存取速度,降低I/O的响应时间等。针对那些I/O压力十分明确的大数据平台, SSD可以发挥其效果, 提升存储的整体性能。但是,SSD并不是万能的。因为大部分的数据都是非结构化的,而非结构化数据对I/O的响应要求远远没有对带宽的需求大,所以,让用户花数倍的价格购买SSD存储在目前来看还是比较困难的。从目前情况看,引入闪存的大数据解决方案还不是很普遍。
方案点评
惠普在大数据方面收购了两个软件公司Vertica与Autonomy,然后将它们的软件与原有的硬件平台进行整合,针对结构化和非结构化的数据都可以提供针对性的解决方案。惠普在将大数据软件与存储硬件结合上也进行了尝试,其中一个成功的例子就是HP StoreAll大数据存储平台。HP StoreAll具有以下特点:横向扩展,最大可以扩展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,实现实时大数据的价值;内置对OpenStack的支持,可快速部署;支持文件和对象类型的数据存储。
NetApp:统一架构 无限扩展
如今,企业若想获得成功,就必须想方设法应对具有前所未有的复杂性、高性能的海量数据,并尽可能地管理这些数据,从中发掘更大的商业价值。
对于国内用户来说,无论企业的规模和数据量大小如何,运用大数据的关键在于,企业是否把大数据作为一个真正的工具,去体现企业的差异化,从而提升竞争力。随着越来越智慧的企业信息化的发展,IT不再是束缚企业发展的瓶颈,而是真正地融入了企业自身的业务中。越来越多的公司将大数据成功地运用于企业的商业模式。例如,在欧美,很多企业已经着手将大量资源投放在大数据领域。反观国内,在金融领域,有为数不少的企业通过大数据的分析工具来分析金融的走势,实现风险管理,进行信用卡的追踪等。此外,像零售、制造、电信等行业也已在尝试利用大数据分析工具为企业营销和决策提供支撑。
无论企业现在是否正在使用大数据工具,企业都应全面地考虑自身未来发展的需求,选择一个厂家的平台与之共同发展,这可以有效避免因数据和应用迁移带来的麻烦。
在大数据方面,NetApp能够帮助企业实现数据管理,应对业务挑战的极限,将以数据为导向的洞察转化为有效行动。若想将数据转化为商机,仅仅提升管理能力是不够的,需要彻底转变数据和业务之间的联系模式。NetApp可以帮助企业用户持续管理数据,迅速把握意料之外的新商机,永久保存所有数据,并在灵活、开放的存储平台之上打造属于企业自己的大数据解决方案。
NetApp提供了可高效处理、分析、管理和访问大规模数据的大数据解决方案。NetApp的解决方案组合可划分为分析、带宽和内容三个主要用例,这被称之为大数据的“ABC”基本要素。
具体来看,分析(Analysis)是指针对极大数据集的高效分析。NetApp分析解决方案就是帮助用户深入了解和利用数字世界,将数据转化为高质量的信息,以及提供关于业务的更深入见解,从而帮助企业做出更好的决策。
带宽(Bandwidth)是指适用于数据密集型工作负载的性能。此类解决方案着重于为速度非常快的工作负载提供更高的性能。高带宽应用包括高性能计算(能以极快的速度执行复杂的分析)、用于监控和任务规划的高性能视频流、媒体和娱乐领域中的视频剪辑和播放。
内容(Content)是指无限的安全数据存储。此类解决方案着重于满足可扩展的安全数据存储需求。内容解决方案必须支持存储的无限扩展能力,以便企业可以根据需要存储任意多的数据,并能在需要时找到所需的数据。
NetApp致力于通过一系列解决方案来提供高性能的运算和大数据的应用。2013年11月,NetApp再次更新了E系列家族产品,推出E2700和E5500。该系列产品采用可轻松扩展的设计,适用于要求99.999%的可靠性且稳定、高性能的工作负载。
用户在采购大数据存储产品时,需要注意以下五个方面的问题:大数据存储必须具有向上扩展与向外扩展的能力;架构必须是针对工作负载进行优化的,具有实时处理能力;具有整合的数据保护功能;保证7×24小时运行不中断,可在线进行容量扩展,实施数据迁移等;可以实现服务的自动化。
方案点评
NetApp的技术优势集中体现在其统一存储平台上,从入门级产品到企业级产品,全部基于同一个体系架构和操作系统,不仅部署和使用方便,而且升级和扩展非常简单。当初,NetApp收购LSI Engenio,其中一个重要的原因就是为了大数据。2013年,NetApp不断更新E系列产品线,推出E2700和E5500等。E5500可以支持高IOPS混合工作负载和数据库、高性能文件系统和带宽密集型流等应用,可确保数据的高可用性、完整性和安全性。
曙光XData:高度集成 贴近行业
关于大数据存储,目前业界没有一个通用的定义。曙光信息产业股份有限公司总裁助理兼存储产品线产品总监惠润海从曙光大数据平台和解决方案角度,概括出大数据存储的主要特征。
首先,大数据存储必须支持全类型数据, 包括结构化、半结构化和非结构数据,实现统一数据支持。
其次,存储性能上,一方面,大数据存储要支持海量数据,并且要在保证数据可靠性的基础之上,实现容量与性能的线性扩展;另一方面,为了实现大数据的价值,批处理和实时处理两种措施都需要高性能的数据访问获取能力。
最后,在系统达到一定规模之后,系统的易用性和可管理性也是不可或缺的。
从应用角度来说,目前中国用户在大数据存储应用中最迫切的需求,是如何真正实现用户数据的价值,如何驱动业务发展,实现决策和运营。“从系统构建层面说,要实现数据高性价比的存储和管理,同时满足数据服务的相关需求。”惠润海表示。
针对用户对大数据存储的需求, 曙光推出了像大数据一体机这样的全类型数据分析型产品,同时还基于该产品构建了基于行业的解决方案,以帮助用户实现大数据落地。
“除此之外, 我们还提供了大数据统一数据中心解决方案, 涵盖了像主攻事物处理的DS900、DS800,以及针对文件存储的Parastor等存储产品。我们基于这些存储产品构建了大数据运营管理平台。”惠润海介绍说,“曙光的优势不仅在于可以提供全面的产品支撑,更重要的是能够提供数据生命周期过程服务支持。目前,我们提供的免费维保期限为5年。”
曙光开发了针对不同行业和应用场景的大数据存储解决方案。以金融行业为例,目前国内四大行的应用系统每年产生的非结构化数据量已达到PB级,结构化数据也以百TB计。面对如此大量的数据,如何存储、管理、利用和盘活它们呢?惠润海认为,只有通过商业智能和高级分析应用解决方案才能将数据的价值最大程度地发挥出来。
针对金融行业用户的需求,曙光开发的XData大数据解决方案利用优化的大数据处理技术,对文件管理、历史数据查询和数据分析类应用等进行深入研究,为数据爆炸式增长带来的海量数据存储及分析应用提供高可靠的解决方案。
曙光金融行业XData大数据解决方案采用曙光自主研发的SN-MPP并行数据库,同时结合大数据处理事实标准Hadoop,并充分考虑了多方面的数据收集,加入ETL工具和连接驱动器,提供了类SQL的接口,还和现有金融业务系统进行对接。
产生这一变革需求的原因除了市场需求因素之外,陆续出现的一些困扰数据存储行业发展的因素也是重要原因。在过去,由于用户对存储应用需求的复杂性和个性化,具备整体解决方案能力的厂商占据了明显的市场优势,打造整体解决方案能力也就成为存储业界竞争的焦点。但在网络信息化的新寻求之下,过去那些具备独特优势的厂商很难在“存储设备+网络服务器+软件+服务支持”的整体解决方案框架下提出整体解决方案。其中,高额的成本是最重要的原因。对于很多具有突出专业优势的企业来讲,通过寻求合作降低成本似乎成为惟一的途径。
中国存储市场很长时期以来是电信、金融行业的重点服务对象,其采购量占据了2/3以上。但自2002年开始,更多的行业涉足存储应用,而且从应用的范围看,不仅仅限于传统的备份和容灾,在广度和深度上有更多延伸,如广电的媒体多级存储,监控的视频图像存储,气象、石油和航天的海量数据存储等。而且,随着各企业单位对业务数据保护意识的加强,中小数据规模的用户,如政府、军队、教育、商业、制造业和中小企业等也开始加大了在存储方面的投入。据CCID预测,从2004年开始,五年内中国存储市场会以10%一20%的年增长率递增。2004~2008年中国外部磁盘存储系统市场销售量将以64,4%的年复合增长率快速增长。到2008年,外部磁盘存储系统销售额及销售量分别达到103.3亿元人民币和82436.4TB,存储软件2007年的销售额将接近25亿元。
虽然市场的细分带来了更多的机会,但同样也使得竞争变得更加激烈。事实上,在数据存储“存储设备+网络服务器+软件+服务支持”这条产业链上,并不都是很容易切人的。
高端存储一年考
传统上,高端存储市场一直是国外厂商的天下,中国存储厂商通常会从中低端存储起步,然后慢慢向高端市场渗透。华为存储从进军企业级市场那天就把高端存储当成了奋斗的目标,不断在技术上推陈出新,并且在一些重点行业领域实现了突破。华为IT存储产品线总裁范瑞琦在云计算大会上告诉记者:“我们的高端存储产品正式面市虽然只有一年多,但已经在运营商、公安、金融、税务、电力、大企业、政府、社保、医疗、交通、石油等20余个重点行业实现了突破,累计销售超过70套。”
Gartner的报告显示,2013年第一季度,华为存储取得了中国区出货量第一,全球收入排名第九的好成绩。据范瑞琦透露,在第二季度中,华为存储依旧保持了强劲增长的态势。华为存储整体实力增强的同时,其在一些重点产品线上,比如高端HVS存储、大数据存储N9000等也实现了突破。
在本次云计算大会上,IDC与华为联合了《企业高端存储安全可信白皮书》。IDC在白皮书中建议,企业在选择存储系统时,应重点关注存储系统在硬件架构、数据存储、业务应用三个层面的可靠性。华为高端存储领域经理赵海龙表示:“安全可信、弹性高效是华为高端存储设计的核心理念。从Smart Matrix全冗余系统架构设计到基于全虚拟化设计理念的XVE存储操作平台,再到革命性的RAID 2.0+两层虚拟化数据管理模式、自检测自修复端到端的数据保护机制等。”
在本次云计算大会召开之前,很多业内的记者都在猜测,本次大会上最重要的存储产品是什么?大家一致认为是全闪存阵列。果不其然,范瑞琦在大会上正式了华为首款全闪存高端存储OceanStor 18800F。它具有百万级IOPS、微秒级的稳定时延和“0”硬盘失效率三大特性,此外还具备出色的抗震、抗腐蚀等性能。不过,记者在解决方案展示区没有看到OceanStor 18800F的实物,商业化的产品据说明年才能上市。
大数据存储追求高效
媒资是华为大数据存储解决方案最先落地的行业之一。在本次云计算大会上,华为宣布将与中央电视台共同研发深度节能的大容量存储设备,据称可以比传统设备节省能耗60%~80%。
随着数字化技术的不断完善以及高清电视、IMAX/3D电影、移动新媒体市场的快速增长,媒体的生产者必须及时提供高清化、多样化的媒体节目,而传统以磁带设备为核心的媒资存储平台已经不能满足需求。华为可以为媒体提供以N9000系列存储为核心的大数据存储架构。N9000集海量数据的存储、归档和分析于一体,具有极强的横向扩展能力,可支持超大单一文件系统(最大为40PB),实现非结构化数据的存储与共享。
2013年8月,IBM在国内正式FlashSystem全新闪存解决方案的同时,也首次提出了“数据经济”的概念。在步入大数据时代后,企业用户面对爆炸性增长的数据量,在数据的采集、处理、存储、分析等方面承受着巨大的压力。IBM数据经济理念的提出,让企业用户重新审视现有的数据存储、处置和管理状况,从经济化的角度去考虑如何提升存储的性能、效率,同时降低成本,并充分彰显数据的价值。
刚刚上任不久的IBM系统与科技部存储产品部大中华区总经理黄永志在回答本报记者提问时表示:“我们之所以提出数据经济的理念,主要目的是提醒行业用户应该对当前的数据问题进行梳理,找出数据和存储对业务的影响,使之量化,并按影响程度进行排序。在此基础上,准确定位目前面临的存储问题,进而制定解决问题的近期、中期和远期目标。”现在,IBM可以通过一套系统的咨询方案,帮助行业用户分析并找到数据存储中的问题。不仅如此,IBM还能通过其完整且具有针对性的存储解决方案,帮助用户彻底解决数据存储中的各类问题,并承诺可以在多大程度上让用户的存储系统得到改善。比如,通常情况下,IBM FlashSystem可以将用户的存储系统利用率提高50%,将所需服务器的数量减少17%。
三大业务场景因“地”制宜
11月8日,IBM在北京召开了主题为“创存储之先,领数据经济”的IBM智慧存储“数据经济”会,针对数据密集型业务、需要快速上线的社交和移动等业务,以及企业关键应用三种业务场景,细致地阐述了如何实现数据的经济化,从而推动业务的变革。
在数据密集型业务中,企业需要快速处理海量数据,为业务决策提供支撑,并获取更多商机。只有高效的存储系统才能满足这种业务需求,比如IBM FlashSystem能够显著提升OLTP和OLAP的效率,加快数据处理速度,并支持大量并发用户,而IBM SmartCloud Storage Access则支持软件定义存储,提供自助配置服务和用于ISV应用集成的云存储API,帮助客户更灵活地构建云存储解决方案。IBM高端存储XIV具有极高的性能和自动化功能,并针对云部署优化,还可支持OpenStack等开放标准工具。
该企业有2个厂区,其间通过光纤直连,厂区间直线距离3km。东厂区机房提供核心网络支撑,运行核心ERP系统和PLM全生命周期管理(设计图纸管理)系统,采用存储阵列提供数据存储,其他业务系统有CAPP等,采用服务器自带的存储空间存储数据;目前,西厂区机房运行视频监控、办公自动化和党建系统等非核心业务系统,现有设备使用时间较久。
1.2需求分析
目前,该企业业务系统管理方式较为简单,需要通过存储备份技术提供整理的数据管理提升数据的可靠性、可用性,实现存储资源的容量增加和性能扩展,同时,通过备份系统实现对现有存储环境数据的备份管理,确保数据的安全和可恢复。具体目标包括以下5点:①满足业务系统增长的数据存储要求;②解决数据无法统一规划、分配、管理和性能调优,且存储性能相对较低的问题;③集中的统一存储系统,可使成本降至最低;④解决数据分散存储问题,这样会增加管理成本;⑤对个人电脑上的重要数据进行集中存储管理。
1.3建设目标
通过整体建设考虑,主要建设目标可分为2步实现:①数据存储建设。建设基于存储备份平台的存储系统,将分散、独立的各个平台业务系统组成一个高速存储的SAN网络,集中管理降低了存储资源管理的复杂性。同时,为个人重要数据提供了集中数据存储业务,避免了因电脑损坏或因其他原因导致的数据丢失。②备份系统建设。通过带有重复数据删除技术的虚拟带库结合备份软件进行备份系统建设,可确保ERP、PLM等核心业务数据的安全、可靠,同时,可长期保存该数据,且数据可恢复。
2存储备份系统的设计方案
2.1数据平台基础的架构设计
根据数据存储备份的需求分析进行数据存储系统的架构设计。从目前业务系统的实际情况和未来业务系统的建设规划看,整个核心业务系统中数据访问模式以数据块访问为主。基于此情况,存储备份系统的基本架构应为SAN架构。
2.1.1SAN架构
存储区域网络(StorageAreaNetwork)是高性能的网络,其主要目的是使存储设备与计算机系统连接并通信。在进行SAN架构设计时,应从以下几方面考虑。
2.1.2性能
作为整个信息基础架构的核心基础架构,SAN架构应能满足多业务、大并发时的性能需求,因此,在设计SAN架构时应考虑具备高性能,同时,能支撑多业务并访问的存储系统。
2.1.3可靠性
可靠性是存储系统的必须具备的条件,应提供“99.999%”的可靠性,所有关键的部件都应是冗余配置。从数据保护的角度看,不同的RAID保护机制应可混合使用,以为不同的业务系统提供相应的数据保护机制。SAN网络系统至少应配置2台光纤交换机,以保证数据访问链路是冗余的。
2.1.4可扩展性
好的信息基础架构必须能提供足够的扩展能力,其中,包括性能的扩展、功能的扩展和规模的扩展等。NAS架构是指网络附加存储(NetworkAttachedStorage),是连接到网络并提供文件访问服务的存储系统。
2.2数据存储方案和逻辑架构
在该企业的业务系统中,考虑建立以SAN+NAS为核心的存储系统。考虑未来可能会有新的业务系统增加到现有环境中,因此,需要构建稳定、灵活的存储体系。系统具体包括以下6部分:①光纤交换机。作为核心链接节点存在,东、西区机房都要求有2台冗余配置。②光纤。实现容灾端的连接,连接备份设备,光纤要求有2条冗余设计。③核心存储阵列。作为集中存储、管理的中心存在,满足数据增长的需要。④其他存储阵列。其性能较差、容量较小,作为二级存储设备存储存在。⑤备份服务器。安装备份软件,配置备份策略。⑥备份设备。支持消重技术,保障数据的长期储存。
2.2.1方案描述
SAN存储空间通过2台FCSAN交换机提供冗余互联。SAN存储空间供原有业务系统数据存储,比如将EPR、PLM系统数据迁移到新购的存储设备上,通过新存储优秀的性能,可提高原有业务系统的性能和存储空间;NAS存储空间主要用于个人PC数据资料的统一集中管理,确保数据不因个人电脑故障而丢失。
2.2.2磁盘规划
在本次配置中,考虑根据需求选用SAS磁盘,配置40块10000转的600GBSAS磁盘提供数据存储能力,这样既能保证关键业务的快速响应,也能确保最优的性价比。
2.3数据备份方案
硬件采用虚拟磁带库设备接入SAN网络作为备份设备。此外,采用备份软件可实现对所有备份主机系统的备份管理。以下针对不同的业务类型展开备份策略设计。
2.3.1数据库类数据备份每周1次全备份,本周内其他时间每天进行1次增量备份,备份数据保留6个月。
2.3.2应用程序类数据备份每月进行1次全备份,备份数据保存3个月。
2.3.3配置文件类数据备份每月进行1次全备份,备份数据保存3个月。
一、存储技术概述
传统的存储技术,如磁盘、光盘等已经不能满足处理海量数据的需求,需要有一个前瞻性的存储体系架构来保证业务的快速增长。在这种背景下,网络存储技术应运而生。该技术主要利用网络技术实现数据的异地存储,即数据不直接存储于服务器本地硬盘上,而是通过网络保存在服务器可访问的专门设备上。
技术上比较成熟的3种主要存储方式是摘要:直接附加存储(DAS)、网络附加存储(NAS)和存储区域网络SAN。几种存储方式特征各异,应根据不同的需求来选取不同的存储技术。
二、从应用角度出发,以数据为中心的存储
建立存储系统的目的不过乎数据治理、数据利用和数据保护3个方面。
就数据治理能力而言,NAS具有一定的上风,主要在于安装、配置的方便快捷。
在数据利用方面,SAN的速度占有上风,NAS略逊一筹。SAN结构中专门面向高性能存储要求而开发的光纤通道协议非常优秀。和传统存储协议SCSI相比,光纤通道技术在带宽、连接能力、I/O性能、连接间隔、扩展能力等方面都有明显上风。而且,光纤通道技术支持交换式连接,可以构建类似传统以太网结构的系统,具有很强的扩展能力。而NAS结构的数据传输途径是传统以太网协议,不是专门针对存储数据要求的。
一般来说,NAS适用于工作组级和部分级的存储,或者是用于诸如Web服务那样需要高效存取文件的环境。NAS解决方案是低本钱、易安装的点式方案,适用于长间隔的小数据块传输。而SAN解决方案则是企业规模的方案,要传送大量的数据,需要非常先进的计划,而且采用光纤通道(FC)技术和SAN治理软件,可应用于关键任务,基于交易的数据库应用处理。用户在选择存储系统结构时,可以从实际情况出发,选择采用SAN或NAS作为基本系统结构。SAN是目前公认的最具有发展潜力的存储技术方案,就发展趋向而言,在应用层面SAN和NAS将实现充分地融合,SAN提供速度,NAS提供由文件处理带来的协作性,它们的结合将是非常完美的关键存储系统的解决方案。
在数据保护方面,SAN 和NAS 结构都具有非常好的数据保护能力。它们都可提供冗余结构,实现高效率的数据备份和远程容灾。一般来说,用户的数据在网络中较为分散时,适合采用SAN的方式实现高效的存储和备份。
三、石油企业对数据存储的要求
由于石油企业其业务的非凡性,数据存储系统要满足几个要求摘要:
(一)海量存储能力。地震勘探、测井解释等生产和科研数据都是海量的,因此必须拥有大容量甚至超大容量的存储系统。
(二)足够的数据传输能力,保证不同用户对数据的不同需求。
近年来,镇江供电公司企业信息化不断深入发展,部署了大量的计算机设备、业务应用系统,网络资源已经几乎布署到了每一个专职岗位。随着这些应用的不断完善,大量的业务数据和个人文档需要备份,这样,数据存储的矛盾就日渐突出。在很多情况下,计算机存储的数据丢失可能演变成一场灭项之灾。因此信息存储系统的可靠性和可用性,数据备份和灾难恢复能力是计算机网络用户首先关心的问题。网络数据存储技术的主要目标就是要实现数据存储的安全性、高效性、可靠性、可管理性以及快速恢复能力和强大的网络特性。存储备份技术不仅仅指数据的简单备份,而且还包括内容及备份的管理等多方面。
1、网络存储技术
网络存储技术是基于数据存储的一种通用网络术语。网络存储结构大致分为三种:直连式存储(DAS):这是一种直接与主机系统相连接的存储设备,如作为服务器的计算机内部硬件驱动。到目前为止,DAS仍是计算机系统中最常用的数据存储方法。存储网络(SAN):SAN是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作SAN的接入点。在有些配置中,SAN也与网络相连。SAN中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机,是SAN中的连通点。SAN使得在各自网络上实现相互通信成为可能,同时并带来了很多有利条件。网络存储设备(NAS):NAS是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有IP地址,所以客户机通过充当数据网关的服务器可以对其进行存取访问,甚至在某些情况下,不需要任何中间介质客户机也可以直接访问这些设备。
2、Wallstor网腾WIP6系列IP SAN存储系统
Wallstor WIP6系列网络存储采用一体化NAS/IPSAN/FCSAN设计,支持多功能模块,便于用户按照自己的环境要求选用合适的功能,该存储性能突出,易于管理,安装简便,能够真正做到即插即用。Wallstor存储系统基于成熟稳定的嵌入式Linux系统,高性能的四核心xeon架构平台,纯64位设计体系,通过对Linux内核及rootfs的精简和对RAID算法、存储协议栈、网络协议栈、文件系统的大量优化,可以满足普通中小企业的数据存储需求。
3、镇江供电公司信息化建设在数据存储和数据安全方面的需求
大容量存储:信息集中化的发展必然带来大量数据的集中,因此,存储容量的需求是非常巨大的。尤其是高效、可靠、可管理的存储硬件和软件,能够满足服务器数据集中、个人文档数据集中的存储。
数据备份系统:业务应用数据作为镇江供电公司信息系统的核心,对数据进行集中地备份管理、显得尤为重要。因此,需要一个全方位、多层次的备份系统。
4、实施解决方案
为解决镇江供电公司信息化发展过程中大量的业务数据和个人文档的数据备份矛盾,我们在设计存储系统时,充分考虑了系统基本功能的实现和它们的伸缩性、扩展性和集成性方面的需求,进行了系统的设计,具体拓扑图如下:
存储方案设计:经过对多个存储设备方案的分析、比对,我们最终决定存储设备选用Wallstor网腾WIP6系列IP SAN存储系统,客户端使用FTP、CIFS、ISCSI target盘等各种网络协议,通过高速传输端口进行各类数据的上传、下载。对于重要数据,可以进行权限管理以及分级权限管理来保护,增加其数据的安全性。Wallstor网腾存储系统具有以下特性:
存储系统能够支持多种RAID算法,保证系统数据的安全可靠;支持CIFS,NFS,AFP,iSCSI,WebDAV等各种网络存储协议;针对文件系统、块设备、RAID算法以及网络协议栈做了多种优化,可达到超高的存储性能,在大规模监控应用领域可以满足几百路码流同时写入;无需复杂且耗时的安装过程,将硬件安装完成后,直接开机即可运行,通过浏览器进行配置和管理;内置专业备份软件,支持Windows,Linux文件备份,操作系统备份,各种数据库备份,可以为您提供整套的存储备份解决方案;内置文件系统检测和恢复工具,可以在文件系统损坏的情况下对文件系统进行最大程度的恢复。
备份方案设计:我们在备份方案的设计上为用户提供了完全备份、差异备份和增量备份三种备份方案。完全备份:备份全部选中的文件夹,并不依赖文件的存档属性来确定备份哪些文件。在备份过程中,任何现有的标记都被清除,每个文件都被标记为已备份。换言之,清除存档属性。差异备份:备份自上一次完全备份之后有变化的数据。差异备份过程中,只备份有标记的那些选中的文件和文件夹。它不清除标记,也即备份后不标记为已备份文件。换言之,不清除存档属性。增量备份:备份自上一次备份(包含完全备份、差异备份、增量备份)之后有变化的数据。增量备份过程中,只备份有标记的选中的文件和文件夹,它清除标记,既:备份后标记文件,换言之,清除存档属性。
5、总结
信息时代的核心无疑是信息技术,而信息技术的核心则在于信息的处理与存储。由于越来越多的信息变成了电子信息,特别是计算机网络应用的迅速增长更大大增加了对信息存储产品的需求量和对信息备份技术的安全性、可靠性的要求。因此,在镇江供电公司信息化建设的进程中如何实现有效的存储、交流、管理和备份数据无疑是决定公司信息化成败的关键。在网络存储备份技术日新月异的今天虽然新概念,新技术层出不穷,但是只有结合镇江供电公司自身的特点,找到最适合公司发展需求的技术途径才是根本。既不可以盲目跟风新技术,也不可以对数据增长带来的需求视而不见。
参考文献
[1]吴海涛.网络电气自动化发展[J].中国高新技术企业,2012,14:42-43.
[2]张丽萍.基于XML的多数据库系统集成数据模型[J].低压电器,2013,24(7):23-25.
中图分类号:TP39文献标识码A文章编号1006-0278(2015)12-151-01
存储即服务的概念不断深入人心,云存储作为云计算概念的发展和延伸得到了快速的发展。云存储是一种全新的存储服务模式,有效地整合了大规模的存储资源并把存储以服务的形式提供给用户。云存储实现了合理的数据存储和高效的数据管理,有效地减轻了用户对数据存储和管理的负担,同时也降低了用户的开销。随着云存储服务和研究的不断深入,政府部门和企业数据外包服务等应用成为云存储应用的重要部分。
随着云存储技术的快速发展,数据安全问题得到了产业界和学术界的广泛关注。绝大部分用户希望在不损害数据原有安全性的前提下使用云存储服务。针对云存储中数据保护需求,研究者开始采用密文访问控制机制来保护数据在存储和共享过程中的安全。然而,在云存储中采用密文访问控制机制会较为明显地增加用户使用开销,降低用户访问云存储的效率。特别是当数据共享规模大、用户属性较少、访问权限变更频繁、数据访问集中时,采用密文访问控制机制会明显增加用户访问云存储的延时。如何有效应对密钥分发复杂、权限撤销开销大、用户资源受限等挑战,降低采用密文访问控制机制的额外开销,是云存储数据安全保护研究中亟待解决的关键问题。
一、密文访问控制的基本应用场景
数据所有者主要负责数据加密和密文分发操作,数据一般采用对称算法加密后托管到云端,然后通过安全信道或其他可靠手段将密钥分发给授权的数据使用者。数据使用者从云存储中取回数据后解密使用,采用不同密文访问控制技术时的解密密钥获取过程不尽相同。云存储服务提供商只需要提供相应的数据存储能力,响应数据读写请求即可。系统管理员负责配置云存储服务,完成密文访问控制机制初始化,管理维护系统用户的身份证书。
二、简单个人用户密文访问控制实现方案
用户将数据加密后存放到云存储中,使用时取回数据并解密。简单个人用户很少需要共享数据,因此可以简化密文访问控制过程,降低用户开销,简单个人用户密文访问控制实现方案的基本流程,如图1所示。
三、总结
本文在深入分析云存储中数据安全防护需求的基础上,综合现有密文访问控制技术和新型密码技术,提出了云存储中密文访问控制模型的数学描述,并分析了影响模型性能的主要因素。然后分别针对简单个人用户、社区个人用户和企业用户,给出了模型的多种不同实现方案。其中,基本密文访问控制方案能够为简单个人用户的数据云端存储和共享过程提供简洁、有效的保护。基于本地的云存储访问效率优化技术。企业用户使用云存储时具有数据量大、共享频繁、访问相对集中等特征,如果简单地采用密文访问控制机制来保护数据存储和共享安全,则会降低云存储的访问效率。基于本地的云存储访问效率优化技术,能够在企业已有计算、存储资源上部署本地,然后通过本地来代替员工完成密文访问控制相关操作、并缓存频繁访问的数据,最终有效地降低采用密文访问控制机制对企业用户的影响。以上研究成果针对云存储数据安全需求,在保证数据安全的前提下提升了密文访问控制机制的效率,促进了密文访问控制技术在云存储数据安全保护中的进一步应用,具有一定的理论意义和实际应用价值。
参考文献:
[1]李家治.云存储中基于属性的密文检索与访问控制[D].华东师范大学,2015.
引言:云计算在当今互联网信息时代的普及具有必然意义,尤其是近几年,越来越多的学者研究人员开始对云计算应用至各个领域的理论效用进行研究探讨,同时受到多领域多行业的关注与应用。数据的存储便利与庞大含量是云计算数据存储的最大特点,企业与个人更多地开始采用云存储进行数据储存,安全问题是人们唯一注重的问题,因此,本文针对安全数据库的构建,提出了对称加密与非对称加密的结合加密法,实现对数据的安全存储。
一、云计算的概念与数据安全存储分析
1.1云计算数据存储概念
云计算的发展基于互联网信息服务业的发展,云是对互联网庞大信息量的比喻说法,云计算的服务资源内容包括网络、服务器、存储、应用软件等。云计算的出现是继上世纪八十年代电脑客户端-服务器改革后的又一大重要革新[1],云计算的数据存储,即云存储是近几年提出的基于云计算的延长概念,通过集群应用、网络技术等功能,将互联网中大量的存储设备进行统一调动服务的系统,能够及时对外提供数据存储或业务访问。在存储服务功能中,安全性是最受关注的,云存储通过分散性系统实现存储系统的整合建立在一定程度上要经得住安全考验,才能最大程度得到运用。
1.2数据安全存储分析
云计算的数据存储便利性为人们的日常工作减轻了很大的负担,有效地推动了互联网信息大数据时代的发展进程,由于云计算受到许多大型企业、专业机构、国家机构等广泛应用,因此,数据的安全性问题至关重要。大型企业的应用中一旦出现数据被盗、数据被破坏等情况,将会导致企业机密的泄露,造成严重的经济损失与不良的社会影响,也会给云计算的数据存储带来严重打击,制约云计算的发展[2]。云计算应用的是分布非常广泛的网络,从某种意义上讲,世界上每一网电脑都是云计算的终端节点,所以,一旦缺乏严密的安全保护,所有节点都可以随时进行数据的访问与盗取,这种节点的广泛性是云计算最大的弊端,主要表现在数据的传输过程、恢复过程或长期储存上。
二、云计算环境下的数据安全存储中心构建
就目前国内的云计算数据安全存储中心构建方案来看,采用的都是数据加密算法,通常由对称加密算法与非对称加密算法两种类型,一般对称加密算法的应用范围比较大,相比较非对称加密算法,这种加密方式更便于安全数据中心的构建,因此往往被应用于数据量比较大的数据传输加密[3]。而非对称加密法最大的特性在于能够将加密与解密进行区别设计,两相独立,增加了稻莸陌踩性。运用加密法构建安全的数据存储中心有以下两个方面:
2.1加密方案
本文站在安全最大化的角度,运用对称加密与非对称加密结合的方式进行安全中心的构建。在数据加密过程中,首先利用对称加密算法进行密钥生成,随之会产生相对应的安全信息校验密钥,接着利用非对称加密法将该安全信息校验密钥进行加密,如此一来,数据等于被上了多道锁,将进行过加密算法处理的数据信息与对称加密算法的密钥同时交给用户,实现数据最大化安全。在进行数据加密过程中,可以把数据量比较大的数据进行对称加密算法加密,对数据量较小的数据进行两者结合的加密形式,即对称加密后用非对称算法进行有关密钥的再次加密,将两种密钥与数据共同存储在云存储中心,客户只需对非对称加密的解密密钥进行保存即可。
2.2解密方案
解密过程需要用户利用非对称加密算法的密钥,将对称算法的密钥进行解密,进而得到初始密钥,在利用初始对称算法进行解密即可获取数据信息。这种看似简单的对称与非对称加密算法结合的加密形式,其实具有非常复杂的内涵,通过对两种算法的充分利用,能够有效避免单一算法的不足给用户数据造成泄露或损坏,基于密钥安全的情况下,通过利用非对称密钥进行小数据对称加密算法密钥的校验信息进行加密,能够彻底解决云计算中数据存储安全的问题。
三、结束语
随着云计算技术被广泛应用于各个领域与行业,云计算的数据存储,即云存储受到人们的关注与追捧,企业与个人开始热衷云存储,摒弃了传统容量有限的数据存储方式,同时人们也开始注重云存储数据安全性问题,通过对数据进行对称加密算法与非对称加密算法的结合,达到了对数据终极安全保护的目的,消除了用户的心理担忧,为云计算的数据存储发展起到重要推动作用。
参 考 文 献
智能化ISCSI解决方案 终极无忧
存储技术经历了直接连接存储(DAS)、整合的趋势(其整合趋势包括用NAS文件服务器合并)、SAN存储区域网三个过程。
光纤通道是最常用的SAN技术,FC(光纤通道)最初的发展是为解决并行SCSI磁盘阵列的边线问题,最终,业界在SAN应用上扩展了该项技术,FC在今天还提供了极好的共享存储的解决方案。然而, 尽管有这么多优点,实际部署的FC数目还是很少。为什么呢?
首先, 对于大多数组织来说, 部署和扩展一个FC SAN非常昂贵. 在一个光纤通道环境里, 适配器、交换机和将SAN连接到一起的光纤跳线都是非常昂贵的, 使那些大部分的主流市场力不能及。另外, FC SAN的部署和维护都是很复杂的, 需要一些特殊的IT专家,而DAS和NAS则不需要.由于FC SAN的复杂性, 需要一些昂贵的软件来简化和自动化一些操作, 特别是更大型的部署。
智能化的iSCSI解决方案,是基于下一代的存储设计,来处理企业和技术方面的问题。
因特网SCSI, 或者iSCSI, 将古老的SCSI块级协议与最广泛使用的以太网技术联合起来,形成了一个具有以太网的经济性、熟悉架构的高度灵活SAN技术,既有IETF标准的采纳, 又有微软和CISCO等国际IT供应商的支持, iSCSI很快就成为了一个可选择的成熟的SAN技术。
深圳电信提供的存储服务解决方案,是以经营管理数据为核心,为数据中心用户推出在线磁盘的存储服务,在线或离线磁盘备份和恢复服务(需定制),存储区域网SAN管理及容灾备份解决方案等,这些服务为客户提供了无忧的存储解决方案(参见上图)。
该方案采用基于ISCSI技术的IP SAN存储产品 BS3000系列存储阵列作为提供存储服务的设备。BS3000直接通过铜缆双绞线接入千兆以太网络,所有需要直接访问存储设备的主机直接通过IP存储区域网络来访问 BS3000存储阵列。存储区域网络采用私网IP地址以确保安全性。IDC机房以外的服务器需直接访问 BS3000存储阵列,则要通过直接专线与存储区域网络相联或通过VPN的方式与存储区域网络联接。
数据安全问题不再是可有可无
随着城市产业信息化的发展,企业及政府对IT系统的依赖程度越来越高,数据安全已成为人们备受关注的话题,由于缺乏足够的技术资源来维护自身的存储系统,自9.11灾难发生后,危机意识无一不成为企业思考的问题。
大型企业如金融服务公司由于数据敏感性和自身的实力,独立创建、运营自已的容灾备份中心实现业务持续性,只不过是吹灰的功夫。但对于那些掣肘于技术、资金的中小企业,既要资金拓展市场,又要为信息建设与存储投入大量的物力、财力,面对企业信息化问题―“爱也悠悠,恨也悠悠!”。
据我们对相关企业的走访了解,自建数据容灾中心意味着购买更多的主机、存储设备和相应的软件等,高昂的投资代价成为中小企业如鲠在喉的心病。随着存储技术的发展、虚拟化、IP存储以及更加丰富和强大的软件功能的应用,灾备中心的建设也不拘一格,出于性价比考虑,越来越多的企业或机构已开始采取将其数据备份业务外包给专业的存储服务商。
据深圳电信IDC中心技术部的专家介绍,当前企业的海量信息存储手段主要为以下两种方式:一是自建,二是租赁,极少数跨地区企业两者兼而有之。由于企业运营现实的压力,80%的企业都采取了后者,单独为企业提供数据存储服务的专业公司也就应运而生,即存储服务提供商SSP(Storage Service Provider)。如深圳电信推出的无忧备份存储服务,便是专业SSP的行业典范。
无忧存储 无忧服务
【深圳电信】是国内IDC行业领先的数据存储综合服务提供商之一,拥有华南地区最高等级电信级标准IDC专业机房共计五个,总面积达5000余平米,装机容量可达62000余台以上。
IDC中心机房的负责人告诉我们:深圳电信IDC拥有华南地区最高等级的专业机房,现以正式通过ISO27001标准认证,机房内部严格按照国家AA级机房标准提供配套服务及设施,整体抗震级别为8级,供电系统采用不间断电源供应及智能冗余备份UPS系统,确保稳定的系统运行。
严密的智能监控系统、冗余线路保证高速可靠的干线连接等雄厚的实力设施配备及安防资源为用户提供一个坚不可摧的存储安全环境。
专业的存储解决方案提供商―创新科存储技术有限公司,其存储方案在金融、电信、银行、证券、广电等行业有着广泛的应用,凭借其专业的技术研发和支持团队,可为用户提供一个全面的存储、备份解决方案。
与自建存储系统方案而言,深圳电信的无忧存储服务主要有以下四个方面的优势:
1)减少企业的存储投入成本,企业自建数据容灾中心从购买主机、存储硬软件设备到机房安全防卫系统的资源建设都要占据企业IT投入资本的40~50%,而采用直接租用深圳电信成熟的体系及管理维护,能为企业节省将近20~30%的经营成本。
中图分类号:F224.33 文献标志码:A 文章编号:1673-291X(2008)02-0091-02
一、网络存储技术
存储网络主要有NAS(网络附属存储)和SAN(存储区域网络)两种。两者的共同点在于均以存储设备为中心,可实现存储设备的共享,集中式存储便于管理。不同之处在于两种存储网络在网络连接、数据访问控制等方面。可根据不同的应用环境选用不同的存储网络。
(一)NAS(网络附属存储)
网络附属存储(Network Attached Storage-NAS)是采用独立于PC服务器,单独为网络数据存储而开发的一种文件服务器,它提供了一个简单、高性价比、高可用性、高扩展性和低总拥有成本(TCO)的网络存储解决方案。
NAS中最关键的是一台专用于数据存储设备管理和数据存储的文件服务器,该服务器一般安装了一个简化的操作系统,配备了需要的一些组件,可直接通过IP以太双绞网线连接在原有的企业网络上,作为网络的一个节点存在,服务器与工作站都可通过网络访问NAS服务器。
NAS数据存储是基于局域网设计的,是部件级的存储方法,具有很多的优点,但其缺点是存储性能较低,使得NAS只适用于较小的网络规模或者较低数据流量的网络数据存储。因此,对于处于企业业务核心层的网络财务数据存储系统而言,NAS所提供的数据存储服务存在单点故障,不能很好地满足网络财务数据存储的要求。
(二)SAN(存储区域网络)
存储区域网络(Storage Area Network-SAN)是建立在存储协议基础之上的可使服务器与存储设备之间进行“any to any”连接通信的存储网络系统,是将所有的存储设备单独通过光纤交换机连接起来,形成一个光纤通道的存储网络。采用SAN可以实现在信息系统中的任何服务器、任何阵列子系统、任何磁带系统之间的互连;采用SAN可以建造一个存储池,实现多服务器共享一个磁盘阵列子系统、共享一个自动带库,实现数据的共享和集中的管理。
由于SCSI技术在带宽、安全性、连接柔韧性方面的局限,人们开发了一种新的通道技术―光纤通道技术,借助光纤通道技术优势可以实现以前无法或很难实现的应用模式。光纤通道技术被广泛采用不仅仅是因为光纤通道具有更高的带宽、更长的连接距离、更好的安全性和扩展性,而是光纤通道技术很好地融合了通道技术和网络技术的优势,利用光纤通道可以创造一个有别于以前的LAN的存储区域网络SAN。
在分布式存储的计算环境中,各个信息中心是相互独立的计算孤岛。用户进行备份、数据同步、集群计算时数据将通过网络进行传送,这样将会对网络产生很大的带宽压力,用户进行数据的管理也将是复杂的。
采用SAN可以实现在网络财务环境的公司信息系统中的任何服务器、任何磁盘阵列子系统、任何磁带系统之间的互连。采用SAN可以建造一个存储池,实现多服务器共享一个磁盘阵列子系统、共享一个自动带库,实现数据的共享和集中的管理,因而更适用于数据流量较大、系统可靠性要求高的网络财务数据存储系统。
二、网络财务数据存储系统设计
(一)网络财务数据存储系统设计原则
1.集中化的数据存储架构。存储架构能够适应数据存储系统建设目前及未来存储容量的需求,又能够对存储资源进行集中化管理和利用,为系统提供一个集中、安全、可靠的存储环境。
2.高I/O、高性能的存储架构。生产数据存储系统的核心应用不但需要集中的存储系统支持,即同时连接多台服务器,而且必须兼备很高的I/O性能才能胜任。整合SAN采用2GB的带宽。
3.可保护投资的存储架构。存储系统的结构是十分重要的,除了可以应对存储硬件设备的升级速度外,还必须考虑到对前期存储设备的投资保护,在保证不断提供功能和性能提高的同时,存储架构在较长的时间内能够保持相对稳定。
4.高可用性与高数据安全性。数据安全是系统核心应用的最终保障,必须能够保证7X24小时运行,存储系统必须有高可用性,以保证应用系统对数据的随时存取。
5.可扩展/升级性。结合生产数据存储系统的数据量增长情况,存储系统必须有强大的扩展性来满足这种高速发展的要求。要求该网络备份系统可以方便地扩充,支持更多的用户及应用;也要求随着存储、备份需求的不断提高,网络备份系统可以进一步升级,可以满足现在乃至未来较长一段时间内的增长需求,保护现有的投资,具备支持目前及未来关键应用的能力。
6.易于管理和维护。数据中心的核心是数据存储,所以存储设备的数据分类和管理功能十分重要。为了提高系统管理的效率、管理的安全性,存储系统必须有便于使用的存储管理工具。
网络存储系统涉及多台主机服务器、大容量磁盘阵列等存储设备以及各种光纤存储域和网络连接设备,所以为了保证系统良好运转,需要系统具有良好的可管理性,备份系统要有监测、故障诊断、远程管理等功能,以便于系统的管理和维护。同时在产品选型方面应尽可能选取集成度高、采用模块化通用设计的产品,以便于管理和维护。
(二)网络财务数据存储系统构架
1.网络财务数据存储系统拓朴图
如图所示搭建的基于SAN的冗余的基础存储架构,通过配置两台光纤存储交换机,一台全光纤磁盘阵列,在每台服务器上面加装两块2Gb的HBA。保证了每台服务器到磁盘阵列有两条冗余的存储链路,避免了SAN传输系统中可能存在的单点故障问题,保证了传输系统的高可用性,在主机层面接入了4台服务器,包括web服务器、ftp服务器以及两台集成业务服务器,对于关键业务通过双机系统实现业务数据的双机热备份,以保障网络财务数据的高可用性和可靠性。