绪论:写作既是个人情感的抒发,也是对学术真理的探索,欢迎阅读由发表云整理的11篇云计算技术及其应用范文,希望它们能为您的写作提供参考和启发。
中图分类号:TP393文献标识码:A文章编号:1009-3044(2012)18-4360-03
云计算是近年来出现的一个热门概念,也是未来互联网发展的方向。从狭义上看,云计算是一种动态的、易扩展的且通常是通过互联网提供虚拟化资源的计算方式。从广义上看,云计算是一种以互联网为中心的面向应用的服务,用户不需要了解云内部的细节.也不必具有云内部的专业知识或直接控制基础设施,便能使用的相关资源。云计算包括基础设施即服务(Infrastructure as a Service,简称IaaS),平台即服务(Platform as a Service,简称PaaS)和软件即服务(Software as a Service,简称SaaS)以及其他依赖于互联网满足客户计算需求的服务类型。云计算服务通常提供通用的通过浏览器访问的在线商业应用,软件和数据则存储在服务器上。
图1云计算的组成
2.1基础设施
云基础设施,即IaaS。是计算机基础设施,通常是虚拟化的平台环境。作为一项服务,具体应用例如:Sun公司的Sun网格、亚马逊的弹性计算云。它通过将服务器端强大的计算能力单位化,来为个人用户提供PC机无法实现的海量数据计算服务。
2.2存储
云存储涉及提供数据存储作为一项服务,包括类似数据库的服务,通常以使用的存储量为结算基础。它既可以交付作为云计算服务,又可以交付给单独的数据存储服务,具体应用包括亚马逊简单存储服务和Google的BigTable服务。通过云存储,由云端为用户提供数据的备份和安全性保障,用户可以在任何地点任何时刻进行数据的存储和读取操作。
2.3平台
云平台,即PaaS,直接提供计算平台和解决方案作为服务.以方便应用程序部署和开发,从而节省购买和管理底层硬件和软件的成本。比如Google的应用程序引擎(Google AppEngine)可以让开发人员编译基于Python的应用程序,并免费使用谷歌的基础设施来进行托管。这种在云端的开发平台为编程人员提供了快速开发网络应用程序的途径,同时免去了繁琐的服务器搭建、维护等工作。
图3GFS架构
3.3分布式计算
由于云计算系统中的计算单元分布在不同的地理区域,为了有效的利用这巨大的运算能力,传统的编程方式已不适用,而要采用分布式计算模型。当前Map/Reduce模型在云计算系统中的使用最为广泛。
Map/Reduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”,以及它们的主要思想,都源自函数式编程语言和矢量编程语言。Map/Reduce为编程人员进行分布式并行编程提供了一个框架,使得自己的程序可以方便的运行在分布式系统上。
Map/Reduce编程的实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对中的每一个共享相同的键组。
简单说来,一个映射函数就是对一些独立元素组成的概念上的列表(例如,一个测试成绩的列表的每一个元素)进行指定的操作(例如,如果发现所有学生的成绩都被高估了一分,就可以定义一个“减一”的映射函数,用来修正这个错误)。事实上,每个元素都是被独立操作的,而原始列表没有被更改,因为这里创建了一个新的列表来保存新的答案。这就是说,Map操作是可以高度并行的,这对高性能要求的应用以及并行计算领域的需求非常有用。
中图分类号:TP29 文献标识码:A文章编号:1007-9599 (2011) 06-0000-01
Enterprise Applications Analysis of Cloud Computing and Cloud Storage Technology
Cai Han
(China Shipping,Xiamen361006, China)
Abstract:Cloud computing use the Internet as computing platforms,
will be more widely involving mass data processing tasks.Mass data processing refers to the large-scale data analysed and calculated.In the Internet age,the Internet data statistics and analysis of many is mass data level for corporate data storage,provides an important service.This paper analyzes the application of cloud computing,introduces the types of cloud computing infrastructure,in-depth analysis of the cloud computing and the relationship between the enterprise applications.
Keywords:Cloud computing;Cloud storage;Enterprise application
云计算技术带来了IT技术领域的重大变革。它极大地降低了企业的IT建设及运营维护成本,降低了能源消耗,大大加快了企业信息化建设进程。云计算与互联网的结合也催生了IT商业模式的革命,使得越来越多的公司不再购买和维护软硬件,而是从亚马逊等公司租用计算、存储、网络资源以及IT服务,使得企业实现信息化变得像获取自来水一样方便、廉价。
一、云计算的应用类型
目前流行的几种基于云计算的应用类型。这些应用分为三层或三类,分别是平台或基础设施方面的应用、业务应用和业务服务。基于平台的应用主要集中在为用户提供存储服务(云存储)、计算能力(计算云)、数据库服务(云数据库)。云存储是一种基于网络的数据存储模式,数据被存储在多种虚拟服务器上,通常由第三方的组织来管理,而不是用专门的服务器来管理。数据托管公司运营大型的数据中心,用户通过从公司购买或租用存储空间来存储自己需要托管的数据。数据中心的运营商在后台根据用户的需要虚拟化资源,对用户来说就像在使用虚拟服务器,这样用户可以自己管理自己的数据。而实际上,这些资源或许横跨了很多不同的物理服务器。
二、云计算中的基础设施
云计算中的基础设施可以建立在虚拟化、网格计算或二者结合的基础上。网格计算(或者计算网格的使用)是指多个计算机同时处理一个问题的计算模式,处理的往往是需要大量计算资源、需要访问大量数据的科学或者技术问题。它是一种分布式的计算模式,通过将网络上的、松耦合的计算机联合起来组成一个“超级虚拟计算机”来完成大型计算任务。这项技术已经应用在运算密集的科学、数学和理论问题的运算上,参与运算的计算机是以自愿的形式加入的。在商业机构中也有多种不同的应用,如药物研发、经济预测、地震分析、股票数据处理、电子商务和Web服务。在这种计算模式下,计算任务被拆分为许多小的部分,不同的部分在不同的计算机上同时、独立、并行地进行。因此,对于需要在计算过程中交换中间结果的应用,这种计算模式是不适用的,因为不同的处理器和存储系统很难保证高速的连接。网格可以实现本地、大学内部、区域性和国际性的应用、数据和存储资源的分享及管理。Google的搜索引擎就是以网格计算的形式,通过上千台服务器来处理搜索请求、寻找新的站点、存储文件和管理广告。
三、云计算对企业的影响
云计算模式能极大地降低企业或者学校的信息系统建设的成本。对于他们来讲,通过投资建立计算中心成本较大,并且难以与他们的信息系统的快速成长和服务多元化要求相匹配。具体来讲,云计算为企业带来的便利归纳为以下几个方面。
(一)商业模式和理念的转变。IT公司的商业模式从实体的软件或硬件产品销售转变为相应的软硬件服务的提供。通过云计算,更多的应用能够以互联网服务的方式进行。云计算的先驱者之一谷歌甚至强调未来几乎所有的软件都可以搬上互联网,以服务取代软件。云计算将带动整个商业模式的转变,延伸出新的商业体系,特别是IT企业商业理念也需要转变,当前的软件销售转变为服务销售,将实体变为网络中的相关服务提供给个人用户或企业用户。
(二)提高管理效率、服务水平。利用云计算的商业服务平台提供用户和提供商之问交互的平台,用户不用花精力去开发相应的软件或提供相应平台,只需要付少量的费用就能实现现代化的信息管理,将更多的精力用在企业的实质管理和服务客户,增强了企业的自动化度,能提高企业的管理效率及相应的服务水平。
(三)降低运行维护成本。企业只需定制相应的服务,由云服务商或云端提供需要的基础架构、服务、软硬件资源等,可以节约成本,不用投资购买昂贵的硬件设备,负担频繁的维护与升级,企业不需要建立自己的数据中心、大型机房、服务器中心等并相应减少硬软件的运行维护费用。
(四)提高了资源利用率。云计算模式中多企业共用相应的基础架构,由云计算提供更强的管理机制、自动化部和高层次的虚拟化,将实现网络虚拟环境上的最大化资源共享和协同工作。企业可以自己组建云计算基础设施,也可以按需或按时租赁的方式来完成企业的计算任务、存储、平台服务等,多个企业共享云计算基础设施,在节约成本的同时提高资源的利用率。
四、结束语
云计算是集成了大量资源的高效运行模式,在数据存储与处理中具有极高的应用价值,因而在企业中广泛应用,应用云计算和云存储技术能够改变企业运营模式、提高管理效率、降低系统成本、提高资源的利用效率,对现代企业的信息操作产生了划时代的影响,在企业信息系统的发展中必将起到更重要的作用。
参考文献:
计算机应用技术的不断发展,在很大程度上带来了企业信息化的建设,不管是在生产、业务拓展、管理等方面,都带来了非常好的效果。计算机应用技术主要是指利用计算机软件,进而满足人们的需求,并且从企业发展的角度来说,为了提升企业在市场中的竞争力,开拓新的发展道路,向信息化的运作模式转变已经是势在必行了,合理地使用计算机应用技术,通过利用相应的计算软件,可以对企业现有的发展情况,进行有效的整合,寻找一个新的发展方向,这样不仅仅促进了我国企业发展的进程,也为企业带来了良好的经济效益。
1企业信息化发展概述
计算机应用技术主要是利用各种软件,通过自身的性能、设置、性质和应用等方面,在不同的环境下熟练地进行操作,从而满足客户的需求,提供着不同的服务性能。同时,在企业信息化运作的过程中,主要是利用先进的技术手段,以及最新的管理理念和方式,将企业现有的资源进行有效的整合,形成企业运营框架,这样主要是保证企业的任何一方面,都得到合理的配置。另外,企业信息化的不断的建设,对企业在业务拓展、生产、管理等方面,都进行了进一步的规范,这样不仅仅提升了企业自身的发展实力,也保证了良好的经济效益。
2计算机应用技术在企业信息化的作用
计算机应用技术在企业信息化建设和发展的过程中,起到了非常重要的作用,主要表面在管理和生产效率的提升,以及经济效益的提升,总结起来可以从以下几个方面分析:
2.1数据获取的准确性
企业在运作的过程中,会存在着大量的数据和信息,计算机应用技术可以企业在获取数据和信息方面,变得更加的准确。一个企业经营和管理的过程中,所包括有很多,例如:企业内部信息、员工信息、财务信息等方面,传统的管理模式主要是通过纸质文件的方式,将这些数据和信息进行详细的记录,并且加以保存,仅仅是在需要的时候调出查阅,这样的管理方式是存在着很大的弊端,主要是表面在两个方面:(1)主要是利用人工的方式,对各项数据和信息进行抄录,这样不仅仅工作负担相对较大,很容易出现误差;(2)信息和数据调用相对较为麻烦,并且及时性不够,很容易发生延误的现象。然而,计算机应用技术在企业信息化运用的过程中,主要是利用相应的软件,构建相对完善的数据和信息库,这样不仅仅保证了各项数据的准确性,也实现了各项数据和信息自动化管理的模式。另外,计算机应用技术可以利用远程方式,对各项数据和信息进行调用,这样可以在很大程度上方便了对数据的使用,时效性和准确性也相对较高。
2.2管理效率提升
企业信息化包含着很多内容,管理就是其中的一个内容。企业在运营的过程中,各项信息和数据来源都相对较为复杂,数量也相对较大,这样给管理也会一定的困难,其管理工作也相对较低。然而,计算机应用技术在企业信息化运用的过程中,企业管理逐渐转向自动化管理模式,其优点主要分为两个方面:(1)利用计算技术对复杂的、大量的信息和数据,进行有效的整合、归类,化繁为简,这样在信息和数据使用的过程中,相对较为清晰化,进而有效地提升了管理工作的2017.23效率。(2)管理灵活性相对较强,并且在业务拓展的过程中,不会受到传统因素的限制。同时,计算机应用技术在企业信息化在运用的过程中,还会对办公室的人员进行相应的简化,人力、财力、物力等方面,进行了有效的节约,进而有效地提升了企业良好的经济效益。
2.3提升企业的综合实力
企业的综合实力是保证企业可持续发展的基础,然而计算机应用技术在企业信息化运用的过程中,主要是通过利用相应的软件技术,以此提升企的综合实力。企业综合实力主要包括有:资产规模、营业收入、市场份额、企业文化等方面。同时,在管理的过程中,通过利用计算机应用技术可以加强各项数据和信息之间的交流,实现员工信息交流和共享的功能,从而提升了企业的工作效率。另外,信息和数据的共享,可以在最大程度上提升良好的经济效益,进而提升企业在发展中的综合实力,保证了企业良好的经济效益。
3具体应用
企业信息化主要是以提升经济效益、竞争力等方面为基础,降低企业运营的成本,合理配置企业资源,为企业带来新的发展方向。但是,在企业信息化构建的过程中,计算机应用技术是必不可少的一项内容,下面就对计算机应用技术在企业信息化中运用的相关内容,进行简要的分析和阐述。
3.1企业生产
生产是企业产生经济效益,以及长期生存和发展的重要环节,并且对各项技术都有着相对较高的要求。那么,计算机应用技术在企业信息化应用的过程中,主要是对生产过程进行有效的控制,尤其是生产流水线和批量生产方面。另外,计算机应用技术在企业信息化运用的过程中,主要是利用仿真技术、微电子技术、自动控制技术、网络技术等方面,对整个生产过程进行良好的控制和调控,避免生产过程中产生不必要的误差,提升生产质量的同时,也保证了良好的效益和效率。另外,在应用的过程中,针对不同的生产环节,所应用的技术也是不一样,比如:应用计算机辅助设计技术、计算机辅助制造、复杂工程结构设计、辅助工艺设计等方面,这可以进一步地保证企业的经济效益。
3.2内部管理
管理是任何一个企业发展的基础,信息化管理的构建组要就是对企业的基础工作,业务流程、管理流程等方面是,进行有效的规范,并且利用集成应用系统的形式,对其中所含有的数据和信息,进行全面的收集、整合、存储等,根据这些信息和数据,指定企业下一步的发展方向,这样不仅仅保证发展方向具有一定的针对性,还可以降低企业内部管理成本,并且为一些业务的拓展和决策,提供了重要的信息和数据支持。另外,传统企业管理模式不仅工作量相对较大,操作也不是很便捷,然而计算机应用技术在企业信息化运用的过程中,通过利用一些相关的技术形式,可以对操作流程进行相应的简化,降低了工作梁,所涉及的范围相对交广,例如:事务处理系统、决策支持系统、企业资源计划、产品数据管理等方面。同时,计算机应用技术在企业管理运用的过程中,还会涉及到一些其他方面,像办公室表格、文档和邮件以及幻灯片等,进而提升办公室工作效率。
3.3企业供应链
随着市场经济的不断发展,经济效益的不断提升,企业整体运营过程已经从开始时候的孤立封闭状态逐渐横向和纵向发这就需要供应链信息化管理。其实,所谓供应链是指从原材、零部件的采购、仓储、加工、营销形成了一套由供应商、生产商和及售后的服务流程。同时,这个过程的好坏直接影响着企业的发展。因此,计算机应用技术在企业信息化应用的过程中,一定要构建相对完善的供应链,这也是企业发展中的重点。在应用的过程中,其重点主要是在于企业局域网、Internet互联网、数据库、电子商务等方面,并且应当对企业资源、供应商、销售商、售后服务商等方面,进行有效的整合,根据企业自身发展的需求,进行相应调整,这样可有效地提升企业在市场发展中的竞争力。
3.4企业与业内沟通
行业的发展不是依靠一个企业就可以的,企业信息化水平的提升也是一样的。因此,在计算机应用技术在企业信息化的过程中,通过利用相应的技术形式,可以加强企业与业内之间的交流,并且定期可以和兄弟企业展开相应的交流活动,加强各项数据和信息之间的交流,进而实现共赢的局面。另外,计算机应用技术在企业信息化运用的过程中,可以通过网络通道对市场发展的走向,以及市场最新信息,进行及时、全面的了解,这样可以为企业各项决策的制定,提供重要的参考依据,避免发生决策上的失误,导致经济效益的损失。
3.5业务拓展
业务拓展是企业发展的一个重点。因此,计算机应用技术在企业信息化运用的过程中,业务拓展是运用的一个重点,其中主要包括有:事务的处理、现金的流动、客户交易等方面。并且通过应用计算机技术在将这个各项信息和数据,进行有效的整合,一定要根据实际情况,指定合理的运作模式,这样可以有效地增强企业的工作效率,进而提升良好的企业竞争力。另外,计算机应用技术在企业业务拓展的过程中,可以利用运程技术控制形式,对生产环节进行良好的控制,实现自动化控制模式,这样可以进一步保证生产中的稳定性,保证了生产效率的同时,也保证生产产品的质量,为企业业务的拓展提供了重要的支持。
4结语
对计算机应用技术在企业信息化运用的一些相关内容,进行了简要的分析和阐述,通过在不同方面的运用,可以有效地提升企业的生产和管理效率,并且在原有的基础之上,进行了有效的业务拓展,进而提升了企业的经济效益,实现了企业可持续发展的理念。
参考文献
[1]吕丰秀.计算机应用技术在企业信息化中的应用[J].电子技术与软件工程,2016,(24):161.
[2]张新刚.计算机应用技术对企业信息化的影响分析[J].计算机光盘软件与应用,2013,(13):134.
[3]赵婷.计算机应用技术对企业信息化的影响分析[J].山东工业技术,2015,(23):117.
[4]罗学.在企业信息化中的计算机应用技术分析[J].信息与电脑:理论版,2012,(6):124-125.
[5]张圆林.浅析计算机应用技术对企业信息化的影响[J].工程技术:全文版,2015,(18):00322-00322.
中图分类号:TP311文献标识码:A文章编号:1009-3044(2010)22-6272-03
云计算技术的出现是并行计算技术、软件技术、网络技术发展的必然结果。云计算在商业和科研领域的应用价值得到了包括 IBM、Google 等公司的重视,其未来将像工业革命一样引领着社会的发展。目前,云计算的研究与应用尚处于初级阶段,云计算实现商业价值指日可待,云计算的特点是使数据存储及应用商业化,Web数据挖掘是一个应用价值大理论性很强的研究领域,本文基于云计算框架下对Web数据挖掘算法进行了讨论和研究。
1 云计算的定义
到目前为止,学者们对云计算的定义多种多样,定义主要包括如下几种。
1) 维基百科对云计算如此定义:云计算[1]是以服务方式提供给用户IT相关的能力,而用户不需要了解提供服务的技术、相关知识以及设备操作能力,用户通过Internet接受请求的服务。
2) 中国云计算网的云计算定义是:云计算是分布式计算、并行计算和网格计算的发展,也可定义为分布式计算、并行计算和网格计算这些科学概念的商业实现。
3) 文献[2]在概括了多个云计算的定义后,将云计算定义如下:云计算是一个具有大量可用的虚拟资源(例如开发平台、硬件以及I/O服务)的资源池。根据不同的负载这些虚拟资源可以动态地重新配置,从而以提高资源利用率。
云计算技术具有以下特点:
1) 云计算系统的服务性。云计算服务的实现机制一般对用户透明,用户要获得需要的服务,是不需要了解云计算的具体机制的,即服务对用户透明。
2) 云计算采用冗余方式提高可靠性。云计算系统提供数据处理服务给用户,大量商用计算机集群组成云计算系统。如果PC数量不断地增加,系统出现错误甚至崩溃的概率就会会不断增大。在没有专用的可靠性硬件支持的情况下,采用软件的方式保证数据的可靠性,就必须使用数据冗余和分布式存储方式。
3) 可用性高。自动检测技术是云计算系统的一大特点,可以检测失效节点,也可以排除失效节点,系统的正常运行并不受此影响。云计算系统服务质量的提高,主要是通过集成海量存储和高性能的计算能力来实现的。
4) 高层次的编程模型。通过简单学习后,用户就可以编写自己的云计算程序,在“云”系统上执行,使用户的需求得到满足。现在云计算系统主要采用Map-Reduce模型。
5) 经济性。高性能的超级计算机的价格是很昂贵的,而组建一个和超级计算机性能相同大量商业机集群所需要的花销要比超级计算机少得多。
6) 服务多样性。云系统能够提供给用户各式各样的服务,只要支付很少的费用,用户就可以获得不同的服务。
2 云计算的关键技术
云计算是一种数据密集型的,以数据为中心的超级计算。在数据存储、数据管理、编程模式等多方面具有自身独特的技术特点。本章介绍云计算主要的技术,包括数据存储技术,虚拟化技术,数据管理技术,编程模式等。
2.1 海量分布式存储技术
云计算存储数据是采用分布式存储方式实现的,这就可以保证高可靠性、高可用性和经济性,数据存储的高可靠性是采用冗余存储的方式来保证的,用可靠的软件来弥补硬件的不足,从而提供廉价可靠的海量分布式存储服务和计算服务。另外,数据存储技术必须具有高吞吐率和高传输率的特点,这样云计算系统就可同时满足大量用户的需求,才能为大量用户并行地提供服务。
云计算的数据存储系统最著名的是谷歌研发的非开源系统GFS(Google File System) 和Hadoop开发团队开发的开源系统HDFS(Hadoop Distributed File System)。
以GFS为例。GFS是可扩展的分布式文件系统,能够管理大型分布式数据密集型计算。GFS向用户提供大量的高性能服务,系统是使用廉价的商用硬件搭建起来的。
客户端为避免大量读操作使Master成为系统瓶颈,所以不通过Master读取数据。客户端直接和块服务器交互进行读操作。如图1。
即客户端获取Master的写授权之后,数据向所有的数据副本传输,在所有的数据副本收到修改的数据后,便发出写请求控制信号。在所有的数据副本更新完数据后,客户端从主副本发出写操作完成控制信号。
2.2 数据管理技术
云计算系统经常处理、分析大数据集并提供用户高效的服务。所以,云计算数据管理技术必须能够高效地管理大数据集。另一个云计算数据管理技术所必须解决的问题是如何在规模巨大的数据集中找到特定的数据。
云计算数据管理技术中最著名的当属BigTable数据管理技术,在文献[6]提出的。
以BigTable为例。BigTable数据管理技术设计者Google给出了如下定义:“BigTable是一种分布式存储系统,能够管理结构化数据,可扩展成大规模数据,例如在数已万计的服务器上达到PB(Petabytes)规模的数据。”
BigTable技术优化了数据读操作,采用列存储的方式,提高了数据读取效率。BigTab1e数据的存储管理结构为:->string。 BigTable的基本元素由行,列,记录板和时间戳组成。其中,记录板是行的集合体。
以行关键字的字典顺序对BigTable的数据项进行排列,将每行划分到记录板中。时间戳是一个64位的整数,表示数据的不同版本。每个节点管理大约100个记录板。列族是若干列的集合,BigTable中的存取权限控制在列族的粒度进行。
2.3 虚拟化技术
现在,当整个IT界正处于逐渐步入云计算时代的过程中,单个虚拟化技术虽然都为企业在IT方面带来了利益,但是人们更看重的是基于所面对的各自不同的独特环境发展出一个适合自己的全面的虚拟化战略。我们需要考虑的是将所有可用的虚拟化技术作为一个整体来考虑和组合,以使从中生产的效益最大化。也就是说在云计算环境下,所有虚拟化解决方案都是集服务器、存储系统、网络设备、软件及服务于一体的系统整合方案。虚拟化打开了云计算的大门,而云计算带给大家的从本质上讲正是虚拟化服务。从虚拟化到云计算的计算,我们实现了跨系统的资源动态调度,将大量的计算资源组成IT资源池,用于动态创建虚拟化的资源供给用户使用,从而最终实现应用、数据和IT资源以服务的方式通过网络提供给用户,并以前所未见的高速和富有弹性地方式完成任务。
2.4 并行编程模式
云计算的编程模型必须保证后台复杂的并行执行和任务调度向用户和编程人员透明,才能有效地利用云计算资源,使用户能更轻松的享受云计算带来的服务。云计算采用MapReduce编程模式,任务被自动分成多个子任务,通过Map和Reduce两步实现任务在大规模计算节点中的调度与分配。
MapReduce是由Google公司发明,近些年新兴的并行编程系统。它将并行化、容错、数据分布、负载均衡等放在一个库里 ,而将系统对数据的所有操作都归结两个步骤:Map阶段和Reduce阶段。程序员向MapReduce提交的所有操作处理作业程序中只需要定义Map函数和Reduce函数,MapReduce系统即可根据输入数据的大小以及作业的配置等信息,自动将该作业初始化为多个相同的Map任务和Reduce任务、分别读取不同的输入数据块并调用Map函数和Reduce函数进行处理。
MapReduce系统主要由三个模块组成,客户端(Client)用于将用户撰写的并行处理作业提交至Master节点;主节点(Master)自动将用户作业分解为Map任务和Reduce任务,并将任务调度到工作节点(Worker);工作节点(Worker)用于向master请求执行任务,同时多个Worker节点组成的分布式文件系统用于存储MapReduce的输入/输出数据。MapReduce主要应用于海量数据处理,其任务策略的一大特色既是优先将任务调度至数据所在的节点。这种基于数据位置的调度方案,使得当请求任务的Worker节点保存有任务处理的数据时,Map任务可以在本地读取并处理数据,从而降低了网络的开销,提高了系统性能。
MapReduce的工作模式,map负责分解任务,reduce负责将分解的任务进行合并。MapReduce的工作流如图2所示。
3 Web数据挖掘
3.1 Web数据挖掘概述
Web 数据挖掘涉及Web、数据挖掘、计算机语言学、信息学等领域,是数据挖掘技术与Web结合的产物, 是一项综合技术。
Web 数据挖掘是指从大量Web文档结构和使用的集合C中发现隐含的模式p。如果将C看作输入,将p看作输出,那么Web挖掘的过程就是从输入到输出的一个映射,ξ: Cp[3]
3.2 Web数据挖掘的分类
Web数据挖掘就是利用数据挖掘技术从网络文档和服务中发现和提取信息, Web上各种形式的文档和Web的结构内容及用户访问信息构成了Web数据挖掘的对象。根据挖掘对象的不同, 将Web数据挖掘分为内容挖掘、结构挖掘和使用挖掘3类。所谓内容挖掘是指在人为组织的Web上, 从文件内容及其描述中获取有用信息的过程; 结构挖掘则是从人为的链接结构、文档的内部结构和文档URL中的路径结构中获取有用知识的过程;使用挖掘是通过挖掘相应站点的日志文件和相关数据来发现该站点上的浏览者和顾客的行为模式。
4 基于云计算平台的Apriori关联规则算法设计
4.1 算法基本思想
基于对分布式数据库划分的思想,把数据库D划分为:D1,D2…Dm,其中D1∪D2∪…∪Dm=D,D1∩D2∩…∩Dm=φ,划分后将各个数据分块分别发送到对应的服务器节点,每一个数据节点分别处理一个分块,多节点可实现并行工作。Apriori算法对每个节点求解频繁K-项集,求取对应数据中包含的局部频繁项集。Apriori使用逐层迭代方法,即用K-项集搜索(k+1)-项集。用LK-1与自己作连接产生候选K-项集的集合Ck,得到K-项集LK。这一步由各个任务独立完成,而最后由全局端进行由Ck得到Lk所进行的阀值操作,最后由全局控制端使用公式:
计算关联规则的置信度。其中support_count(A∪B)是包含项集A∪B的事物数,其值即为全局控制器得到频繁项集的支持度计数。support_count(A)是包含项集A的事物数,其值应是各个服务器节点包含A的事物数的累加。
4.2 算法描述
整个数据挖掘程序分为全局控制器(位于提交任务的机器上)和各个服务器节点任务端(位于各个服务器节点上)两个部分。算法描述如下:
输入:数据挖掘任务
输出:关联规则
全局控制器:
(1)divide(D);allocate(Serv_1,D1); allocate(Serv_2,D2);…allocate(Serv_m,Dn); //D=D1∪D2∪…∪Dn
(2)start(Serv_i);//i=1…n
(3)Serv_Ck=merge{Serv_C1,Serv_C2,…Serv_Cn};
(4)count(support(Serv_Ck_global));while(support(Serv_Ck_global)
(5)send(Serv_Ck)toServ_i;//i=1…n
(6)repeat(3)~(5);
(7)sum(support_count(AR_local));//i+1…n,AR_local为局部关联规则
(8)confidence(Serv_global);while(confidence(Serv_global))
Delete(AR_global);return(AR_global)//AR_global为全局关联规则
各个服务器节点任务端:
(1)generate(C1);
(2)Ck=generate(Ck-1);
(3)count(support_Serv_Ci_local);
(4)send(Serv_Ck) to Serv_C_global;
(5)Serv_C_global={Serv_Ck|check(Serv_Ck)=true};
(6)repeat(2)~(5);
(7)count(support(Serv_i_local));
(8)send AR_local to AR_global;
4.3 算法结果
在云计算环境中Apriori算法结果与经典Apriori相同。算法中对数据库的每一个分块分别挖掘虽然增加了通信成本,但也避免了分布式数据挖掘中将数据集中到一个数据仓库所需的通信成本,也不会产生网络瓶颈,总体上提高了效率。
5 结束语
本文首先介绍了云计算的定义和关键技术,如数据存储技术、数据管理技术、虚拟化技术和并行编程模式技术。又介绍了Web数据挖掘的概念及研究的实际意义,最后讨论了Apriori算法在云计算环境下的运行。
参考文献:
[1] 维基百科.Cloud computing[EB/OL].[2009-03-01]./wiki/Cloud_computing.
[2] VAQUERO L M, RODERO-MERINO L, CACERES J, et al.A break in the clouds:Towards a cloud definition[J].ACM SIGCOMM Computer Communication Review,2009,39(1):50-55.
[3] 霍丽峰.Web数据挖掘技术的研究[J].研究与探讨,2007(5).
云计算技术当前互联网技术之一,其定义在互联网技术行业还没有统一的标准定义,但是通过目前各个产业中存在的各类云技术使用范畴进行有序的统一,不难得到云技术的模糊定义,云计算技术是以资源虚拟化为基础网络载体,以提供基础框架、平台、应用等服务为形式,整合大规模的计算、存储、数据、应用等分布式资源,按照服务等级协议向使用户收费的资源平台服务模式。云计算技术作为一项互联网资源平台化分享的技术,它更多的是将电子计算机的硬件和软件为基础,进行虚拟化的信息平台建立,并且以用户的需求实现不同资源信息的提供,当前形势下,云计算技术发展迅速,形成了很多成熟的技术,例如网格计算、海量存储、Web服务、浏览器和虚拟技术等等。
2 云计算对于国企未来发展的影响
云计算技术作为当前各行业主要流行的网络技术之一,已经被现代的许多工业生产管理活动所应用,我国国有企业作为社会主义市场竞争中的主体构成,更多时候代表着社会生产力先进水平,代表着我国经济的发展方向,对于我国经济的发展和社会的进步有着其他私营企业和民营经济没有的优势,新的市场经济条件下,伴随着社会主义市场经济体制中外来企业、混合型企业的参入、民营企业的不断壮大,我国国企面临着严峻的竞争局势。新的形势下提高生产效率,提高管理工作生产工作的效率,成为我国国企提高本身综合竞争力新的工作重点。根据现代化管理经营理念的战略发展指导思想,不难得到要实现我国国企生产管理工作效率的提高,首要的就是进行传统旧有管理工具和管理方式的改良,在我国旧有的传统管理生产工作中,生产管理工作的信息多是以语音纸质的形式进行传递,新形势下伴随着竞争机制的加剧,原有的传统信息传递方式已经无法适应当前瞬息万变的竞争市场,尤其是信息搜集和汇集速度的不及时,极大程度上给我国国企相关生产管理政策的制定造成了一定的延迟,从竞争的源头,我国大多数国企的经济活动的开展已经落后于广大的私营或者外来企业,因而改变信息传递模式成为当前国企生产管理工作效率提高的一大重点。
云计算技术作为当前适用性强、信息传递速度快的新式网络技术闷雷,其对于企业信息传递和企业经济策划制定有着极大的帮助。云计算技术通过服务器提供商提供的信息平台,对于企业本身的各种生产销售业务信息进行汇总整理,从而在最短的时间内整理出对企业现阶段或者将来阶段有用的信息,并且能够对企业往昔的生产活动信息进行有序科学的列表式对比,从而以远超传统数据信息整理人员的工作成绩,向广大的国企管理人员提供清晰完整科学的企业市场数据信息支持,为国企下一步的生产策略的制定奠定基础。
与此之外,云计算技术作为当前主流的企业应用型互联网技术,其更大的效能在于信息的综合平台化。企业通过自己私营的云服务器或者服务商提供的服务器,通过在虚拟的平台上建立企业本身的生产管理制度表,从而以互联网技术独有的动态感官功能,实现对企业各个不同阶段数据的记录比较,进而保证对企业的二十四小时不间歇监察监督工作,极大程度的提高了企业本身各个部门的工作效率。云计算网络信息技术的一大优势便是其部署迅速,对于未来企业各项目的发展具有巨大的弹性扩展能力。云计算的规模并不是一成不变的,其服务器的节点可以伴随着国企本身经济的发展和规模的扩大从而扩多,并且及时的将新的企业生产节点或者部门节点拉入到国企整体的规划管理活动当中,极大程度的提高了国企在进行前瞻性战略核心观念方面的工作效率,更节省了不少的工作时间。而且云计算技术本身有着强大的计算能力、高可用性能够更快的相应市场信息的发展变化,从而实现高度虚拟化资源统一组织、组成一个庞大的资源平台,统一提供服务,在引导企业更低消耗的同时,提高国企的利润从而实现企业的战略经营,形成国企可持续发展的产业模式。
3 云计算在我国国企中的应用现状
我国云计算技术相比较发达国家,其发展的速度和发展开始时间均较落后。Google作为我国第一个运行Goolge云计划的厂商,在我国大范围各大高校合作建立云服务器联络站,从而建造起了自己的云计算服务网络。而IBM\HP等大型公司紧随其后,2008年我国无锡市政府率先与IBM合作开展了一系列的云计算项目合作,这标志着我国国企第一个应用云计算系统的特例出现,随后伴随后我国南京政府开始建设国内首个“电子商务云计算中心”并且与广大服务器厂商合作,实施布局全国范围的云计算推广方案。与此同时北京、山东、广东等省市也开始加快了对云计算技术的相关服务的建设和云营,通过云计算搭建了政府办公信息平台,逐步完成了对电子政务、公共医疗、数字化城市等方面的应用部署,而此段时间我国多数国企业在政府的引领下开始大范围的引用云计算数据信息技术,纵观我国国企当前的云计算技术应用,不难发现我国多数国企云计算技术的应用范围和应用深度相比较国外先进大型企业,仍存在较大差距。
当前阶段伴随着我国经济市场的发展,国内经济市场中参与元素的多元化,国企所占的市场地位已经从原来一家独大的局势变成了多强竞争的局面,新的形势下广大国企管理者要从自己的工作角度出发,从而着眼于当前市场的发展状况,采用新的云计算网络技术来提高国企的管理工作效率,提高生产消耗、提高生产效率、扩大销售渠道、提高企业管理策略的制定实施,从而根本上提高国企的综合竞争力,在新的条件下不断的开发新技术,吸收新的人才理论,提高企业本身的品牌文化内涵,实现国企的可持续高速发展。
参考文献:
云计算的特点
云计算提供了最可靠、最安全的数据存储中心,用户不用再担心数据丢失、病毒入侵等麻烦。很多人觉得数据只有保存在自己看得见、摸得着的电脑里才最安全。其实不然,你的电脑可能会因为自己不小心而被损坏,或者被病毒攻击,导致硬盘上的数据无法恢复,而有机会接触你的电脑的不法之徒则可能利用各种机会窃取你的数据。反之,当你的数据保存在“云”端,你就再也不用担心数据的丢失或损坏。因为在“云”的另一端,有全世界最专业的团队来帮你管理信息,有全世界最先进的数据中心来帮你保存数据。同时,严格的权限管理策略可以帮助你放心地与你指定的人共享数据。这样,你不用花钱就可以享受到最好、最安全的服务,甚至比在银行里存钱还方便。
云计算对用户端的设备要求较低,使用起来也较方便。你只要有一台可以上网的电脑,有一个喜欢的浏览器,你要做的就是在浏览器中键入URL,然后尽情享受云计算带给你的无限乐趣。你可以在浏览器中直接编辑存储在“云”的另一端的文档,不用担心你的软件是否是最新版本。对于广电数字机顶盒来说,这个功能具有决定性的重要意义。在我国数字电视整体转换过程中,采取的都是免费发放机顶盒的方式,这对于机顶盒的价格和成本的限制很大,低成本策略大大制约了机顶盒的硬件性能和中间件的性能,而云计算对于客户端的硬件需求最低,能大大缓解整转后的互动电视发展过渡期由于机顶盒性能和中间件性能不高,而影响增值业务的开展。
云计算可以轻松实现不同设备间的数据与应用共享。在云计算的网络应用模式中,数据只有一份,保存在“云”的另一端,你的所有电子设备只需要连接互联网,就可以同时访问和使用同一份数据。以联系人信息的管理为例,当你使用网络服务来管理所有联系人的信息后,你可以在任何地方用任何一台电脑找到某个朋友的邮件地址,可以在任何一部手机上直接拨通朋友的电话号码,也可以把某个联系人的电子名片快速分享给好几个朋友。当然,这一切都是在严格的安全管理机制下进行的,只有对数据拥有访问权限的人,才可以使用或和他人分享这份数据。
云计算为我们使用网络提供了无限多的可能。云计算为存储和管理数据提供了无限多的空间,也为我们完成各类应用提供了几乎无限强大的计算能力。云计算的业务应用,最后显现为三网融合业务上的巨大优势。例如我们在PC上通过互联网上传的自拍旅游等视频,先上传到我们的数字家庭共享服务中的“云”服务器群,你可以选择通过发P2P信息的方式,最后通过电视机顶盒和手机来播放,让朋友和家人分享你的快乐和经历。而云计算的资料存储是指在“云”的服务器群中,你不必携带专用的设备,在任何一个连接云计算服务的客户端设备(机顶盒、PC、智能手机等),你都可以通过浏览器进行登录,来延续你还没有完成的事情。
云计算在数字互动电视中的应用
云计算帮助运营商减少终端投资。云计算所需要的两大基本条件,一是需要有浏览器;二是需要联网。在广电运营商现在所发出去的双向机顶盒中,绝大部分都有浏览器的功能,并且需要连上广电的网络才能实现互动。云计算不需要安装客户端的软件,直接通过“云”的高性能服务器群的运算,把结果直接传输到机顶盒终端,以减少用户在终端上的正版软件授权投入。
云计算的分布式运算,可以大大缓解单个机顶盒性能不足而引起的业务承载问题。在云计算服务中,用户不必担心低价机顶盒的运算能力,机顶盒只承担信息输入和结果显示的功能,而所有的运算过程,都在“云”的服务器群中去完成。云计算可以帮助运营商极大地减少双向机顶盒的硬件投资,从而为双向机顶盒的快速推广打下基础。
云计算帮助运营商减少服务器投资。现在很多新推出的软件或者PC游戏,都需要最新配置的高性能电脑才能开得动,更不要说数字机顶盒了,而云计算恰恰弥补了这个缺陷。云计算的绝大部分运算都在“云”的服务器群上,而终端只有信息录入和显示结果的功能,终端的性能提高跟“云”服务器的运算没太大连锁关系。
2计算机应用技术的实施阶段
计算机应用技术在企业信息化的运用就是将企业传统的工作流程等操作转变成数字化,主要包括事物的处理、现金的流动和客户交易等业务信息这几个方面。企业利用计算机应用技术对企业工作中的各类信息进行合理的有效的整合,然后根据具体的实际情况制定对应的运作模式,以达到高效、快捷的工作模式,提高工作效率。企业对计算机应用技术的实施其实就是在实现管理自动化的过程,同时将企业的管理提升到远程控制的阶段。在企业一系列的工作流程中,生产过程相对来说更为重要,如果在这个环节运用计算机技术实现信息化自动化的控制,不仅能够保证生产产品的质量,同时还能提高生产的效率。在企业的经营管理中,应该着重于抓重点,有效地利用这个点实现对整个企业管理上的优化,保证企业各个环节的正常运作,提高工作效率,使得企业在激烈的市场竞争环境中占有一席之地。另外,企业在进行经营管理时可能还会出现一些非正常化的信息,又被称作是非结构化的信息。非结构化信息和结构化信息是互为对立的关系,非结构化信息主要包括电子文档、电子邮件、视频文件和多媒体。为了顺应社会发展的趋势,需要把计算机的一些网络功能和实际的办公工作进行有机的结合,才能让计算机应用技术在企业信息化中充分地发挥其作用。企业从零件采购到产品的销售这一系列的流程,使用计算机应用技术可以很好对其进行管理,提高工作的效率,这也是企业生产发展过程的必然趋势。信息化管理利用的是企业内部的局域网、互联网、数据库等技术资源,对这些信息资源进行有效的管理和调控,可以将企业的外部供应和内部管理进行有机的结合统一,方便了企业的管理,同时还能提高企业在处理事情时的随机应变的能力。
3企业采用计算机应用技术的优势
企业在经营生产过程中把计算机应用技术进行结合能够载入更多基础数据信息,可以逐渐加强企业经营基础信息的精确程度和时效性,可以为企业领导做出企业的战略规划时提供引导。计算机应用技术实现了企业的自动化办公,改变了传统的工作形式,实现了无纸化办公,有利于企业内部节约生产成本,提高管理的效率,简化了很多工作流程,真正意义上达到了工作的高效便捷。对企业的工作流程进行合理的整理优化,能够在工作过程中不断的消除一些存在的不合理的环节,进而提高产品质量和工作的效率。计算机应用技术的使用能够将所有的企业员工优秀的工作经验进行整理结合,能够让员工之间的优势资源互相流通学习,通过彼此之间的经验的交流能够很好的培养员工的学习能力和创新能力。科学合理地调控企业各部门的配置是企业在信息化建设中表现出来的优势,可以充分地利用企业人力、物力、财力等各项资源,在有限的条件下达到资源的最大程度的优化配置,大大提高企业生产和管理的效率,从而提高企业的核心竞争力。
云计算是物联网发展的基础。互联网主要解决人与人的互联,连接了虚拟与真实的空间;而物联网主要解决的是物与物之间的互联,连接了现实与物理世界。物联网是以互联网的发展为前提的。随着物联网应用的发展、终端数量的增长,会产生非常庞大的数据流,这时就需要一个非常强大的信息处理中心。传统的信息处理中心是难以满足这种计算需求的,在应用层就需要引入云计算中心处理海量信息,进行辅助决策。云计算作为一种虚拟化、分布式和并行计算的解决方案,可以为物联网提供高效的计算能力、海量的存储能力,为泛在链接的物联网提供网络引擎和支撑。
1 分布式缓存的发展
在互联网应用刚起步时,各种平台大多采用的是关系型数据库。那时PC机昂贵、性能低下并且网络不普及,而关系型数据库因为处理能力强、数据安全可靠、一致性好等优势,一直处于主导地位,并发挥了重要的作用。随着互联网的发展,特别是WEB 2.0等交互式、个性化应用的出现,数据量急剧增加,传统的关系型数据库已经无法满足这种快速增长的存储需求。为此不少IT服务提供商都设计开发了自己的存储系统,如亚马逊在2007年10月份开发出的Dynamo就是其中非常典型的一种存储系统(如图1所示),作为状态管理组件和存储服务的基础被用于众多的亚马逊的系统中。
对于Google,Amazon,淘宝这样的互联网企业,每时每刻都有无数的用户在使用它们提供的互联网服务,这些服务带来的是大量的数据吞吐量,在同一时间,并发的会有成千上万的连接对数据库进行操作。在这种情况下,单台服务器或者几台服务器远远不能满足这些数据的处理需求,单靠提升服务器性也已经改变不了该情况,所以唯一可以采用的办法就是扩展服务器的规模。服务器规模扩展通常有两种方法:一种是仍然采用关系型数据库,然后通过对数据库的垂直和水平切割将整个数据库部署到一个集群上,这种方法的优点在于可以采用基于关系型数据库(RDBMS)的技术,但缺点在于它是针对特定应用,实施非常困难;另外一种方法就是Google和Amazon所采用的方法,抛弃关系型数据库,采用Key-Value形式的存储,这样可以极大地增强系统的可扩展性。事实上,基于Key-Value的分布式缓存就是由于Google的BigTable,Amazon的Dynamo以及Facebook的Cassandra等相关论文的发表而慢慢进入人们的视野,这些互联网巨头在分布式缓存上的成功实践也使之成为了云计算的核心技术。
2 分布式缓存技术
2.1 分布式缓存的部署方式
缓存服务器集群采用无主架构,所有服务器节点地位完全一致,互相之间采用网状的全连接方式。应用通过调用分布式缓存提供的API对数据进行透明访问,无需关心数据在后端服务节点的分布情况。数据在集群各节点均匀分布,集群数据处理能力随集群中节点数量的扩充呈线性增长。集群通过数据的多副本机制能够提高系统的可用性,某几台服务节点的宕机对应用的数据访问没有任何影响。服务器节点能够根据应用的需求灵活配置数据是否持久化存储。
分布式缓存同时提供操作控制台,能够登录到任何一个服务节点并对集群的成员关系、访问负荷、数据分布进行监控和配置,同时通过操作维护台可以完成分布式缓存集群软件版本的安装、升级和配置。目前分布式缓存提供基于命令行(telnet登录)和基于B/S的图形化运维方式。分布式缓存系统的具体部署如图2所示。
2.2 分布式缓存功能架构
分布式缓存为应用程序提供了客户端程序库以及若干数据服务节点组成的服务集群,客户端通过和数据服务节点通信形成可用服务器列表,并将应用程序提交的存取请求通过路由算法映射到一个确定的数据服务节点上,具体的功能架构如图3中所示。
数据服务节点主要分成3个层次:通信支撑层、数据处理层和数据存取层。
通信支撑层主要负责通信协议适配,根据数据处理层中路由链路管理模块的指示进行端口的侦听和主动建链,同时完成底层通信数据包的发送和接收。
数据处理层包括路由链路管理模块、访问控制处理模块以及数据迁移控制模块。
数据存储层提供内存/SSD/硬盘介质的三级存储管理,具体可以根据应用的要求进行不同的配置。内存管理关注内存分配的效率以及如何避免内存碎片的形成,并根据数据访问频度进行最近最少使用算法(LRU)控制。SSD和硬盘存储模式在保证访问性能的同时提供数据的持久化存储,在这两种存储模式下数据不会随着服务节点重新启动而丢失。数据存储层提供数据生存期管理机制,能够自动清理过期数据。
2.3 分布式缓存关键技术
分布式缓存在保证数据访问可靠性、最终一致性的同时对应用提供高吞吐、低时延的访问服务,通过增加数据服务节点即能实现处理能力的性能扩充,扩容过程对应用访问完全透明。下面对分布式缓存涉及的关键技术进行介绍。
2.3.1 NRW多副本机制
分布式缓存通过多副本机制实现数据访问的可靠性,同时多个副本之间的数据同步又会带来性能和一致性的问题。我们采用NRW多副本技术来保证数据在可靠性、高性能访问以及最终一致性之间取得平衡。图4是NRW机制的示意图,其中N是一个数据的副本数,R代表一次成功的读取操作中最小参与节点数量,W代表一次成功的写操作中最小参与节点数量。当分布式缓存的访问模型满足R+W >N时就能保证数据访问的可靠性和一致性。
R和W直接影响性能、可用性和一致性。如果W设置 为 1,则分布式缓存集群中只要有一个节点可用,就不会影响写操作;如果R 设置为1,则分布式缓存集群中只要有一个节点可用,就不会影响读请求。但显而易见R 和W值过小都会对影响数据访问的性能和可用性,为兼顾性能、可用性和一致性,这两个值一定要合理设置。
2.3.2 一致性Hash和虚节点
一致性Hash需要首先求出分布式缓存数据服务器(节点)的哈希值,并将其配置到0~232的圆上,用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过232仍然找不到服务器,就会保存到第一台缓存数据服务器上。因为数据节点服务器的机型并不统一,其性能和容量是不同的,可以使一个物理节点负责多个Hash区间的处理,使高端机器能够被充分利用。在出现热区时,可以将过热的Hash区间以虚拟节点的方式放在负荷较低的物理节点上。
分布式缓存平台结合了一致性Hash和虚拟节点的特点并加以改进,形成了如图5的方案:将232的Hash空间等分为若干分片,每个分片即是一个虚节点,根据各物理节点性能差异配置处理不同数量的虚节点,这些虚节点在物理节点上的部署关系即形成虚节点的路由。
通过一致性Hash和虚节点相结合的方式,实现了数据在集群的均匀分布,同时也实现了数据服务器节点热点的消除。
2.3.3 智能路由交换
路由是指分布式缓存集群中虚节点在数据服务节点上的分布情况。分布式缓存平台构建了一个分布式锁同步系统来存放全局路由表,这张路由表是分布缓存集群路由管理的基准表,路由变更时必须要首先修改这张路由表中对应的路由记录。
为避免每次路由查找都需要查询分布式锁服务,各数据服务节点在本地同时存储全局路由表,路由查找时可直接在本地进行。这样带来的一个问题是本地路由记录可能已经过期,因此在路由记录中增加修改时间戳来进行路由记录版本的控制,举例说明:
(1)第10号虚节点的路由信息是:存在3个副本,依次存放在服务节点A、B、C上,该条路由信息在集群中所有节点本地都有存储。
(2)A节点发生故障宕机,在A宕机期间,操作员对10号虚节点的路由记录进行了手工调整:仍然是3个副本,依次存放在服务器节点A 、D、C上,集群中除A节点外都完成了本地路由记录的更新。
(3)此后A恢复了服务,A节点本地10号虚节点的路由记录成为一个过期的记录,当A节点收到落在10号虚节点上的数据读写请求时,就会对B、C节点的副本进行访问,访问时会带上本地10号路由记录的时间戳,B、C节点收到访问请求后会立即通知A路由信息已经过期,通过这样的路由交换机制,A快速地完成了本地路由记录更新。
上述例子中路由交换是通过数据访问请求被动触发,同时集群中每个节点的路由管理模块也会定时启动路由交换,通过这种类似病毒传染式的智能路由交换,路由变更能在集群所有节点中快速生效。客户端API的路由记录也采用同样的方式:客户端API本地缓存路由信息表,在数据访问的同时完成和服务节点的路由交换,大大提高了路由查找的效率,降低了数据访问的时延。
2.3.4 成员关系维护和故障检测
分布式缓存将节点分成两类:种子节点和普通节点。
种子节点是系统配置时,需要预先从所有节点中选出若干个节点,它们的职责是指挥系统的链路建立和拆除等。
普通节点启动后,根据配置向种子节点主动建链,种子节点对连接上的普通节点进行统一管理,根据一定的原则比如按照IP数值的大小,通知普通节点完成互相之间的建链,种子节点互相之间也根据这个原则完成两两之间的连接。图6描述集群成员关系建立的过程。
(1)分布式缓存当前有节点1、2、3、5共4个节点,相互之间两两存在链路,节点1、2是种子节点,节点0、3、5是普通节点。
(2)普通节点4新加入缓存集群,它首先根据配置主动连接种子节点1和节点2。
(3)种子节点1发现当前有普通节点0、3、5和它建立了链路,当普通节点4连接成功后,它根据节点大小原则指挥节点4连接普通节点 0 和3,同时指挥原有普通节点5连接节点4。
分布式缓存通过上述机制维护集群中节点的成员关系,最终在各节点间形成网状的全连接模型,两两之间具备通信链路,任何节点故障和恢复都能够快速被集群中其他节点检测到。
3 分布式缓存助力物联网平台云化
3.1 分布式缓存的优势和解决的问题
分布式缓存具有明显的技术优势。分布式的架构从架构上保证了良好的扩展性,当性能不够时,可以轻松地通过添加新节点的方法扩展性能;因为良好的扩展性,所以分布式缓存的容量可以随着节点规模的增大而呈线性增加,容量不会成为系统的瓶颈;分布式缓存采用的是基于Key-Value的简单存储方式,缓存的架构和以内存为基础的访问方式使得分布式缓存性能非常高,单节点每秒可以达到24万多次的读写操作;分布式缓存所使用的多份副本复制的方法,避免单点故障;同时无中心化的架构和一致性Hash的数据分布算法,使得局部节点的损坏不会影响整体集群的可用性,把故障的影响降到最低。
目前的应用在部署运行过程中常会遇到一些问题:第一,单节点不能满足性能要求时,需要扩展到多个节点,通常采用按号段的方式进行扩展,此种扩展方式不具有通用性,与各个应用密切相关,开发和维护的成本也较高;第二,在不同的物理节点的应用上共享数据,通常通过文件的方式或同步的方式进行共享,但是这在性能和一致性的处理上存在较大的风险和困难;第三,因为多个节点同时访问数据库,使得数据库和磁盘I/O成为系统的瓶颈,通常使用单节点的缓存方式来解决,这样一方面会造成系统资源的浪费,另一方面也使各个节点中缓存一致性的处理也非常复杂;第四,应用节点的应用程序意外退出重启动后,如何保证已有的会话不掉线,往往通过写文件的方法实现,这时磁盘I/O以及系统初次的加载都存在性能瓶颈。把分布式缓存引进应用后,可以方便地帮助应用解决这些问题。应用通过调用分布式缓存提供的API接口,把关键的数据放到分布式缓存中,而自身重点关注应用逻辑的处理,这样可以轻松打造出高性能的、可扩展的、高可靠的分布式应用系统,通过标准接口的封装,对外提供云服务。
3.2 分布式缓存在物联网中的应用
物联网的出现是信息通信技术(ICT)的新挑战。物联网无所不在,它可以使所有的物体,从洗衣机到冰箱、从房屋到汽车通过物联网进行信息交换。物联网技术融入了射频识别(RFID)技术、传感器技术、纳米技术、智能技术与嵌入技术。物联网技术将是改变人们生活和工作方式的重要技术。物联网主要包括3个层次,如图7中所示。第1个层次是传感器网络,也就是目前所说的包括RFID、条形码、传感器等设备在内的传感网,主要用于信息的识别和采集;第2个层次是信息传输网络,主要用于远距离无缝传输来自传感网所采集的巨量数据信息;第3个层次是信息应用网络,该网络主要通过数据处理及解决方案来提供人们所需要的信息服务。
物联网业务网关属于第3个层次,如图8所示。它是实现物联网应用和物联网终端智能连接的桥梁,能够提供接入认证、智能路由、业务计费、能力接入、服务质量(QoS)服务保障等核心功能。支持通用分组无线业务(GPRS)、短信、有线接入等多种网络接入方式。物联网业务网关汇聚所有的机器到机器(M2M)终端消息,除了支持标准协议终端的消息处理外,对非标准协议终端也提供IP层路由转发和业务鉴权功能。因此对业务网关相关的性能提出了极高的要求。
中兴通讯物联网业务网关采用多模块架构,通过引入云计算分布式缓存平台,使其具有极高的吞吐率,保证了网关的高并发处理能力,系统在两个刀片机框满配置的情况下,可达到18万条/秒的报文转发速率。分布式缓存的应用,使系统支持数据动态迁移,在个别节点故障不会造成事务的中断。
4 结束语
物联网与云计算存在着密不可分的关系。一方面,物联网的发展离不开云计算的支撑。从量上看,物联网将使用数量惊人的传感器(如数以亿万计的RFID、智能尘埃和视频监控等),采集到的数据量惊人。这些数据需要通过无线传感网、宽带互联网向某些存储和处理设施汇聚,而使用云计算分布式缓存等系列技术来承载这些任务具有非常显著的性价比优势;从质上看,使用云计算系列技术对这些数据进行处理、分析、挖掘,可以更加迅速、准确、智能地对物理世界进行管理和控制,使人类可以更加及时、精细地管理物质世界,从而达到“智慧”的状态,大幅提高资源利用率和社会生产力水平。可以看出,云计算凭借其强大的处理能力、存储能力和极高的性能价格比,很自然就会成为物联网的后台支撑平台。另一方面,随着物联网针对智能交通、智能医疗、智能电网等领域解决方案的落地,物联网将成为云计算最大的用户,为云计算系列技术取得更大商业成功奠定基石。
城市现代化的标准之一就是燃气管道化,我国日益增长的燃气与现有管道设施之间不成比例,燃气市场还有较大的市场份额,由于燃气基础设施因素尚未被有效开发。与此同时燃气行业具有一定的垄断性质,没有有效的市场竞争,这一模式也给行业带来了不利影响。在管理及运营方面没缺乏技术创新,一定程度上对燃气行业发展形成了阻碍。市场情况是不断在变化的,燃气产品在没有完全的占有市场前,相关替代产品就已经出现,如电力,太阳能,集中供热对燃气行业形成了一定的挑战。对燃气行业而言,要加速推进改革的步伐,创新管理同时加大新技术在运营中应用。
一、信息技术的运用对燃气运维的重要性
社会经济的发展,环境状况日益变的恶劣,频繁发生的污染事件已经让人们意识到了清洁能源及保护环境的重要性。作为一种能源和原料,燃气在不同领域不同用途可以发挥不同的社会、环境及经济效益。如何快速有效定位需求群体,为客户提供优质、高效能源,城市管网建设工作如何开展,已有的管网如何运营都是管理者要考虑的问题。
计算机技术应用主要体现在公司生产运营及销售。信息技术在燃气行业的运用主要是通过相关软件及某些具有代表性的技术,比如数字技术,ERP软件,地理信息系统。通过相关软件运用可以对现有的市场现状进行预测,建立不同情况下的需求模型,对于影响燃气需求的影响因素进行分析,寻找供求之间的平衡点,通过对已有数据进行整理和分析利用大数据技术挖掘数据背后有用信息。并对市场情况进行实时的监测与预测,并对市场中的风险进行一定的预测[1]。
二、信息技术的应用
2.1安全及收益
信息技术的应用一方面是把现实问题转化为数学模型,可以将复杂问题简单化模型化,简单是相对于计算机而言的。第二则是对于已经建立的数学模型进行求解。对于模型建立要求既能够体现出现实问题的特征,同时又要便于用数学的方法解决。实际上对于二者而言很难找到真正意义上的平衡点,在生活实H中只能从实际情况出发,尽可能的满足某一方面或者是某些方面。
计算机信息技术在燃气管网中的运维主要是对相关的模型进行优化、求解,计算。信息技术的运用有助于对相关量进行分析,如管道的流量。对于燃气管优化,其基本特点在于模型之中等式约束与不等式约束二者是并存的,线性与非线性约束同样也是并存的。
应用在管网安全及收益方面。现有的管道运行时间长短不一,管道性能状况各异。某些因素在短时期内是无法改变的,这一类因素将其称之为不可变因素。信息技术运用主要与剩下部分可变因素有关。比如,对于某一条管道的用户流量与价格,适用运行方案,管道周边环境及管内气体运行环境等。通过对运行过程相关情况了解可以从相应方面进行改进,从而降低运行成本,提升收益。对于可变因素的影响可以从以下方面来考虑。建立模型并对不同用户划分不同等级,以此达到结构优化的目的。以用等级模型为基础进一步对用户燃气使用量模型进行优化,从而达到社会与经济效益提升的目的。用户模型建立的内容可以从以下方面来考虑,用户类型,燃气使用量大小,用户在区域上的分布,燃气价格,燃气质量及稳定性,合同履行情况。在综合考虑的基础上对用户进行划分,并以此作为供气的相关依据,并对用户的用气量模型进行优化,达到社会效益与经济效益的平衡点。
2.2数字化管网的建设
数字化管网是自然管道一种虚拟表现的方式,将人文与自然的信息融合其中。数字化管网应该是一个集成的系统,其特点在于空间性,数字性与集成性相互融合。数字化管网包含的信息有管网自身的布局情况,管网运行及建设情况,管网维护情况,管道沿线社会人文情况,每个方面都可以作为单独的系统,数字化则是将不同的系统集中在一起,并通过便捷作用的界面为管理人员的工作提供相应服务和支持。
数字化管道建设首先要完善各个子系统的资料,这些数据资料作为基础为整体系统的运行提相应的支撑。资料在完善过程中会汲到不同技术的运用。如GIS,该项技术的作用主要体现在其数据及图象管理为系统提供的是最原始的信息资料,管线在地图上的位置及相关的属性都能在此方面体现,如管长,管径,规格,材质等。在后期查询时能够一目了然。对于存在一定风险的管道线路,可以在实时监测的基础上进行分析,对风险提前做好相应准备工作,并对事故及危险的应急预案形象化表述,为运营安全及管理科学、规范化提供保障。最后一点也是关键的一点,如果某一处线路出现了故障,计算机能够对该区域进行分析计算,给出影响最小的施工方案。其中涉及到的数据包括了该区域的用户不同等级,用户数量,可以关闭的阀门,故障管道情况,抢修应该做好哪些方面的准备,管道的有效使用期限及使用情况,周边的工作人员的分布情况,维修的相关的记录等,做到有备无患。由于是电子资料,应用较方便,常用的功能如平移,缩放,图层管理等一应俱全。
数字化建设工作的第二步是结合现有的可用资料如设计,施工相关数据并对数据进行校对,对于新投入使用的管道,工作人员要对不完整的信息进行补充,如材料,连接,设备选型,管件等方面。为后期工作奠定基础,避免由于信息不完整造成的工作失误[2]。
最的一步同是对管道沿线环境情况的相关数据录入,此方面数据要考虑到风险相关方面问题,为风险评价及处理工作奠定基础[3]。
2.3数据挖掘
对于数据挖掘定义为从大量完备随机的数据提取隐含于其中的,事先不为人知潜在有用知识的过程。从定义可以看出,显著的特点就是一定量的数据,对于燃气行业而言,市场的规模越大,数据整体的量就越大,数据挖掘不仅仅需要用户的信息,还需要与用户相关的信息。不同信息叠加在一起就形成庞大的数据流。将这些数据集中在一起并运用某种分析方法,就可得出隐藏于其中的潜在有价值信息。可以是数学方法可以是非数学的方法,对于被挖掘的信息而言,可以用在管理,决策,系统优化等方面。
数据的功能主要体现在以下几个方面,首先是关联分析,包括了简单,时序,因果关联,指的是不同数据之间存在的某种联系,并且这种联系能为生产带来一定好处。其次是概念描述。再者是聚类,将数据以不同的标准分为不同类型,并提取其中的有用信息。最后是分类及预测、偏差检测。数据挖掘在燃气行业的应用主要体现在客户细分,燃气销售及预测,管网维修等部分。管理工作的逐渐成熟,工作重点开始向用户细分方向发展,其目的在于确定被服务群体中的优质客户资源及如何有效维护好这部分资源,对于有潜力的资源要做好后期开发工作。用户细分在营销整个过程中一直都受到极高重视,早期细分的标准较为宽泛,得到的数据也只是一些基本的有直接关系的数据,无论从内容还是数据量上来看,都难以满足更深层次发展的需要。而计算信息技术的应用可以有效的处理大量数据,在细分程度上可以进入到更深层次。获取的信息也更有价值。
2.4智能巡检系统
对于燃气行业维修工作是不可避免的,同是也是整体工作中重要的组成部分,一但发生事故,将对人民的生活与安全造成严重影响。传统的巡检工作主要是人工巡检并做相应记录,存在信息传递过程失真,管理人员自身技能及素质,工作效率不高的情况。计算机及信息运用,可以将不同技术结合在一起,在维修过程中将现场资料实时上传,系统存储并进行相应的分析,为后期隐患的排除,风险预测,技术及施工方案的改进奠定基础。
三、结束语
管网运维是一项系统、复杂的工作,信息技术的运用为行业发展提供了技术上的支撑。技术的运用离不开人,管理者在技术运用的同时要优做好管理工作。确保为广大用户提供优质高效的服务,才能在市场发展及竞争中立于不败之地。
参 考 文 献
一、 引言
随着海量数据信息时代的到来,云计算已经成为新一代的主流计算模式,受到企业信息化管理人员的关注[1]。与传统计算机技术相比,云计算具有很多优点,分别是高耦合性、适用于处理数据密集型业务、实施高效率云端数据管理[2]。云环境包含了成千上万台计算机,并通过矩阵方式连接,计算能力成数量级上升,远比大型的服务器计算能力更强,性能也更加稳定[3]。
企业信息系统部署于云计算平台,可以虚拟化硬件资源,按需为用户提供服务,开展个性化定制服务,进一步提升企业资源利用率[4]。
三、云计算技术及其在企业信息化中的应用
云计算最为关键的技术是虚拟化,利用虚拟化将所有的硬件设备资源集成在一起,为企业信息化系统提供一个集成的、统一的、并发的、虚拟的运行平台,这些平台根据虚拟化程度可以划分为三个层次,分别是基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。基础设施即服务(IaaS)为企业信息系统直接分配硬件资源,比如CPU、网络带宽、存储区域等,无法节约资源和提高使用效率[5]。平台即服务(PaaS)按照用户的访问调度系统,共享硬件资源,提高了系统并发性、资源利用率[6]。软件即服务(SaaS)为用户提供最高的并发服务,多个用户能够同时共享CPU、带宽资源和云平台[7]。
企业信息化系统在构建云计算平台时,可以根据企业的具体需求,按需购买服务,比如可以仅仅购买应用软件,这样就不需要支出基础设施和平台费用;如果企业的安全需求、数据机密性较高,也可以购买独立的应用服务器或存储器,独享硬件资源。
二、企业信息化发展应用
云计算为企业信息化发展提供了强大的支撑,可以有效提升企业办公虚拟化和共享化。目前,针对企业信息化发展进行调研和分析,许多企业在引入云计算技术时,这些企业多倾向于购买应用软件服务,与其他企业共享平台和基础设施,常用的应用软件包括公文管理系统、人力资源管理系统和OA系统。
OA系统引入云计算技术之后,可以为用户分配一个云端账号,用户可以通过PC机、智能手机、平板电脑等设备登录云端账号,进入云计算服务系统,实现企业办公协作配合、邮件传输、信息共享、个性化设置、工作管理、代办事项管理等功能。云计算服务系统在公文管理系统中应用时,可以将政企单位发送的公文、接收的公文进行有效的归档,提高公文管理系统的访问、存储效率,节约政企单位的信息化建设资金。
企业信息化系统越来越多,并且分类也逐渐引入了许多先进的数据挖掘、工作流、智能存储等技术,在为企业提供便利的同时,也需要企业采购专门的计算机设备,建设专业化机房,支撑信息化软件运行。
四、结束语
云计算集成了并发计算、网格计算、虚拟化、负载均衡、大数据存储等多种先进的技术,其可以虚拟化企业信息系统硬件资源,将企业常用的OA系统、公文系统、人力资源系统等集成到云平台上,共享硬件存储资源和网络资源,实现并发处理和服务,在普及信息化系统的同时节约了企业资金,具有重要的作用。
参 考 文 献
[1] 黄云峰. 虚拟化、云计算在地税信息化系统中的应用探讨[J]. 中小企业管理与科技旬刊, 2015, 37(30):160-160.
[2] 罗爱玲, 徐宇亮, 耿应春. VMware服务器虚拟化在企业管理中的应用[J]. 科技创新与应用, 2014, 31(2):33-34.
[3] 杨华生. 虚拟化技术在财政信息化建设中的应用研究[J]. 企业科技与发展, 2014, 42(9):65-66.
[4]刘川意,林杰, 唐博. 面向云计算模式运行环境可信性动态验证机制[J]. 软件学报, 2014, 25(3):662-674.
随着信息数据不断的发展,信息及数据的密度逐渐提高,云计算也成为一大热点逐渐进入人们视线,已经是目前最受关注的话题及新技术。现阶段,云计算被广泛的应用于互联网及计算机行业,包括微软、谷歌、IBM等大企业都逐步退出了自己的云搜索引擎、云计算平台、云网络信箱等。云计算核心技术有其独特的优势,在广电系统中也有较好的发展前景。
一、概论云计算理念及起源
在传统的信息技术模式中,如果企业要建立起一套IT系统,不光要购买相应的硬件设施,还要具备购买软件的许可证,然后请专业的服务人员进行维护,保证系统的正常运行。假如有一种服务,可以专门的为多数企业提供其所需的相应硬件及软件设施所带来的服务,那么企业就能够用少量的租金租赁到相应的服务,从而促使企业不用花费大量资金购买相应的设备提供服务的费用,有效降低了企业成本。通过科研人员的不断探索,云计算诞生了。谷歌是最早提出云计算概念的企业,因为谷歌早期的创业者并没有大量资金购买那些比较昂贵的商用服务器进行搜索引擎的设计,仅能选择比较廉价的Pc作为业务需求支撑,利用自己的才智最终成功的利用软件优化技术将相应的PC集群的稳定性做到了高于商用服务器,更好的支撑业务,在成本上却大大低于商用服务器标准配置的费用。
二、云计算核心技术的优势
1.拥有科学简便的编程模型
MapReduce为谷歌所开发的Python、java、c++变成模型,为一种简化了的分布式的编程模型及高效任务调度模型,可以对大规模的数据及进行并行运算,非常方便。
2.具有海量数据分布存储的技术
云计算系统主要是大量服务器组成的,能够为大量用户进行服务,因而云计算系统进行数据存储的时候主要采用的是分布式存储方式,利用冗余存储这种方法能够使相应数据可靠性得到充分的保证。目前,云计算系统当中使用比较广泛的数据存储系统为谷歌公司的GFS及Haddoop团队所开发的GFS开源实现HDFS。
3.拥有海量数据的管理技术
云计算要分析并处理海量的、分布的数据,因而,数据管理技术一定要可以对大量数据进行高效管理。云计算系统当红总的数据管理技术通常采用的都是谷歌工期开发的BigTable数据管理技术以及Hadoop团队所开发的开源数据管理模块,也就是HBzse模块。
4.高效的虚拟化技术
通过虚拟化技术可以将软件应用同底层硬件的隔离,虚拟化技术一方面包括将单个资源划分成若干个虚拟资源分裂模式,另一方面也包括将多个资源整合成一个虚拟资源聚合模式。按照虚拟对象能够把虚拟化技术分成计算虚拟化、存储虚拟化、网络虚拟化等几种。
5.拥有较强的云计算平台管理技术
云计算系统平台管理技术能够使大量服务器进行协同工作,对相应业务进行方便快捷的开通和部署,及时发现并恢复系统故障,通过自动化、智能化方法使大规模系统运营真正实现。
三、云计算在广电系统中的应用
云计算这项新技术的优势通过在互联网中的应用已经得到了充分的展示,可是广电云平台建设绝不可以照搬照抄互联网模式,一定要采取因地制宜的方式植入广电行业资深特色,还必须对诸多问题进行持续的探讨及完善。
(1)云计算契合了广电需求
在我国三网融合工作得到不断推进的背景下,现阶段全国第一批的12个三网融合试点的名单已经公布了,三网融合工作也真正进入到了实施的阶段。在这种情况下,电视台、有限网络公司、电台不仅应储存并管理海量的信息内容资源,还要整合视频、数据等多种多样的信息资源,提供一种综合性的信息服务,从而提高了对存储容量、计算效率等方面的要求。云计算能够有效实现共享硬件资源,架构扁平化的网络,不仅能够有效降低成本,还可以充分实现存储海量内容资源及分布式计算。广电行业对资源整合的需求同云计算独有的优势实现了高度契合,因而在未来,广电行业中一定会广泛的应用前景。
2.在广电系统中应用云计算的安全性
广电行业是一个有着较高的知识产权行业,在目前所使用的安全技术的前提下,能够利用云计算技术,加强数字电视播出的安全性。云计算技术当中具有最安全、最可靠的数据存储中心,所以用户就不用在担心丢失数据、病毒入侵等问题。利用云计算的强大计算功能,可以对不同用户设置不同体系密码,从而强化对云端客户授权及认证。此外,还能够利用云平台实时防护的措施,保证广电行业相应增值业务的安全性。三网融合以后,相应的数字电视增值业务会拓展到各个领域当中,多种双向互动业务,更需哟啊具有较强的金融安全保护。云计算通过其强悍的计算能力,能够方便的对数字电视从前端一直到终端、终端存储、双向链路等实行全局的监控,从而达到立体式的安全防护。
3.三网融合下的云计算商业模式
随着云计算技术的不断发展,广电行业中对其的应用日益广泛,为人们的生活带来了巨大的变化,并将产生更加深远的影响。在三网融合的不断推动下,各种业务都能通过机顶盒、移动终端、PC等实现互动,从而使云计算在广电增值业务当中发挥更大的作用。
四、云计算核心技术在广电系统中的关键性因素
1.政策导向问题
在我国,广电系统有着商业性及宣传性两重属性,业务的开展会受到有关政策的影响及制约,例如广电系统怎样建立起云计算系统、可以开展什么业务、系统的规模应多大等等。目前我国还没有比较明朗的政策导向,所以在广电系统内进行大规模云计算系统的部署还不太恰当。
2.行业趋同问题
因为我国的广电行政管理体系比较松散,缺乏规范的技术标准,所以在行业内部署公有云系统,还需要很长时间统一相应的标准并获得国内行业单位的支持及认同,所以在一定程度上阻碍了云计算在广电行业内的应用。
3.资金配套问题