绪论:写作既是个人情感的抒发,也是对学术真理的探索,欢迎阅读由发表云整理的11篇云计算技术基础范文,希望它们能为您的写作提供参考和启发。
引言
随着网络技术的不断发展,云计算也不断完善,不仅可以为计算机数据运行提供平台,也能为计算机发展提供方向,因此,相关计算机技术人员要注重云计算技术,通过发展混合云计算、进行云计算迁移,能够保证数据传播的安全与稳定。
1云计算技术的内涵
云计算(cloudcomputing)是基于计算机技术的一种增加服务和使用交付模式的技术,主要为计算机运算提供虚拟化的动态链接资源。所谓的“云”是指一计算机互联网的比喻方法。“云”由原来的比喻,逐渐转变为计算机处理数据时的动态以及基础设备的抽象化概念。由于云计算具有开放式运算特点,它能够在每秒内进行15万亿次的运算,因此,拥有如此强大的数据计算能力的云计算,能够模拟核爆炸、预测天气变化和推测金融市场走势。用户端只需要通过电脑、笔记本电脑、手机就能够接入数据中心,从而按自己所需,进行数据处理。现阶段,接受最广的云计算定义:云计算是一种按照数量来付费的数据处理模式,这种模式能够为用户端提供可靠的、具有针对性的网络访问权限。用户端能够接入可共享计算资源池,包括网络资源、服务器资源等,这些资源可以被用户端快速搜索出并被使用,从而只需非常简单的操作,就可以和服务供应商交互。
2云计算技术在计算机数据处理过程中的应用
2.1保障数据传输提供安全
云安全(CloudSecurity)是一个云计算延伸的概念,主要是指用户端在进行计算机数据处理的过程中,使用云计算,能够保证数据信息安全。用户端越多,每个使用者的数据就越安全,因为,用户端群体增大,能够覆盖所有计算机互联网数据角落,只要出现木马病毒或者被病毒感染,云计算技术就可以及时截获病毒,从而保证用户端安全。云安全主要表现在以下三个方面。(1)安全问题。用户端在进行数据传输的过程中,会遇到访问权限,需要输入正确的密码,才能够完成数据传输。这是云计算基于原有的安全方法不断加密,从而使“输入图片中的数字”问题,变得更加深奥,避开一眼就能看出答案的问题,保证个人密码安全。(2)双重认证。用户端在进行计算机技术传输过程中,还会遇到允许其他用户访问或者拒绝访问的情况。在云计算中,除了用户名和密码外,还需要验证码。验证码一般是通过信息的形式发送到手机,同时,也有语音、图片等验证码,通过这样的方法,如果用户端处于被访问的状态,能够拒绝登录,从而保障数据的安全性。(3)登录地点。定位系统能够显示出用户端的实际位置,这样会导致信息安全问题,因此,云计算对登陆地点进行保护,用户可以隐藏自己的位置,同时,云计算会提供邮件服务,显示用户账号的异地登录现象,保护数据信息安全。
2.2云计算可以为数据处理提供平台
云计算技术主要包括两个层次的服务:(1)IaaS基础设施级服务。用户者通过网络能够完善计算机基础设施,包括存储空间、网络连接等基本计算资源,在此基础上部署和运行各种软件,包括操作系统和应用程序。现如今,主要的iaas平台产品有华胜天成、OPENStack、Cloudstack等。(2)PaaS平台级服务。PaaS平台主要包括操作系统、编程语言的运行环境、数据库和Web服务器,用户在此平台上部署和运行自己的应用,不能管理和控制底层的基础设施,只能控制自己部署的应用[1]
3云计算技术在计算机数据处理中的发展策略
3.1保障云计算安全
随着计算机技术的不断发展,人们的信息数据安全意识也逐渐提高,更加注重在计算机数据传输过程中,云计算技术是否能够发挥保护数据作用,因此,相关技术人员在进行云计算技术研发时,要注重云计算发挥安全保障作用,主要体现在以下两个方面。(1)研发新的加密技术。加密技术是通过数学或物理手段,对数据在传输过程中和存储体内进行保护,以防止泄漏的技术。加密技术具有一定的标准,技术人员在研发新的技术时,需要应用到数据加密标准,一次性将64位明文打乱顺序,接着将把64位的明文分解成两个32位块,在用机密算法将每个32位块打乱为16位,最后使用初始置换的逆置换。(2)安全协议。安全协议是通过一种建立在密码基础上的通信交互协议,运用密码算法和逻辑,来实现密匙认证与分配。因此,技术人员在进行安全协议架设的时候,要注重熟悉加解、解密等密码运算,从而能完成加密密钥和解密密匙。
3.2研发混合云计算
混合云计算是指私有云计算和共有云计算二者混合运用。混合云计算能够良好协调两者,可以为企业、个人带来融合应用体验。混合云计算主要有资源自动化和提升硬件价值的优点。其中,资源自动化能够在单一域中,使用自动化方法,来控制、管理计算机数据;而实现硬件的价值,主要是降低数据运行成本。例如,一家企业购买了数据采集和监控系统的硬件,当迁移至公共云计算时这些硬件投入就失去了价值。
3.3研发移动云服务
随着移动端的普及,未来云计算技术发展趋势一定是移动云服务。移动云服务能够起到扩充移动端的能力,同时还可以增强多媒体、Web离线及本地数据存储的能力。现如今,大部分移动设备都能够用来信息传递、数据通信,因此,技术在研发移动云服务的时候,需要注重以下两点。(1)实现Windows应用的无缝迁移。用户端应用迁移到移动端会面临着运行不畅的问题,影响用户体验,因此,技术人员要提高移动端数据传送的流畅,降低开放应用数量和容量减材,从而确保计算机数据的传送和安全。(2)基于信息系统进行开发。技术人员要保证移动云服务的数据安全,通过集中管理应用、完善用户权限管理、对数据加密保护和多种登录验证,包括信息、语音验证等。从而降低数据被盗用和被截取风险。
4结束语
云计算能够促进计算机数据处理技术发展。在此基础上,通过研发新的加密技术、架构安全协议,能够防止技术泄漏、确定参与协议的主体标识,同时,通过“跨链通信”区块链安全协议、混合云计算方法唤醒硬件设备,能够扩充基础设备容量、降低数据运行成本。
参考文献
中图分类号 TP3 文献标识码 A 文章编号 2095-6363(2017)08-0070-01
云计算技术融合了负载均衡、网络存储、效用计算和分布式计算等计算机网络技术,具有扩展性、通用性、大规模、虚拟化等特点及可提供可靠、廉价的服务。云计算的服务包括IaaS(基础设施即服务)、PaaS(平台即服务)及SaaS(软件即服务)3种模式。据艾瑞咨询数据显示,2016年中国企业云服务的市场规模或达520亿,同比增长31.9%,且在未来几年中,云服务市场仍会以超过30%的年复合增长率高速发展。在这一背景下,社会非常关注云安全的问题,具体涉及云端、应用服务层和基础设施层的安全层次。针对这一问题,中国建立了BIM云计算中心、360、绿盟、启明星辰、瑞星等公司制定了网络安全解决办法,并出现了阿里云、BIM云和百度云等,从而为云计算技术应用的安全性提供了重要保证。
1 网络安全存储的关键技术
1.1 身份认证
身份认证是保护计算机网络存储系统安全的第一道关口,其主要采用下列几种技术方式:一是口令核对验证,即在身份认证时,用户仅需输入事先建立的合法用户名与口令,便可校验用户是非法的或是合法的;二是智能IC卡,即事先在智能IC卡中录入用户的合法信息,而在身份认证时,仅需输入合法的用户名与口令,便会由智能卡向认证服务器发送随机数,以验证用户身份的合法性;三是Kerberos身份认证,即先利用授权服务器、资源访问机制使用户口令生成密钥K,再经授权服务器提供的票证认证身份,并在获得合法凭证后获得相关服务;四是PKⅠ身份认证,即通过利用彼此匹配的密钥,实现加、解密,并采用密钥备份、更新与恢复机制,以提供计算机网络安全服务。
1.2 数据加密
数据加密是先运用加密密钥、加密算法使明文变为密文,再在解密时采用同样的办法使密文为明文。目前,数据加密技术的常用方法包括对称、非对称加密算法。其中,对称加密算法使用的密钥加、解密数据相同,详见图1。
结合图1,对称加密算法要求发送方、接收方知晓全部数据的加密密钥或具有访问权限,因此密钥在传递与管理上的难度很高。不对称加密算法的运用可有效弥补对称加密算法的不足,即其会使用一对公、私钥组合,且唯有私钥能解密经公钥加密的或公钥能解密经私钥加密的密文,其中公钥对外公布,而私钥由自己保存。
1.3 纠删码
在计算机网络存储系统中,可运用纠删码技术来应对误码信息位置的未知性、不确定性,且其要素包括分组码、码集、码字、监督与信息码元等。目前,常用的纠删码技术包括级联低密度纠删码、无速率编码和RS纠删码,从而实现了加速编、解码及保证计算机网络安全的目的。
2 云计算技术的应用
在计算机网络安全存储中,云计算技术的应用条件是规模化的分布式存储技术,即其适合用在声音、图像、视频和文档等文件中,且可保证这些文件存储的稳定性与可扩展性,同时要求用户按需付费。在这一应用过程中,一般通过副本、编码冗余存储和备份数据,以保证云计算技术的安全应用。
2.1 可取回性证明算法
可取回性证明算法是一种基于“挑战-响应-验证”机制的算法,其运用冗余纠错编码,以帮助需求用户验证云计算中数据的状态,即:在查询数据时,先由用户向云端发起挑战,再由云端据此作出响应,而用户通过验证云端响应信息,便可确定归档数据是否处在安全状态下。倘若验证未能通过,表面归档文件受损,要求尝试性恢复,而若破坏值处在阈值范围内,则可用编码冗余信息恢复原始数据,同时亦可利用副本冗余安全存储保障,以使恢复错误数据的几率更高。应用表明,可取回性证明算法可验证云中数据的完整性,可准确定位错误数据及进行深入的分析与处理。但若在原始数据的冗余编码中运用RS纠删码,会在一定阈值范围内出现数据丢失或错误现象。为此,通过可运用冗余数据进行修复,并分开放置,以使提取归档文件的速率更高,从而使得系统应用功能的便捷性更高。
2.2 MC-R应用策略
在计算机网络安全存储中,云计算技术在应用中采用的MC-R策略包括:一是用户端MC-R策略或用户端MC加密算法,即:针对数据伪装与隐藏能力较差的应用现状,运用用户端MC加密算法,可构建数据伪装、隐藏和标记模块,且这些模块的协同状态影响着云计算的安全应用;二是云端MC-R策略或云端RSA,即其仅加密核心隐私数据,以免云端RSA陷入大数据量消耗的状态中,其中对于加、解密模块,其应用流程如下:先由需求用户生成、保存一组RSA公、私密钥,再采用MC加密算法处理数据,并连同密钥传入云端,然后先云端加密数据,而在下载加密文件及用密钥解密数据时,要求需求用户的下载请求满足一定的条件。对于恢复、利用初始数据的问题,可先用云端数据标记模块寻找隐藏数据,再撤除伪装。
3 结论
在本案,笔者结合云计算技术的理论知识,探讨了其在计算机网络安全存储中的具体应用。研究表明,云计算技术具有性能高、可扩展性等优点,因此有助于保证网络数据的隐私性与完整性,同时通过运用M-POR、MC-R安全存储策略,可实现对网络数据的完善、保护及实现部分数据的安全共享。总之,云计算作为一种新起的商业计算模型,其为下一代网络计算平台提供了可靠的数据存储、优质的网络服务。换而言之,为了适应互联网的深入发展,在计算机网络安全存储中引入云计算技术及保证云计算的安全存储具有现实意义,值得高度重视。
参考文献
[1]张菁菁.新时期云计算环境下的计算机网络安全技术研究[J].中国新通信,2016(4):44.
[2]袁玉珠.云计算模式下的计算机网络安全储存系统设计[J].电子技术与软件工程,2016(7):227.
云计算技术具有规模大、虚拟化、可靠性强、高扩展性、按需付费且价格低廉、优越的事务处理环境等特点,可以根据用户的不同需求对数据信息进行计算、备份和存储,其服务模式主要包括三种,分别为基础设施即服务、软件即服务、平台即服务。基础设施即服务(Infrastructure-as-a-Service),主要是利用硬件设备和虚拟机设备等提供扩展,可以更好的发挥计算机的存储作用。软件即服务(Software-as-a-Service)为用户提供虚拟桌面程序和软件应用程序。平台即服务(Platform-as-a-Service)就是根据用户的需求开发Web服务。云服务商提供的这些服务在资金节约及数据安全性等方面具有很多优势。
2造成计算机网络安全存储问题的因素分析
随着网络技术的发展,网络中存储着大量的信息,涉及到商业机密、个人机密信息等,关系着工作和生活的方方面面,因此,保障网络数据的安全显得尤为重要,但是技术的快速发展让整个网络环境变得十分复杂,很多因素都不利于网络信息的安全存储。第一,计算机系统的安全问题。计算机系统的安全问题主要变现在硬件问题和软件问题两个方面,其中,硬件系统的问题主要是硬件设备发生故障或者是人为原因对硬件设施进行破坏,软件的问题主要是操作系统、数据库等容易受到一些不法之徒与黑客的攻击,他们为了获得某些利益,通常会利用相关的技术变更用户的访问权限,严重破坏计算机系统的正常运行。第二,计算机网络病毒。计算机网络病毒的传播主要通过文件下载、网页植入、电子邮件等方式进行,通过采用计算机网络病毒对系统进行蓄意攻击,可以侵入他人的计算机网络系统盗取信息,甚至还会通过不断的复制和传播,造成整体系统的瘫痪,破坏强度大,比如木马程序,它隐藏性强,植入之后不会马上爆发,不法之徒可以通过该程序远程对计算机进行控制,给计算机网络安全造成威胁。
3计算机网络安全存储中加强云计算技术运用的策略
3.1对存储数据进行加密,提高安全保护系数
基于云计算技术提高网络数据存储安全性,可以应用加密技术,形成只有合法用户才能知道的密文,提高数据存储的安全系数。云计算环境的数据存储安全技术主要包括密码技术、加密算法体系。(1)密码技术。密码技术可以采用加密方式保护数据,数字证书鉴别身份,数字指纹及数字签名、密码技术验证等,对计算机网络安全存储十分重要。加密方式保护数据主要通过密码转换的方式将明文变成只有数据合法使用者可以恢复的密文,对传输的数据和存储的数据都可以进行加密。数字证书鉴别身份主要是通过标识网络通讯双方的身份信息确保数据的安全存储。密码技术验证主要是在数据储存过程中为了防止被篡改,将原始数据使用密码技术运算之后生成消息验证码,将消息验证码与原始数据一起存储,从而实现对数据的可靠性和准确性的验证,主要应用在票据防伪中。(2)加密算法体系。为了提高数据存储的安全性,还可以使用加密算法,包括对称加密算法、非对称加密算法、Hash算法、阿里云SSH密钥对,其中对称加密算法的加密和解密密钥是可以相互推算的,只要知道密钥就可以实现数据的解算。非对称加密算法的通信双方加密和解密所需要使用的密码是不一样的。阿里云SSH密钥对由公钥和私钥组成,是一种用户登录认证方式,确保了计算机数据存储的安全,但是该密钥对仅支持Linux实例。(3)M-POR算法。M-POR算法在“挑战—响应—验证”机制中具有非常重要的作用,当用户归档文件数据时,系统会自动将挑战申请发送到云端,云端响应用户申请之后,发送验证信息,用户通过验证说明数据是安全的即可进行归档,如果未通过验证,则代表归档文件已破损,需采进行恢复,可以采用编码冗余信息实现文件数据的恢复,但是如果文档数据破坏严重,超出了恢复的阈值需要进行数据深层分析。
3.2强化计算机网络安全防护工作
除了数据加密之外,为了防止日常操作中计算机硬件系统损坏而造成的数据安全问题,可以应用灾难备份与恢复技术和安全审计技术,帮助解决各种突发的数据安全问题,在短时间内完成各种数据的恢复,防止数据遗失。此外,还可以采用身份认证技术,提高数据存储安全性。(1)灾难备份与恢复技术。云计算环境中的灾难备份与恢复技术主要为主机失效保护技术和数据的备份与恢复技术。主机失效保护技术主要包括主机集群技术,负载均衡技术和主机切换技术。主机集群技术主要是通过心跳线方式对业务系统主机的工作情况进行监听,一旦发现问题,就会自动把业务转换到灾难恢复系统主机上来处理。负载均衡技术如果某台主机在监听中发现问题,其主机上的负载会自动分配到其它正常运行的主机上。主机切换技术根据预先设定的灾难恢复预案,实现主机切换。数据备份和恢复技术主要包括异地保存技术、异地备份技术及远程复制技术。异地保存技术将本地备份数据磁盘在其它主机进行重新安全和恢复。异地备份技术主要是借助数据备份软件,对数据进行分级存储、灾难恢复和备份等。远程复制技术经过对数据产生端与数据灾难恢复端的网络,保证两端数据量、数据内容在每时每刻都能完全相同。(2)安全审计技术。安全审计的基本思路为基于数据仓库技术、数据挖掘技术,在不同的网络环境中监听某个终端的运营情况,一旦发现问题立即按照相关的方式给被监控终端的管理者发出警告,或者是启用故障恢复系统进行问题排查,追踪和分析历史数据记录,确保网络系统的运行安全及存储的数据安全。(3)身份认证技术。身份认证技术通过口令核对身份验证、智能IC卡身份认证、Kerberos身份认证以及PKI身份认证,确保用户登录的合法性。
3.3增强和完善云计算信息库的防火墙功能
防火墙在整个计算机系统的运行中具有非常重要的作用,它是网络安全的重要保护屏障之一,通过防火墙技术可以拦截各种恶意软件和病毒的攻击和入侵,但是随着网络入侵技术的不断提升,需要对防护技术进行不断升级,可以采用安全组。安全组是一种虚拟防火墙,由同一个地域内具有相同安全保护需求并相互信任的云服务器实例组成。安全组具备状态检测和数据包过滤功能,用于在云端划分安全域。通过配置安全组规则,允许或禁止安全组内的云服务器实例对公网或私网的访问。
3.4云安全服务的应用
除了数据加密之外,还可以采用云计算环境下的云安全服务提高数据存储的安全性,一是,应用基础安全服务。一是,云服务器中的基础安全服务。该服务可以实现漏洞扫描、对异常登录进行检测,通过云安全中心或者是云服务器的控制台可以随着查看云服务器的安全状态以确保存储的数据安全。二是,DDoS基础防护服务。通过该防护服务可以有效拦截对云服务器的恶意攻击,保护云服务器的安全稳定运行,阿里云云盾默认为云服务器实例免费提供最大5Gbit/s恶意流量攻击。三是,RAM访问控制。只有具有RAM用户权限策略才能对云服务器资源进行访问,一定程度上保证了数据资源的安全性。
随着物联网、网络、移动通信等的快速发展,特别是互联网的普及使得信息传播的规模和速度呈现几何增长,人们获取信息的途径和方式开始变得异常丰富,人们事实上已经进入了“信息大爆炸”时代。与此同时信息传播的大容量、高效性和准确性也对现有的数据处理体系提出了更高要求。根据大数据摩尔定律,人类世界的数据产生量将按照每两年一倍的速率增长,预计2020年世界数据量将超过35亿GB,“大数据”时代迫在眉睫。“大数据”具有离散型、随机性、发散性、爆发性等特点。近年来,随着云技术的兴起全面革新了传统的数据技术,大容量、多样化、快速处理、信息价值性和准确性为了云技术背景下大数据处理的五大主要特征。如何利用云计算技术对大数据进行高效处理已经成为了信息技术发展亟待解决的关键问题。
1 大数据和云计算的关系
云计算技术是指利用集中式远程计算资源池,通过按需分配的方式,为终端用户提供强大而廉价的计算服务技术。云计算技术作为一种数据处理方式,其技术特点包括:一是资源池在物理上是对终端用户完全透明的;二是能够为任何行业提供规模化计算服务,其服务能力可看做是“无限”的;三是其应用部署快速便捷,服务能力和方式是可以完全按照终端客户要求定制的,具有极强的弹性伸缩能力;四是云端数据获取方便,能够资源共享,用户使用成本低廉。
云计算技术是目前最强大的数据存储、传输和处理平台,它是大数据处理的最优选择。云计算能够为大数据提供几乎“无限”的存储空间和处理能力,满足其超大容量存储和超级复杂的处理需求,也是传统存储方式无法实现的。云计算侧重数据的计算处理,而大数据需要强大数据处理能力,因而它是云计算的处理对象。此外大数据所产生的业务需求也为云计算的实现提供了更多的形式。
2 基于云计算的大数据处理技术
2.1 大数据的采集技术
目前数据采集方式主要分为集中式和分布式两大类。其中分布式的灵活性较强,而集中式的全局性较好。实际上大数据采集的对象通常包括组织内部和相互独立组织间的各类数据,而云计算恰好具有并行处理的优势,因而可采取混合式采集方式能够更加有效地完成数据采集任务。即在各个组织内部采用集中式数据采集方式,通过在组织内配置中心服务器,作为集中式数据注册机构,用于存储和共享内部的数据。在相互独立组织间,采用云计算的集群技术、虚拟化技术等在各独立组织中心服务器间采用分布式采集方式实现数据采集、组织间对接和共享。大数据结构类型包括结构化、半结构和非结构化数据,因而在应用云计算技术进行分布式采集时,可依托其超强的扩展性和容错力,将数据池内数据进行同构化,从而实现数据进行分类存储。
2.2 大数据的存储技术
由于超大体量、离散、复杂的数据特点,传统数据存储模式已经难以满足大数据存储要求。一方面单结点的数据仓库在容量上难以满足呈几何增长的数据量,在运行效率上也难以满足大数据的分析处理需求。另一方面传统数据仓库按行存储模式,虽然可以实现大容量索引和视图,但实际操作中其时间和空间过高。而云计算主要采取列式存储模式,即区分数据不同属性,不同属性列都单独存放。云计算中列式存储的优势在于在投影数据时只需查询其属性列,系统处理量和处理效率显著提升。此外按数据属性进行列式存储,数据仓库中相邻列数据的相似性更高,因而能够得到更高的数据压缩率,进一步减少存储所需空间。
2.3 大数据的挖掘技术
联机分析能够完成数据的复杂处理,得到直观结果,实现决策性分析。云计算并行模式下联机分析能够基于数据全局,建立多维分析模型对数据进行多维度分析,从而尽可能获得全面的分析结构。由此可见多维度分析是联机分析的重要特征,而云计算技术下数据仓库正好是通过多维数据组织的。
联机分析对数据的处理仅仅只是表面的,其获取的信息价值并不高,难以得到数据深层次的含义与内在关联。而数据挖掘正是在联机分析的基础上,从超大体量的数据仓库中提取数据所蕴含的隐性信息,并将这些信息用规律、概念或是模型等表现出来。基于云计算的数据挖掘主要采用分布式并行挖掘技术。与其他串行方式相比,云计算技术下并行数据挖掘能够利用机器集群拆分分布式系统中的并行任务,并将拆分后的各个任务分别交由不同的机器去处理,从而实现大规模数据处理,其时间成本也大大降低。
2.4 大数据的可视化技术
上文所述数据挖掘可实现大数据的深层次、多维度分析,获取更多有用信息。而云计算平台下可视化技术则能够将上述信息具体化,从而使数据及其有关结构的相关信息能够更直观地表现出来,更容易被发觉和理解。可视化技术是指在存储空间中,将数据库及其中数据以图像(图形)的形式表示出来,并在其中再采用其他的分析手段获取图像中所蕴含的未知信息。而原有的数据处理仅仅只能够从数据本身入手,分析和观察数据中的内在信息。云计算下的可视化技术不但能够实现非空间数据的多维度图像显示,而且能够实现检索过程的直观图形显示,从而帮助人们更好地挖掘和理解信息,信息检索效率也大大提升。
3 结语
在数据爆炸时代,云计算的出现为大数据的存储和处理提供了可能,也为数据处理系统的功能扩展提供了重要保障。以往的数据管理将收集和存储作为重点,而在云计算模式下,大数据管理将更多地侧重数据分析、挖掘及管理模式的创新。目前数据采集和统计技术已经较为成熟,利用云计算进一步丰富大数据的存储和处理方式,实现更高层次的数据挖掘和可视化将是今后需要解决的问题之一。
参考文献
[1]孟小峰,慈祥.大数据管理:概念,技术与挑战[J].计算机研究与发展,2013,50(1):146+169.
[2]吴雪琴,基于云计算的大数据信息检索技术研究[J].电脑知识与技术,2014,10(10):38-41.
Data Computation and Data Storage in Cloud Computing
DONG Yu , GUAN Qun
(College of Computer Science, Sichuan University, Chengdu 610065, China)
Abstract: With the continuous growth of the network bandwidth, the conditions are more mature that access non-local computing servic? es through the network, so there is a technology what we call "cloud computing".The cloud computing is a new application model for de? centralized computing which can provide reliable, customized and maximum number of users with minimum resource.With the constantly expanding and deepening of the cloud computing applications, it asks for higher demand, therefore, many researchers also strive to improve the cloud computing performance. The article explains the basic concepts of cloud computing. and on this basis, it also introduced the technology of data computation and data storage, it has a detailed description to the multi-user isolation mechanism, and finally to predict the development of cloud computing and its future.
Key words: cloud computing; data computation; data storage; isolation mechanism
云计算[1]是I T基础设施的交付和使用模式,它指的是通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。这种特性经常被称为像水电一样使用I T基础设施。近年来,云计算的研究和应用发展非常快,主要原因是云计算具有如下优点:超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉价、安全、方便。
[1]朱近之.智慧的云计算[M].北京:电子工业出版社,2010.
[2] Dean J,Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):107-113.
[3]李远方,贾时银,邓世昆,等.基于树结构的MapReduce模型[J].计算机技术与发展,2011,21(8 ):149-152.
[4]韩燕波,王桂玲,等.互联网计算的原理与实践[M].北京:科学出版社,2010.
[5] Sacha K. Middleware architecture with patterns and frameworks[Z].2007.
[6]王鹏.走进云计算[M].北京:人民邮电出版社,2009.
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2015)13-0060-02
从现有的工作来看,云计算技术发展到了一个全新的阶段,不仅为计算机的应用提供了更大的平台,同时还能够满足较多的复杂运算,在实际的工作中,可将计算机作为一种资源,利用云计算技术输入到网络系统中,以此来获得更多的计算资源,告别传统的操作。在云计算技术发展和研究的过程中,安全问题是最大的阻碍。在此,本文主要对云计算技术安全问题及防控对策进行讨论。
1云计算技术的安全问题
从客观的角度来分析,任何一项技术在使用或者研究的过程中,都是存在安全问题的。但因为技术类别上的差异和具体服务的不同,技术上的安全问题程度也不同。云计算技术作为一种新计算技术,与网络、电脑、日常办公等相联系比较紧密,此时若想更好的解决安全问题,首先应在多方面,明确云计算技术的安全问题都有哪些,了解这些问题可能会造成的影响。在此,本文主要对云计算技术的安全问题进行论述。
1) 客户端信息安全
在现阶段的工作中,云计算技术的应用比较广泛。在技术上,云计算技术的运用基础,主要是在网络状态下来完成的,并且保持相互独立,各个终端在这种情况下连接到一起。当计算机的终端,与网络云端相互连接的时候,各个独立的终端,会在客观上成为云计算的重要组成部分,这其中所包含的信息量是非常庞大的。所以,我们在运用或者是研究云计算技术的过程中,必须充分保证客户端的信息安全。在总体的研究和运用中,这些信息并没有一个针对性的隐私保护条例来维持,针对性的技术性措施也不是很多。倘若这些信息丢失,不仅会给用户带来极大的损失,也有可能对部分行业或者是产业造成伤害,其波及范围比较广泛。所以,我们在今后的云计算技术研究中,必须采取有效的手段,充分保障客户端的信息安全。
2) 服务器端的信息安全
云计算技术虽然已经得到了广泛的应用,但明显没有满足所有群体的需求。网络是现阶段的重要工具,任何一项工作几乎都可以通过网络来完成。但是,比较先进的云计算技术在运用和研究中,其服务器端的信息安全,受到了较大的挑战。综合来讲,目前出现的服务器端信息安全问题,还是在可控范围内的。所以,采取针对性的措施,可以较好的解决。云计算技术当中,服务器端的信息安全问题,主要表现在以下几个方面:第一,当用户将自己的信息,交由他人进行云存储或者是管理,很容易失去自身的控制权,从而造成较大的安全问题。第二,云计算技术,直接涉及到如何获取用户信任的问题。目前,各种网络信息盗窃事件,给广大的用户造成了一定的恐慌。第三,云计算技术本身不是特别的健全,一旦出现服务器端的安全问题,势必会造成固有问题的恶化。
3) 网络虚假信息的干扰
网络在发展的过程中,其速度是非常快的。在硬件设备的辅助和软件技术提升的过程中,网络已经涉及到了社会的各个部分。现今,虚假信息的干扰,造成了云计算技术安全问题的较大困扰。在云计算的网络信息当中,充斥着大量的虚假信息、网络地址等等,这些都是造成云计算技术安全问题的重要因素。从本质上来讲,我们在研究和应用云计算技术的过程中,并没有对源代码或者是网络源地址的安全性进行筛查,只是在出现安全问题后,被动的做出一些防护措施,而且主要是集中在用户的主观态度上,技术上的内容并不是很多。所以,网络虚假信息对云计算安全的干扰,是非常严重的,日后必须采取有效的手段予以处理。
2 云计算技术的防控对策
云计算技术在长久的研究中,已经成为了网络和计算机不可分割的一个重要组成部分,今后必须对其深入研究。云计算技术所反映出来的安全问题,正是技术上的不足,也是日后需要努力研究的方向。解决云计算技术安全问题的过程中,不仅要加强预防工作,还必须强化控制工作,在多个方面来完成云计算技术的长久发展,与其他技术联合应用,实现云计算技术的体系深化和内容丰富。在此,本文主要对云计算技术的防控对策进行论述。
1) 选择信誉度高的云服务供应商
云计算技术的发展,带动相关产业进步。云服务供应商看中这一商机,纷纷打着云计算技术的旗号,开始投放市场。但是,部分云服务的供应商,其技术本身只有一个雏形,并不能应对较多的问题,也满足不了较多的需求,但对于用户来讲,他们所了解的内容有限。所以,我们将云计算技术应用的过程中,必须告诫用户选择信誉度较高的云服务供应商。首先,云服务供应商,对于云计算安全而言,具有主要的责任。一般来讲,信誉度较高的云服务供应商,其自身的数据安全维护手段和措施,也是比较健全的,能够较好的维护用户的利益。其次,信誉度较高的云服务供应商,会在各个领域中选择针对性的映射手段,促使云服务在实际的运行中,可以实现整体和局部的有效配合,为用户提供较多的服务,不会造成太多的安全问题。第三,现阶段,部分信誉度较高的云服务供应商,会在出现安全问题后,采用追查手段,彻底解决源头的安全问题。
2) 采用加密技术,保证数据信息的传输安全
云计算技术在应用和研究,要想从客观上更好的解决安全问题,单纯凭借上述的措施,是无法达到的。我们在现实工作中,还要选择一些有效的加密技术,实现数据和信息的传输安全。就现阶段的情况来看,加密技术的应用,主要是在客户端与云计算服务供应商之间进行传输的加密,保证数据和信息不会被窃取,实现较强的安全性。综合来讲,在一些信誉度教高的云服务供应商都会在数据加密这一方面采取相应的措施。例如,可以运用True Crypt、PGP 等计算机软件程序,对用户的文件进行加密,而这种加密的方法可以使用密码,这就可以实现客户端与供应商对加密文件的读取。另外,在数据加密中,可以根据信息数据的安全级别,设置不同的信息数据安全访问级别。所以,在信息数据传输的过程中,通过信息数据加密技术,能够有效防止信内容的泄漏,保证用户的信息安全。
3) 数据的备份与恢复
云计算技术在问世后,受到了很多用户的广泛欢迎。原因在于,其能够实现较多的功能,且在数据方面的处理工作相当出色。但是,在长久的应用后,发现云计算技术还是有很多的瑕疵,虽然没有造成极大的负面影响,但其造成的安全问题不容忽视。云计算技术在实际的应用中,数据的备份和恢复,也是需要特别注意的。现今,虚拟的网络环境不断扩大,并且对实际造成的影响也是不容忽视的。当用户操作使用云计算技术的时候,由于操作步骤不够规范,或者是其他因素的影响,则容易导致计算机的信息数据出现丢失的情况,这将给用户带来很大的损失。因此,云计算技术必须要具有自定义数据恢复功能,并对数据进行备份,保证数据信息的完备性。而在云计算的虚拟环境中,信息数据的存储重要是以离散的方式进行文件的存放,相对与传统的灾难恢复,云计算的灾难恢复更加简单,恢复所需要的时间也更加短暂。所以,在云计算环境中,积极对信息数据进行定时备份和定期备份,可以有效保证信息数据的安全。即使信息数据发生丢失的问题,也可以通过数据的恢复迅速找回,让用户能够正常得使用信息数据。
4)采用虚拟技术进行隔离
通过深入的研究和努力,云计算技术的安全问题,得到了有效的处理,并且很多问题都没有反复发生,具体的工作效果还是值得肯定的。通过上述三项工作的努力,已经初步建立了云计算技术安全防控的良性循环,倘若能够融入虚拟技术的隔离措施,将会进一步提高安全问题的防控水平。云计算多数情况是针对虚拟的网络和数据来完成的,通过采用虚拟隔离技术,能够更好的隔离影响安全问题的因素,不仅实现了较强的预防作用,还在安全问题的控制上,做到了较高的水准。例如,在云计算系统的环境下,物理隔离的方式很难对信息数据的安全起到实质性的作用。所以要积极采用虚拟技术,设置逻辑安全边界。用户在装置云计算虚拟服务器的过程中,要为每一台虚拟服务器分配一个独立的硬盘分区,从逻辑上对各个虚拟服务器进行隔离。另外,虚拟服务器系统还可以通过安装防火墙、杀毒软件以及数据恢复软件等,构建一个多层次的安全防控体系,保障云计算的信息安全。
3 总结
本文对云计算技术安全问题以及防控对策进行讨论,在现阶段的工作中,云计算技术的安全问题数量逐步减少,防控对策逐步增多,基本上没有集中在传统的防控对策上,很多工作都是按照现实情况变化而变化的,因此做到了有效的防控。另一方面,云计算技术安全问题的研究,还是需要更加深入,需保证细节问题的有效处理,控制好大环境的影响,不要造成安全隐患。相信在今后的工作中,云计算技术的安全问题将得到彻底解决,而防控对策也将会逐步健全。
参考文献:
[1]王少辉,印后杰.云计算环境下个人信息保护问题的思考[J].电子政务,2014(2):2-9.
[2]陆阿妮,管永权.云计算ERP的安全问题及对策初探[J].江苏经贸职业技术学院学报,2014(4):55-58.
[3]陈鹏.物联网RFID技术与云计算数据传输的安全性分析[J].物联网技术,2014(7):91-92.
[4]高树华.煤炭企业云计算技术的安全风险探析[J].电子制作,2014(12):132-133.
[5]张立永.云计算网络环境下的信息安全问题研究[J].中国高新技术企业,2015(3):14-15.
中图分类号:TP393文献标识码:A文章编号:1009-3044(2012)18-4360-03
云计算是近年来出现的一个热门概念,也是未来互联网发展的方向。从狭义上看,云计算是一种动态的、易扩展的且通常是通过互联网提供虚拟化资源的计算方式。从广义上看,云计算是一种以互联网为中心的面向应用的服务,用户不需要了解云内部的细节.也不必具有云内部的专业知识或直接控制基础设施,便能使用的相关资源。云计算包括基础设施即服务(Infrastructure as a Service,简称IaaS),平台即服务(Platform as a Service,简称PaaS)和软件即服务(Software as a Service,简称SaaS)以及其他依赖于互联网满足客户计算需求的服务类型。云计算服务通常提供通用的通过浏览器访问的在线商业应用,软件和数据则存储在服务器上。
图1云计算的组成
2.1基础设施
云基础设施,即IaaS。是计算机基础设施,通常是虚拟化的平台环境。作为一项服务,具体应用例如:Sun公司的Sun网格、亚马逊的弹性计算云。它通过将服务器端强大的计算能力单位化,来为个人用户提供PC机无法实现的海量数据计算服务。
2.2存储
云存储涉及提供数据存储作为一项服务,包括类似数据库的服务,通常以使用的存储量为结算基础。它既可以交付作为云计算服务,又可以交付给单独的数据存储服务,具体应用包括亚马逊简单存储服务和Google的BigTable服务。通过云存储,由云端为用户提供数据的备份和安全性保障,用户可以在任何地点任何时刻进行数据的存储和读取操作。
2.3平台
云平台,即PaaS,直接提供计算平台和解决方案作为服务.以方便应用程序部署和开发,从而节省购买和管理底层硬件和软件的成本。比如Google的应用程序引擎(Google AppEngine)可以让开发人员编译基于Python的应用程序,并免费使用谷歌的基础设施来进行托管。这种在云端的开发平台为编程人员提供了快速开发网络应用程序的途径,同时免去了繁琐的服务器搭建、维护等工作。
图3GFS架构
3.3分布式计算
由于云计算系统中的计算单元分布在不同的地理区域,为了有效的利用这巨大的运算能力,传统的编程方式已不适用,而要采用分布式计算模型。当前Map/Reduce模型在云计算系统中的使用最为广泛。
Map/Reduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”,以及它们的主要思想,都源自函数式编程语言和矢量编程语言。Map/Reduce为编程人员进行分布式并行编程提供了一个框架,使得自己的程序可以方便的运行在分布式系统上。
Map/Reduce编程的实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对中的每一个共享相同的键组。
简单说来,一个映射函数就是对一些独立元素组成的概念上的列表(例如,一个测试成绩的列表的每一个元素)进行指定的操作(例如,如果发现所有学生的成绩都被高估了一分,就可以定义一个“减一”的映射函数,用来修正这个错误)。事实上,每个元素都是被独立操作的,而原始列表没有被更改,因为这里创建了一个新的列表来保存新的答案。这就是说,Map操作是可以高度并行的,这对高性能要求的应用以及并行计算领域的需求非常有用。
中图分类号:TP393 文献标识码:A 文章编号:1674-7712 (2013) 10-0093-01
云计算是一种非常具有应用前景的综合性计算机技术,该技术以互联网为平台,可以按照用户的使用需求方便快捷的为用户提供所需的数据处理性能和信息存储空间,使得用户可以随时随地享受高速高效的信息服务。目前,云计算无论在商用还是在个人用户服务方面还处于初级阶段,其所具有的功能和优势还没有得到充分的发挥和利用。但是可预见的未来,云计算以及基于云计算所构建的生态系统必将使用户的信息管理模式发生极大的改变。本文以云存储生态系统为例对云生态构成、运行、维护等多方面内容进行讨论。
一、基于云计算技术的生态系统概述
按照对象对云生态系统进行内容分类可以将其分为生产者和消费者两类。两者的关系如下图1所示。
图1 云计算生态系统模型
云生态系统中生产者为用户提供统一、安全、可靠、经济的信息共享、软件应用以及信息处理平台,用户通过云平台对自身资源进行管理,进而实现消费者与生产者的互利共赢。
二、云计算生态系统运行机制
为保障云计算生态系统持续性处于健康稳定的状态,在其运行中必须按照实际要求制定和采取必要的运行机制与维护机制,利用该机制约束云系统平台下各成员的行为,促进云计算生态系统平衡、稳定发展。具体来说,云计算生态系统的运行机制主要由以下几部分内容构成:用户需求考察、系统应用规划、云平台监控与调度管理、云平台优化与维护等。
其中,用户需求考察是云计算生态系统建立的基础,直接决定了是否可以构建生态系统、如何确定宣传与实施方案等内容。系统应用规划则是用于增强系统构建和部署的科学性与可控性,便于使云系统得到更好更充分的利用。云平台监控与调度管理则是按照使用需求和管理需求对云生态系统进行实时监控和统计,根据监控内容制定或采取适当的调度和运行策略,保证系统的服务质量和用户的使用体验。云平台优化与维护则是定期对云生态系统进行维护和更新,以增强生态系统的鲁棒性和可持续性。
三、云存储生态系统的构建
(一)构建方案
基于云技术的生态系统涉及多个子系统和多种资源信息,是一种综合性的、多方面的系统平台,可以为用户提供多种类服务。当今信息社会中,企业各种活动的核心与支撑就是数据信息,对应云计算生态系统中即为云存储生态子系统。实际应用中,云存储生态系统以虚拟技术为核心,将用户在云端存储的数据信息以远程桌面的方式呈献给用户,并按照用户要求进行存放和管理。
完整的云存储生态系统由云存储设备生产商、集成商、商以及使用用户等构成,每一对象负责云生态系统中的某一具体内容,如此便可以组成一个高效可用的云存储生态系统。除此之外,为进一步保证云存储生态系统中数据的可靠性与有效性,系统中还需要集成诸如身份认证、数据加密、数据管理等数据安全服务。
(二)主要功能
由图1可以看出,云存储生态系统中包含物质流、能量流、信息流、资金流等内容和服务。其中:(1)物质流主要是指云存储生态系统的硬件部署,即用户可以非常方便的获取存储空间,避免了传统系统应用中的硬件设备购置;(2)能量流主要是指云存储生态系统在远程云端为协助用户完成数据的管理与应用,为用户节省系统运行所消耗的能量;(3)信息流主要是指用户除了可以应用云存储生态系统对数据进行存储和管理外,还能够借助云数据处理软件对云端数据进行挖掘、聚类、检索等操作,使得信息能够得到充分的应用;(4)资金流主要是指云存储生态系统可以让用户在更低的资金投入下获得更好的使用效果,帮助用户节约资金。
(三)关键技术
为实现云存储生态系统的构建与运行,需要使用到以下几方面关键技术。
(1)元数据管理技术。该技术可以向用户提供元数据的上传、下载、更新以及管理等。(2)缓存管理技术。对用户的数据访问行为进行记录、分析与整理,协助用户梳理数据的重要性,对于重要程度不同的数据建立不同的数据缓存与分配策略,便于提升用户的访问响应速度。(3)数据更新技术。该技术不仅包括本地元数据的更新,还包括云端缓存数据、存储数据以及相关的数据表单等内容的更新。(4)服务调度技术。不同时刻云存储生态系统的运行状态是不同的,为让用户获得更好的使用体验,系统需要对整个系统的能力、负荷以及用户需求等内容间进行权衡,从而制定一个最优的服务方案,让用户获得良好的使用体验,避免因系统负荷过大出现问题。(5)数据安全技术。云存储生态系统的基础是数据的安全。为提升用户信息的安全性能,必须采取必要的安全防护措施和加密技术等对数据进行安全保障。
四、总结
云存储生态系统是云计算平台的一个重要组成部分,对整个社会经济的发展都具有十分重要的影响和意义,不仅可以拓展人们存储和获取内容方式和途径,还能够在很大程度上提升数据的利用率,增强数据的使用效果。
参考文献:
中图分类号:TP3文献标识码:A文章编号:1007-9599 (2010) 10-0000-02
The Application of Cloud Computing Technology in the Storage System
Shi Feng
(Computer Center of Taiyuan University,Taiyuan030009,China)
Abstract:With rapid economic development at present,people are always encountered by tremendous amount of data in daily work,which requires large volume for the storage and redundant data backup,while the data is growing quickly in size.In the age which low-cost and high efficient storage systems have become the mainstream,effective management for these large data has not been available.As the proposal of the concept for cloud computing,the conceptual model of cloud storage was derived.Running and managing data in the cloud storage way could greatly reduce cost of storage systems and simplify the complex setup and management tasks.Placing data in cloud can also make it easy to have access to data from more places,so as to improve the efficiency of storage systems.
Keywords:Data;Cloud Computing;Storage Systems
随着数字技术和互联网的急速发展,特别是Web2.0的发展,互联网上的数据量高速增长,导致了互联网数据处理能力的相对不足,但互联网上还同时存在着大量处于闲置状态的计算设备和存储资源,如果能够将其聚合起来统一调度提供服务则可以大大提高其利用率,让更多的用户从中受益。因此将云计算技术应用到存储领域可以大大提高资源的利用率。
一、云计算与云存储
(一)云计算的概念
云计算(cloud computing),是分布式计算技术的一种,是分布式处理、并行处理和网格计算的发展,是透过网络将庞大的计算处理程序自动拆分成无数个较小的子程序,再交给由多部服务器所组成的庞大运算系统,经过搜索和计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务。
(二)云存储的概念
云存储在云计算的概念基础上延伸和发展出来的一个新的概念。云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云存储不是传统的存储系统,而是一种特殊形式的架构服务,对使用者来讲是透明的,不是指某一个具体的设备,而是指分布在不同物理地域的多台存储设备和服务器所构成的集合体。
(三)云计算和云存储之间的关系
当云计算系统运算和处理的核心业务是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。从架构模型来看,云存储系统比云计算系统多了一个存储层,同时,在基础管理也多了很多与数据管理和数据安全有关的功能,两者在访问层和应用接口层则是完全相同的。
二、云存储的结构模型
与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统,各部分以存储设备为核心,通过应用软件对外提供数据存储和业务访问服务。云存储系统的结构模型(图1云存储结构模型)由4层组成,自下而上分别为存储层、基础管理层、应用接口层和访问层。
三、云存储服务器配置实例
对于云存储这种云计算应用形式来说,重复数据删除技术显得十分重要。在我们存储的数据和文件里,有很多文件经过反复修改,造成了大量重复的资料,这时,重复数据的删除实现后,网络优化的效果就变得比较明显。根据云存储的特点,将其过程描述为将数据分块后,保存到不同的数据存储节点中,并写入数据文件存储信息表。需要删除时,在数据文件信息表中查找文件ID,找到后删除该文件的数据信息。下面通过部分核心程序代码来说明云存储技术是怎么样来存储数据和删除数据的。
(一)将一个数据块保存在三个不同节点,成功返回1
int WriteStorInfo(fStorInfo fInfo)
{
fStorInfo temp;
memset(&temp,0,sizeof(fStorInfo));
int id=1;
int num=0;
FILE*fd;
if((fd=fopen(fileinfo,"rb+"))==NULL)
fd=fopen(fileinfo,"wb+");
while(fread(&temp,sizeof(fStorInfo),1,fd)==1)
{
if(temp.flag==0)
break;
++num;
}
fInfo.flag=1;
fseek(fd,num*sizeof(fStorInfo),0);
fwrite(&fInfo,sizeof(fStorInfo),1,fd);
fclose(fd);
return 1;
}
(二)获得文件保存信息的顺序表
int GetStorInfo(int fID,StorInfoList *L)
{
Research on Data Storage Scheduling Algorithm in Cloud Computing Environment
Zhen Cheng-gang Li Bao-cai
(North China Electric Power University HebeiBaoding 071000)
【 Abstract 】 The rapid development of cloud computing technology has accumulated a huge amount of data resources, data resource storage scheduling algorithm directly affects the efficiency of people's use of information resources. In order to improve the efficiency of data resource and improve the efficiency of data storage scheduling in cloud computing environment, a data storage system is designed. The system can be used to store the high frequency of the data.
【 Keywords 】 cloud computing;storage scheduling;data placement;dynamic migration
1 引言
目前,光纤网络、移动无线网络发展迅速,利用基础网络资源实现了云计算,其可以将分布于世界各地计算机终端、服务器连接在一起,利用分布式计算、透明计算、移动计算等技术,提高人们工作、生活和学习的信息化水平。云计算技术长期的使用,已经积累了海量的数据资源,因此降低了人们搜索的有效性,也降低了数据搜索的实时性,为了提高数据存储调度效率,可以基于智能分级存储策略设计一个新的数据存储调度算法。
2 云计算环境下数据存储调度算法设计
云计算环境中,为了能够提高数据存储调度的效率,为用户提供更加的数据搜索利用体验,数据存储调度算法包含的关键功能包括六个方面,分别是元数据管理、文件估值、迁移控制、访问重定向、文件系统监视、数据迁移。
(1)元数据管理。云计算环境中,为了保证数据的原子性、完整性,可以使用云数据进行描述,实现数据的迁移和访问重定向。
(2)数据对象估值。数据对象估值可以根据数据资源访问频次、数据容量、读写模式、创建时间等属性对数据对象进行估值,以便能够反馈数据文件的访问量和活跃程度,进行数据迁移。
(3)数据迁移控制。云计算环境下,用户访问数据对象时,可以根据数据对象估值实时的、动态的改变数据对象存储位置,以便能够将热点数据赋予较高的存储优先级位置,便于用户访问,提高资源命中率。
(4)数据访问重定向。云计算时代,网络数据能够为用户提供透明的、分布式的服务,因此无论用户在哪个地方,只需要记住数据访问的逻辑地址,无需关系存储器的物理地址,如果数据物理地址发生改变,比如迁移到其它地方,使用数据访问重定向功能即可寻找到数据。
(5)文件系统监视。文件系统监视可以实时的统计存储系统运行状态,计算系统延时、存储空间利用率、读写比例、文件访问命中率等,并且将这些辅助信息提供给迁移控制模块。
(6)数据迁移。数据迁移可以放置在相关的迁移计划列表中,记录迁移数据的大小、存储位置、创建时间、访问频次,同时采用相关的算法将数据迁移到合适的目标位置,数据迁移的主要目的是实现数据存储优化。
数据存储调度算法可以根据用户访问数据频次,将数据资源放置在不同的设备,实现数据的自动化迁移,以便提高数据的命中率,算法执行流程如图1所示。
3 云计算环境下数据存储调度算法关键技术
数据存储调度算法在实验过程中,其关键技术包括三种,分别是数据分类技术、数据放置技术和数据迁移技术。
(1)数据分类技术。云计算的快速发展积累了海量的数据资源,这些数据资源根据不同的分类标准,可以划分为文档数据、视频数据和图像数据等。随着数据分类标准的不同,不同定义和标准下数据的分类是不同的,数据分类是数据迁移的最基本条件。目前,随着数据划分技术的快速改进,已经诞生了贝叶斯理论、聚类、神经网络、K均值、支持向量机等,可以将数据根据人们的需求动态的进行分类,更好的保存在不同类型的数据库中,以便人们访问。
(2)数据放置技术。网络存储系统中,数据放置可以采用相关的原则,针对系统中新添加的数据、被迁移的数据放置在某一个特定的位置上,数据放置可以采用更加科学的方法,直接影响数据读取、写入等访问操作效率,影响用户使用感知。网络数据放置存在两个关键技术:一是确定数据放置在何种类型的存储介质上;二是数据放置的形式,随机放置、顺序放置或文件分割放置等。
(3)数据迁移技术。云计算环境下,由于用户访问数据是一直动态变化的,因此数据访问频次均是在动态改变的,为了能够提高数据访问效率和命中率,需要根据网络存储的数据和相关的指标进行数据迁移。数据迁移常用的技术包括同级数据迁移和异级数据迁移两种模式。同级迁移模式能够根据相关的存储系统硬件容量的大小,将集中出现在相关的存储系统中数据进行迁移,目的是均衡各个存储设备的负载。异级迁移模式则是在存储系统中经常发送的时间,可以更好地优化数据存储内容,实现自动化的迁移,异级迁移过程能够提高低性能存储设备向高性能存储设备的数据迁移,同时也可以向相反的方向迁移。
4 结束语
云计算环境下,数据存储调度算法可以实现数据动态的、分布式的、透明的访问、读写数据资源,提高数据资源访问速度,同时能够保护数据的安全性,确保云计算时代网络存储系统能够满足人们的需求。
参考文献
[1] 于珊珊,陈冬林,李伟等.基于SLA的云计算多数据中心任务调度算法[J].武汉理工大学学报:信息与管理工程版,2014,3:345-349.
[2] 肖艳文,王金宝,李亚平等.云计算系统中能量有效的数据摆放算法和节点调度策略[J].计算机研究与发展,2013,S1:80-82.
[3] 王强,李雄飞,王婧.云计算中的数据放置与任务调度算法[J].计算机研究与发展,2014,51(11):2416-2426.
中图分类号:G250.73 文献标识码:A 文章编号:1003-6938(2010)03-0099-003
Research on the Library Mass Data Storage Based on Cloud Computing
Du Haining (Library of Lishui College, Lishui, Zhejiang,323000)
Abstract:As a result of mixing and evolving of many technologies, the new kind of commercial computation model---cloud computing---has many advantages such as being safe and reliable, capable of mass data storage, as well as easy and convenient to use. Distributed data storage technology and related virtual technology of cloud computing are used by the libraries so as to have a reduction of the storage and maintenance costs besides acquiring the benefits of being reliable and safe in storing the date and convenient in sharingdata between different devices.
Key words:cloud computing; libraries; mass data storage; storage technology; virtual technology
CLC number:G250.73 Document code:A Article ID:1003-6938(2010)03-0099-003
网络时代中,信息爆炸使得信息量呈指数型增加,近几年世界范围内磁盘存储系统的容量仍将以每年近80 %的速度递增。作为信息资源中心的图书馆面临与日俱增的信息资源存储问题,增大图书馆的信息资源存储能力,更大程度的实现信息资源的长效保存和资源共享成为图书馆人思考的一个问题。作为一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果,成熟度较高,又有大公司推动,云计算已越来越成为人们热议的焦点话题。在云计算的模式之下,图书馆的海量数据可以存储在通过互联网连接的任何一台电脑或终端设备,并通过网络来高度共享使用,[1 ]能解决困扰图书馆的数据存储和共享等问题。
1 图书馆数字资源存储现状概述
1.1 图书馆数字资源存储方式及比较
目前,国内图书馆数字资源存储方式主要包括DAS(Direct Attached Storage,DAS,直接附加存储)、NAS(Network Attached Storage,NAS,网络附加存储)、SAN(Storage Area Network,存储局域网络)三种。
(1)直接附加存储(DAS)。直接附加存储是指主机与存储设备之间的直接连接,存储设备通过SCSI或ATA作为数据接口的存储方式。[2 ]是目前国内比较成熟的数字资源存储方式,具有标准统一、兼容性好等优点,但面对指数型增长的信息量,DAS存储方式存在可靠性和安全性较低的缺陷。当存储服务器出现故障时,将会导致存储设备中的数据不能被读取。其次,DAS的扩展性差,因为DAS 没有独立的存储操作系统,不能提供跨平台的文件共享功能,各服务器不能共享原有的DAS设备。另外,由于受服务器性能的局限,以及DAS数据存储模式是分散的,各系统下的文件必须分别存储,容易形成信息的孤岛,不利于资源的共享。
(2)网络附加存储(NAS)。网络附加存储是指直接接在网上的存储设备,实际上NAS是一台专用的存储服务器,数据通过网络协议进行传输。[3 ]网络附加存储支持异构服务器间的数据共享,在资源存储的可靠性方面也有所改善,但NAS的数据备份时消耗较多的通信带宽,导致数据传输速度过低,另外NAS不支持数据库服务,因此不适合大型数据库的应用。NAS依然存在扩展性较差的缺陷,由于受到设备容量的限制,新增加的NAS设备与原有的设备不能很好的集成,这就导致NAS对数据的备份恢复实现起来相当困难。除此之外,NAS技术所需投入的成本很高,因此不能得到较为广泛的应用。
(3)存储区域网络(SAN)。存储区域网络是独立于服务器网络之外的高速存储专用网络,其将存储子系统网络化,实现真正的高速共享存储目标。[4 ]SAN是继DAS、NAS之后出现的新兴存储技术,其具有传输速度快,扩展能力强,共享能力高以及可靠性、安全性好的特点,因此SAN成为现在社会主流的存储解决方案。尽管如此,SAN依然存在难以改变的缺陷:由于SAN是在DAS和NAS的基础上发展起来的,其技术必然复杂难懂,技术实现要求也过于苛刻。庞大繁杂的技术要领必然带来软件升级困难和投资成本过高的问题。
1.2 图书馆数字资源存储存在的问题
各种存储技术没有统一技术标准是目前国内数字资源存储存在的首要问题,使存储系统从立项到实施均无据可循,建设效果千差万别,阻碍了计算机与存储设备之间的高速互联,甚至难于实现大容量数据共享的解决方案。其次是数据快速备份和恢复能力的缺乏。现阶段各图书馆的海量数据存储系统或大或小的存在系统不稳定的问题。由于各存储技术不同程度的存在着该技术不能攻克的技术缺陷,任何技术都无法保证存储系统百分百无故障。在这样的情况下,为了保证数据的安全性就必须建立切实有效的数据备份和恢复方案。最后,为了达到图书馆数字化、信息化的要求,各图书馆对海量数据存储系统建设的资金投入不理性。盲目追求现代化主流技术导致图书馆没有清楚的了解自身需求,并且对建成后系统运行维护费用等缺乏理性分析,因此造成所建存储系统后期投入更多或投入大量资金却无法满足自身需求的现象。
1.3 图书馆数字资源存储的需求
随着网络信息服务的发展和数字信息资源的指数增长,人们在追求信息存储系统容量扩增的同时,开始越来越多的关注信息存储在有效性、安全性和存储效率等方面的问题。针对目前社会较高的数字资源存储要求,图书馆作为信息资源中心为用户提供各种信息服务,必然要在数字资源存储上迎合社会发展的需要。
(1)高性能的存储系统。将传统图书馆资源数字化并通过现代化存储技术进行存储的目的在于提高图书馆信息资源的使用效率,在此基础上建立的存储系统、存储服务器必须拥有较高的性能。目前图书馆用户对信息的需求量增加迅速,导致存储系统的访问量较大,这就要求相应的数据流量也比较大。为了加快存储系统的数据相应时间,必须采用高性能、实用性强的存储系统。
(2)可靠完整的存储方案。在实际工作中,各种不可抵抗的自然灾害和人为破坏都有可能造成存储系统的崩溃,为了提高数据存储的安全性,图书馆必须保证数据存储在任何条件下都保持可靠完整性,存储系统或存储设备出现故障时也不会出现数据损坏和丢失的现象。这就需要图书馆的信息存储系统建立一个能应对这些危机的存储方案,如:本机、本地备份,异机、异地备份,甚至是远程容灾系统等,以保证存储数据的安全可靠。[5 ]
(3)高度的扩展性存储接口。由于国内图书馆资金有限,对数字资源存储系统的投资不可能一次性到位,所以存储方案必须考虑高度的扩展性。一方面存储系统必须适应多厂商、多平台和多系统的持续发展,支持异构环境下的多系统多平台服务;另一方面,考虑到图书馆业务的发展必然导致数字资源的增长,因此存储系统的建设必须充分满足数据增长对存储系统扩容的要求。
(4)适度投资的存储原则。图书馆在海量数据存储问题上应该量力而行,根据图书馆的规模及财力选择适合本馆的海量数据存储方案。若存储方案没有考虑图书馆已有数字资源存储设施,而另行开发建立新的存储方案,这样不仅造成重复建设浪费资源,而且增加了许多不必要的资金浪费。因此,如何保护原有存储系统建设,减少海量数据存储的投资成本是构建海量数据存储时要考虑的关键问题。
2 基于云计算的图书馆海量数据存储
2.1 基于云计算的图书馆海量数据存储技术需求
在图书馆海量数据存储中的云计算技术是以计算服务器为核心,动态部署虚拟的硬件服务器。用户可以实现“无处不在”的访问,同时也和Web云上的用户共享流量和计算能力。[6 ]满足实现图书馆海量数据存储和操作需求的云计算关键技术需要:
(1)采用分布式存储进行数据存储实现云计算对图书馆海量数据的存储,并采用冗余存储的方式来保证存储数据的可靠性。通过云计算这两个技术将每个图书馆所有数字资源存储在“云”中,并由“云”来管理和调度这些海量数据,利用分布式的数据存储技术和与之相关的虚拟技术使得整合后的图书馆海量数据更加统一有序,实现图书馆数字资源的完全整合。
(2)为了满足多用户对数据的操作,云计算的数据存储技术必然具有高吞吐率和高传输率的特点;同时云计算要求硬件资源与软件资源能够更好的被共享,且具有良好的伸缩性。这就要求云计算在图书馆海量数据存储系统开发时必须具备多用户技术。此技术主要表现在两方面:其一是基于云计算的海量数据存储系统能够服务于大多数用户,且具有非常容易的伸缩性;其二是该技术提供的附加业务逻辑可以使用户对SAAS平台进行扩展来满足图书馆多用户同时进行数据操作。
(3)云计算环境下对海量数字资源进行实时监控和管理,解决图书馆中的资源种类多、规模大,对资源实时监控和管理困难的问题。从云计算技术的资源调度的粒度来看,虚拟机内部应用的调度是云计算技术中最受人们关注的技术。
2.2 基于云计算的图书馆海量数据存储系统特点
(1)确保了海量数据存储系统的可靠性和数据安全性,用户不必再为数据丢失、系统瘫痪等问题感到困扰。在确保存储系统可靠性的问题上,云计算技术最大限度地降低了服务器的出错概率。云计算模式中海量数据不再是存储于某个图书馆的服务器上,而是存储在“云” 中的上百万台服务器,因此即使“云”中的某台服务器出现故障,在云端会有其他服务器作为替补来代替崩溃的服务器进行工作。显然云计算模式下不会造成数据的损坏和丢失和图书馆海量数据存储系统的瘫痪。
(2)通过云计算,图书馆可以轻松的实现不同设备间的数据共享。图书馆作为信息资源具有向用户传播信息、使用户以最大的限度获取知识和信息。传统模式下,用户在特定的图书馆中只能获得该图书馆提供的资源,即使该图书馆与其他馆之间有共享工程建设,用户获得共享资源的程序也相当繁琐,且非常有限。通过云计算模式,相关图书馆之间可以共同构筑图书馆的共享空间,来自于任何图书馆的数字资源统统存放在“云”中,用户只需将其电子设备连接至互联网,就可以访问和获取所需的任何数据。
(3)基于云计算的图书馆海量数据存储方式提高了信息资源的更新速度。只要是通过云计算技术来开发海量数据存储的图书馆都会经常修改和添加新的信息资源,这种图书馆间互相补充的信息存储使用户可以获取到世界上最新的资料和信息。
(4)云计算的出现使图书馆存储系统的扩展能力得到大大的提高。因为“云”提供无限的空间和计算能力,使得图书馆在社会变迁过程中不必再为海量数据存储系统的扩展问题烦恼。同时也防止了图书馆海量数据存储系统扩展时对原系统的摒弃和对存储系统的重复建设。
(5)各图书馆无论规模大小都存在资金不足的现象,云计算模式的出现大大降低了海量数据存储系统建设和维护成本,而云计算技术可以通过少量的费用让图书馆获得“云”中上百万台服务器提供的服务。云计算对用户端的设备要求很低,图书馆管理员无需担心相关硬件升级的问题,另外在“云”端有专业的工作人员维护硬件,无需图书馆管理员劳神。
3 云计算图书馆海量数据存储的思考
云计算将图书馆海量数据存储带入了新的时代,是图书馆海量数据存储的变革性突破。然而时代在变迁,图书馆及其用户对海量存储系统的要求也在不断地提升,因此无论多么完善的技术都会遇到瓶颈问题,云计算技术当然也不例外。为了使图书馆海量数据存储的云计算技术走的更远,图书馆应该从各个方面找到云计算已经遇到或可能遇到的瓶颈问题,对其进行改进,使其更好的为图书馆和用户服务。首先,在云计算模式下,各个加入云计算模式的图书馆之间可以通过有关的协议共享彼此的信息资源。[7 ]虽然这样丰富了信息资源的内容,但同时也带来了版权纠纷的问题。因此,为了解决版权问题尽快制定合理的解决方案乃当务之急。其次,云安全问题一直是人们心中的疑虑,云中上百万台服务器提供了数据快速备份和恢复机制,但云端的安全性是否也同样值得我们信任呢?为了进一步保证设备和数据的安全,必须严格加强云端安全机制的建立和完善。
云计算为图书馆用户提供了一个更为简单、廉价的资源共享模式。然而任何事物都是机遇与挑战并存,为了使云计算技术更加完善的应用,它就必须迎合了大部分用户的需求,不断解决云计算在应用过程中遇到的各种问题。只有这样才能使云计算的图书馆海量数据存储真正发挥其本身的价值。
参考文献:
[1]黎春兰,邓仲华.论云计算的价值[J].图书与情报,2009,(4):42-46.
[2][3]周敬治,修蔽蔽.数字资源存储系统的构建模式及比较研究[J].情报杂志,2006,(11):106-108.
[4]刘姝.对高校图书馆建设数字资源存储系统的思考[J].大学图书馆学报,2008,(6):75-78.
[5]严庄.图书馆数字资源存储技术方案研究[J].四川文理学院学报,2007,(6):108-110.