绪论:写作既是个人情感的抒发,也是对学术真理的探索,欢迎阅读由发表云整理的11篇大数据时代的主要特征范文,希望它们能为您的写作提供参考和启发。
在信息技术中,大数据技术作为重要的变革内容,在社会各领域中都得到了广泛的应用。在信息化社会,全球一体化发展的速度越来越快,英语教学成为高校教育的主要内容。所以在大数据的时代背景之下,高校的英语教学必须要通过有效的教育变革和教学改进,提升教学效率,促进学生的全面发展。
一、大数据时代的特征
在目前的信息技术领域中,大数据是重要的组成部分。由于互联网技术得到了快速的发展,其已经覆盖了人们工作生活的方方面面。学生在其学习过程中,也会已经离不开网络。在此背景之下,产生了大数据这一新兴的理念,而大数据也就是巨量资料,而大数据时代的主要特征就是海量信息的快速传播,各个信息平台上有数量巨大的、内容丰富的数据,但仅仅是巨大的数据量还不能称之为大数据时代,其本身具有的意义才更加的重要。当人们将数据平台上将信息进行挖掘应用,才能够将其真正的作用发挥出来。
二、高校英语教学中大数据的应用现状
随着大数据在各领域中的应用,社会的大数据利用率也比较高。而高校是学生学习生活的主要场所,因此也拥有大量的信息。而在大数据毕竟之下,高校的英语教学只有利用大数据技术,才能提升教学效率、质量和水平。但在目前的高校中,虽然大数据时代的到来,给予了高校教育新的生机,但也存在较多的问题和阻碍,也还将迎更多的挑战。通过对高校英语教学调查发现,其主要存在以下几个问题,首先表现为信息化程度不足,没有能够对现代技术进行良好的应用。虽然这些问题随着大数据在教学中的应用得到了一定程度的改善,但是总体来说,高校英语教学过程中,还没有能够正确的认识到大数据的重要性,必须及时的进行教育改革和教学改进,才能使其更加适应大数据时代的发展变化。
三、大数据时代的高校英语教育变革与教学改进
1.转变传统的教学理念。想要对高校英语教学进行变革和改进,首先就需要将传统的教学理念进行改变。将学生作为教育的中心,承认学生的主体地位。而英语教师应该作为学习的引导者出现,利用自己的专业知识和教学技巧,为学生建构起知识,激发学生的学习兴趣,使其具有学习的主动性和积极性。并且要在英语教学过程中,对学生的实际情况和真实需求进行了解,从而调整教学措施。同时,还需要在教学过程中利用现代化、信息化的教学技术,利用大数据技术平台,使学生更加适应现代社会的快速发展,并且能够更好的接受碎片化的知识。教师则可以通过合理的堂活动的设计,进行分组学习,使学生能够利用课外的时间,使用互联网资源开展课外课堂的活动,使学生能够更加积极主动的参与到课堂中。
2.通过大数据营造良好的教学环境。在信息时代,越来越多的信息技术,例如大数据、云计算以及移动互联网都成为了英语教学的教学方法,学生就能够通过这些技术长期的处于英语信息环境中,学生学习便利的同时,教师的教学也更加的便利。而且对于教育决策者来说,也有大量数据支持,使其更好的进行决策。这就需要将互联网大数据和具体的教学环境进行有效的结合,对具有时效性的教学进行计划,提升高校英语教学效果。对于我国的学生来说,英语属于第二语言,因此可以利用实践教学法,加强学生的实践能力,提升其口语水平,在此过程之中,也能够利用大数据技术通过网络技术进行真实的实践互动体验。
3.对高校英语教学内容进行改进。学习其他的语言,是为了能够更好的进沟通,在全球化的背景之下学习一门外语,也是社会对于学生的要求。所以,在进行英语教学时,必须要能够与学生的生活有密切的关系。这就需要在教学过程中,对传统的教学内容进行转变,避免过于的强调英语知识、书面语言的W习。传统的情况是中国学生对语法知识十分的熟悉和了解,考试成绩也往往是卷子的得分居高不下,但是没有良好的听说能力差,进行英语对话或沟通时,就出现了哑巴英语现象,知识虽然良好的掌握,但没有与之适应的语言应用能力。因此,在英语教学中,比需要进行有关生活的真实语言资料的教学内容,让英语在学生的生活中时刻出现,提升学生的学习兴趣。
四、总结
综上所述,目前社会的主要特征就是信息化、大数据。因此,在高校英语教学中通过大数据技术就能够有效的提升英语教学的精准性,不仅能够更好的开展英语教学工作,还能够提升学生的综合素质,使其更加符合社会对于人才的需求。想要高校英语教学水平,还需要了解大数据时代的本质特征和发展方向,加快英语教育改革和教学改进。
参考文献:
第二,精准营销信息推送支撑。过去多少年了,精准营销总在被许多公司提及,但是真正做到的少之又少,反而是垃圾信息泛滥。究其原因,主要就是过去名义上的精准营销并不怎么精准,因为其缺少用户特征数据支撑及详细准确的分析。相对而言,现在的RTB广告等应用则向我们展示了比以前更好的精准性,而其背后靠的即是大数据支撑。
第三,引导产品及营销活动投用户所好。如果能在产品生产之前了解潜在用户的主要特征,以及他们对产品的期待,那么你的产品生产即可投其所好。例如,Netflix在近投拍《纸牌屋》之前,即通过大数据分析知道了潜在观众最喜欢的导演与演员,结果果然捕获了观众的心。又比如,《小时代》在预告片投放后,即从微博上通过大数据分析得知其电影的主要观众群为90后女性,因此后续的营销活动则主要针对这些人群展开。
第四,竞争对手监测与品牌传播。竞争对手在干什么是许多企业想了解的,即使对方不会告诉你,但你却可以通过大数据监测分析得知。品牌传播的有效性亦可通过大数据分析找准方向。例如,可以进行传播趋势分析、内容特征分析、互动用户分析、正负情绪分类、口碑品类分析、产品属性分布等,可以通过监测掌握竞争对手传播态势,并可以参考行业标杆用户策划,根据用户声音策划内容,甚至可以评估微博矩阵运营效果。
第五,品牌危机监测及管理支持。新媒体时代,品牌危机使许多企业谈虎色变,然而大数据可以让企业提前有所洞悉。在危机爆发过程中,最需要的是跟踪危机传播趋势,识别重要参与人员,方便快速应对。大数据可以采集负面定义内容,及时启动危机跟踪和报警,按照人群社会属性分析,聚类事件过程中的观点,识别关键人物及传播路径,进而可以保护企业、产品的声誉,抓住源头和关键节点,快速有效地处理危机。
第六,企业重点客户筛选。许多企业家纠结的事是:在企业的用户、好友与粉丝中,哪些是最有价值的用户?有了大数据,或许这一切都可以更加有事实支撑。从用户访问的各种网站可判断其最近关心的东西是否与你的企业相关;从用户在社会化媒体上所的各类内容及与他人互动的内容中,可以找出千丝万缕的信息,利用某种规则关联及综合起来,就可以帮助企业筛选重点的目标用户。
第七,大数据用于改善用户体验。要改善用户体验,关键在于真正了解用户及他们所使用的你的产品的状况,做最适时的提醒。例如,在大数据时代或许你正驾驶的汽车可提前救你一命。只要通过遍布全车的传感器收集车辆运行信息,在你的汽车关键部件发生问题之前,就会提前向你或4S店预警,这决不仅仅是节省金钱,而且对保护生命大有裨益。事实上,美国的UPS快递公司早在2000年就利用这种基于大数据的预测性分析系统来检测全美60000辆车辆的实时车况,以便及时地进行防御性修理。
1 大数据的特征和大数据涉及的相关内容
1.1 大数据的主要特征分析
处在大数据时展背景下,大数据的特征体现也比较鲜明,首先在海量信息数据的特征方面就比较显著。在计算机的硬盘容量已经进行了升级,在容量上也大大的扩大了,在数据的规模上也不可同日而语。这就对信息技术的进一步发展有着重要的促进作用,这也是大数据时代的一个重要标志。再者是大数据的数据信息种类的多样化,多样化类型的传感器以及终端设备都是大数据信息数据的源头[1]。这样就形成了数据类型的多样化。
1.2 大数据涉及的相关内容分析
大数据发展下涉及到的内容是比较多的,在网络的安全问题上是大数据发展下的重要问题内容。大数据的发展为网络犯罪也提供了很大的便利,使得范围的模式发生了变化,并且在犯罪的水平上也比较高,这就对信息安全带来了很大的威胁。再有是涉及到的云数据,在云计算的应用下,也是面临着一些问题,使得在对数据的处理过程中会有着诸多不可测的风险。另外在个人设备管理的问题上,移动设备的应用广泛化,使得数据的存储和访问等都变得比较简单化,这也存在着信息安全的问题[2]。最后在涉及到的数据保密的内容层面也是需要急迫解决的。对于这些内容都要能够充分的重视。
2 大数据时代下信息安全问题和解决策略探究
2.1 大数据时代下信息安全问题分析
大数据时代背景下的信息安全问题也比较突出,主要体现在人们对大数据环境下的信息安全的意识没有得到强化,对信息的安全防范意识不足。网络的安全性问题在当前的社会发展中愈来愈严重,在一些社交平台或公共购物平台等,都可能对个人的信息造成泄漏,由于网络的开放性特征,也使得个人的信息安全得不到有效的保障。而当下的公众在信息安全的防范意识上还不是很强,这就使得信息安全问题发生的可能性就增大了。
再者,大数据环境下的信息已经成为高级可持续攻击载体。大数据自身的价值密度低的特征下,使得外界的环境影响比较敏感,容易受到黑客的攻击。而这些攻击的代码是处在大数据当中的,所以进行安全服务鉴别中就存在着很大的难度。这样就使得大数据信息成为了可持续攻击的一个载体,在这一方面的问题要能充分的重视,结合实际进行应对。
另外,大数据环境中的信息安全问题还体现在智能终端的威胁。移动智能终端在我国的使用数量不断的增长,这就使得智能终端的信息也比较多,在信息的安全性方面就存在着很大的隐患。智能终端一旦被破坏,就会使得信息丢失,而受到病毒的控制也会造成信息的安全性得不到有效保证[3]。
2.2 大数据时代下信息安全问题的解决策略
对于大数据时代背景下的信息安全问题的解决,要能从多方面进行考虑。首先在数据的结构优化措施的实施上要重视,这对信息安全保护有着重要作用发挥。由于大数据时代的数据信息比较复杂,在数量上也比较大,通过数据结构的优化和加密管理,就比较方便处理。能够在数据结构化基础上对入侵的数据就能实现智能化的辨别,在信息的安全系数上就得到了有效提升。
再者,大数据时代对信息安全的防范要进一步加强敏感数据的监管力度。大数据的海量信息的特征,使得在管理上存在着诸多难度,这就为黑客信息扫描检测漏洞提供了可能。故此政府方面要在大数据的监管力度上进行加强,在管理制度上结合实际进行有效完善,并要能够对移动设备的安全使用进行保障。从大数据的使用流程以及方法层面严格执行,这样才能保证对信息安全的保证。对大数据时代背景下的信息安全问题的解决,还要能从大数据平台建立方面得到加强。
另外,强化大数据信息安全技术的应用,不断的将安全保障技术进行优化。信息的安全性保障离不开技术的支持,要定期的对网络中的潜在漏洞实施扫描,在信息的安全防御层面进行有效加强。在大数据的技术研发方面要进行加强,将数据加密技术以及安全访问控制技术等得到有效应用,从整体上将信息安全的防范能力进行加强[4]。要能通过相关技术的应用,从数据信息的泄漏重点领域加以强化,通过对设备的访问权限设置,以及通过SSL技术的应用等,全面加强数据信息的安全保护作用。
例如:应用沙箱(Application Sandboxing)是一项借鉴于 Trusted BSD的技术。通过这一功能,可以对特定资源进行定义,对应用的访问权限作出限制,包括网络资源、内存及部分文件系统等。Gatekeeper是一项能让Mac电脑免遭恶意软件入侵的技术。有了Gatekeeper,你可以让那些被允许在Mac电脑上运行的应用,只能通过Mac App Store获取并签名,或成为由合法开发者签名的应用。
不仅如此,对大数据信息安全的保护还要从法律层面进行加强,完善网络信息的法律法规的保障措施。对个人隐私信息以及公共信息的安全保护进行加强,从法律层面来建设安全信息的保障体系,将信息安全的法律化要制定细化可操作的制度加以防范。
3 结语
总而言之,大数据背景下的信息安全防范愈来愈重要,要不断的将信息安全保护措施合理化的加以实施,从根本上保障个人以及企业的信息安全性,只有如此才能真正的对信息安全起到保障作用。此次主要从大数据环境下的信息安全问题和保障的措施实施进行了重点分析,希望有助于实际的信息安全保护。
参考文献:
[1]张茂月.大数据时代个人信息数据安全的新威胁及其保护[J].中国科技论坛,2015(07).
随着大数据时代的到来,各企业采用了新的策略,获得了更多的利润。对于统计专业来说,改变发展策略,使培养出来的专业人才能够适应大数据背景的需求是其主要任务。目前,高校统计学专业逐渐认识到大数据时代综合性人才培养的重要性,并对专业建设进行了相关改革。
一、大数据时代对统计学的影响
大数据时代的到来对现代统计专业的发展造成了新的冲击,要确保培养出来的人才能够起到应有的作用,首先要了解大数据时代对统计专业所造成的影响。
(一)大数据时代使数据结构和数据性质发生变化
网络技术以及基于网络技术的电子商务等新的数据记录模式标志着大数据时代的到来。大数据时代,不再依赖于抽样调查的记录模式,网站浏览、视频监控都将形成大量数据。传统的数据结构甚至是数据性质发生了变化。大量的数据信息对于需求者来说,如何甄别其可用价值成为关键。传统的数据可以二维表格显示和整理。但大数据时代所产生的数据具有多样化和复杂化特征,往往包含了大量的音频、视频、HTML等。这要求大数据的收集具有较强的目的性,才能实现其价值。
(二)大数据时代要求统计分析方法和统计思维更新
大数据时代的主要特征为数据多且复杂,数据分析要求分析者对总体进行分析。在这一背景下,参数统计不再具有意义,假设检验法也随着总体分析而失去价值。数据的复杂化对传统大数据统计思维造成了巨大的冲击,要求统计者具有活跃的思维。只有对传统数据的改变进行分析,并且树立新的统计方法。
二、大数据时代下的统计学发展新策略
为适应大数据时代的需求,统计学专业的发展势必要对传统模式进行改革。目前,多数高校统计学专业已经认识到大数据对于其发展带来的冲击。为此,本文提出了以下策略,以及能够帮助统计学取得更好发展。
(一)加强统计应用性教学
根据大数据时代数据的总体分析特征,数据分析人员应掌握全面的分析方法。在人才培养过程中,应致力于培养实践分析能力,提高数据和资料收集能力,并且培养其强烈的数据价值观,使其能够从众多数据中找到所需的。另外,对传统模式进行改革,增加大数据统计内容,以适应时代的需求。基于大数据的结构特点,实施资料透视化教学,提高分析者对复杂数据的分析能力。
(二)培养大数据统计思维
在人才培养过程中,新的统计思维的培养具有重要意义,即强调数据分析实践能力的提高。统计思维的培养有助于数据分析者对复杂的数据进行区分,从而整理有效信息。在大数据时代,不仅要以传统的平均思维、动态思维和变异思维为基础,还要注重基于整体分析的大数据思维。另外,还要培养数据分者的复杂性思维,以应对复杂的数据库。总之,大数据时代需要数据分析者具有全面的、创新性的思维。
(三)强化基础性统计知识
统计学自身具有复杂性,其改变多且抽象。基础的统计知识是进一步掌握大数据分析思维的基础,可见学习基础性统计知识的重要性是不言而喻的。为此,应该采取深入浅出的方法,利用多媒体等方式使复杂的数据统计清晰化、简单化。结合具体的案例使数据分析者正确认识统计概念、掌握统计原理和方法。此外大数据分析不再是一种专业,而是更倾向于一种技术,这要求我们将大数据分析与统计学以外的相关知识相互联系。注重真实相关与伪相关的讲解,强调商务智能的开发和分析。只有具有坚实的基础,才能确保数据分析者大数据分析思维的养成,适应现代社会的需求。
(四)加强复合型人才培养
为适应大数据时代的需求,复合型人才的培养是关键。所谓复合型人才,是指其不但要具有专业的数据分析能力,还要相应的具备管理以及其从事专业的技术。大数据时代,高校应建立全面的人才培养模式,注重培养人才的数据分析能力、编程能力等,使其真正了解大数据,懂得如何利用大数据对其所处的行业起到积极作用才是关键。总之,大数据时代对综合性人才具有更高的需求,大数据时代不仅培养的是一种能力,而且是一种思维,是对全新模式下的数据的分析和利用。高校作为人才培养的重要基地,其教学模式的改革、对大数据时代所需教学模式的认识是高校的主要任务。
三、总结
统计学是经济学的基础课程,传统的统计人才培养具有定向性。而随着大数据时代的到来,数据产生的形式多样,且具有复杂性。大数据分析不仅是作为一种专业存在,而是应以一项必备的技术而存在。大数据时代,传统的统计思维和统计方法发生了改变,统计人才培养方式的改革也就势在必行。(作者单位:海南师范大学)
参考文献:
[1] 朱怀庆.大数据时代对本科经管类统计学教学的影响及对策[J].高等教育研究,2014(3).
[2] 姚寿福.经济管理类本科专业统计学课程教学改革思考[J].高等教育研究,2012(3).
随着信息化时代的到来,大数据的分析已经深入了各行各业,作为医疗的前沿,医院在信息化建设方面相对于其他行业相对薄弱。医院信息化薄弱问题一方面来自管理层对医院信息化建设的不重视问题;另一方面,医院信息化建设需要巨大的财力、物力和人力,医院将精力投入在医疗设备的改进和医疗水平的提高方面,在信息化建设上就难以投入过多的精力。
1.2信息化统计内容单一
在大数据时代,医院信息统计工作内容越来越丰富,然而一些医院并没有意识到信息统计数据的重要性,信息统计内容还只局限于对病人的病例进行统计。由于统计内容的单一,难以形成有效的分析数据,对于医院的管理和医疗水平的提高不能发挥出统计数据实际的价值。
1.3信息化统计专业性差
信息化在医院管理中的应用缺乏统计的专业性,目前,医院所采用的信息化系统主要包括HIS医院管理系统和CIS临床信息系统,这两套系统主要功能是降低劳动化强度辅助医院进行人和物的管理,而对于统计数据适用性并不强。所以医院信息化急需具有专业性的统计系统,充分利用数据的价值,帮助医院进行管理和医疗能力的提高。
2发展对策
2.1提高统计信息质量
在大数据时代,大量的信息集中在医院的信息科,如何快速将这些信息进行分类和提取是信息科所要面临的重要课题。信息的准确性是信息统计工作必须严格管控的内容,在现代化医疗体系建设中,把握信息的质量的关键在于建立信息内容评价标准和信息应用规范,信息数据的应用具有3个主要特征,一是准确性,二是适用性,三是及时性。统计信息的评价标准和应用规范主要围绕信息数据这3个主要特征进行确立。
(1)信息的准确性
信息的准确性对于来自方方面面的信息真伪进行判断,只有准确的信息才能够成为有效信息,在医院中如果误用了错误信息数据则会造成严重的问题。提高信息的准确性首先要明确信息的来源,其次要对信息的真伪进行辨别,最后对信息的价值进行评价。
(2)信息的适用性
在医院的信息管理中,如何从大量的信息内容中获取对信息应用目标有用的数据是信息管理的内容之一。信息的适用性选择需要建立统一的标准,避免“张冠李戴”造成信息错用的问题。信息的适用性原则主要从医院自身的信息采集为标准,因为不同的医院在信息产生上都不相同,只有利用自身的信息才能确保信息的适用性。
(3)信息的及时性
信息具有时效性,相同的事情在不同的阶段所产生的信息不一定完全相同,因此,在信息采集和统计时,必须要以最新数据为价值参考,加快信息刷新的频率,降低失效信息勿误的可能性。信息统计的及时性主要表现在医院建立信息及时交流的基础上,只有增强科室之间、部门之间、人员之间的信息沟通机制才能保证信息及时被利用。
2.2科学化管理
利用大量的数据统计促进医院科学化管理是医院信息统计工作的核心内容。医院信息统计科学化管理主要实现以下几方面工作目标:
(1)信息统计的评测
信息统计的评测功能可以对医院的人员、设备、耗材等进行统计,还可以对近段时间的医患病因进行统计,通过对医院各项数据的统计与近期医患病因的统计可以分析出在某段时间医院需要加强某方面医疗的能力。利用信息统计的评测功能还可以对医院某一专项的医疗水平进行评测,统计医疗过程中的不足,帮助医生及时调整医疗方案。
(2)信息统计的决策
我国医疗体制改革不断完善进行中,对于来自各个层面的数据进行统计分析,能够为医院的管理者提供准确的决策依据,帮助决策者正确判断医院经营方向。并且通过对本院的统计信息可以快速找到医院系统中的薄弱环节,依靠准确的数据为管理者提供医院改革的参考。
(3)信息化统计的监督
医院医疗和服务的质量是医院水平的重要表现,医院信息统计可以对医院的各个科室、每一位医生及护士的工作能力和工作状态进行一个时期的统计,通过数据可以客观地、真实地反映出不同科室的医疗质量和个人的服务水平。信息化统计的监督功能是保障医患关系融洽的重要手段,通过建立奖惩制度提高医生和护士的工作认真性,而信息化的统计数据则是衡量和监督医生和护士工作积极性的重要参考。
在某些方面,当前的市场营销行业也存在着前所未有的潜力,这便是大数据时代市场营销专业就业方向的新趋势。很多人表示,将传统的市场营销智慧与大数据的巨大威力相结合,可能会在定性分析和定量分析方面产生巨大的优势。但是要做到这一点,首先还有很多工作要做。沃顿商学院运营与信息管理学教授桑德拉·希尔(shawndra hill)表示:“这是一个非常激动人心的时代。有大量的数据可挖掘,以深入了解客户,了解他们的态度和他们在想什么。此外,数据挖掘在过去的十年已经取得了长足的进步,但我们还有很长的路要走……也就是要弄清楚人们说话背后的真正含义。”
许多人感觉到大数据时代正在到来,但往往只是一种朦胧的感觉,对于其真正对营销带来的威力可以用一个时髦的词来形容--不明觉厉。实际上,还是应尽量弄明白,才会明白其厉害之处。对于多数企业而言,大数据营销的主要价值源于以下几个方面。
第一,用户行为与特征分析。
显然,只要积累足够的用户数据,就能分析出用户的喜好与购买习惯,甚至做到“比用户更了解用户自己”。有了这一点,才是许多大数据营销的前提与出发点。无论如何,那些过去将“一切以客户为中心”作为口号的企业可以想想,过去你们真的能及时全面地了解客户的需求与所想吗?或许只有大数据时代这个问题的答案才更明确。
第二,精准营销信息推送支撑。
过去多少年了,精准营销总在被许多公司提及,但是真正做到的少之又少,反而是垃圾信息泛滥。究其原因,主要就是过去名义上的精准营销并不怎么精准,因为其缺少用户特征数据支撑及详细准确的分析。相对而言,现在的RTB广告等应用则向我们展示了比以前更好的精准性,而其背后靠的即是大数据支撑。
第三,引导产品及营销活动投用户所好。
如果能在产品生产之前了解潜在用户的主要特征,以及他们对产品的期待,那么你的产品生产即可投其所好。例如,Netflix在近投拍《纸牌屋》之前,即通过大数据分析知道了潜在观众最喜欢的导演与演员,结果果然捕获了观众的心。又比如,《小时代》在预告片投放后,即从微博上通过大数据分析得知其电影的主要观众群为90后女性,因此后续的营销活动则主要针对这些人群展开。
第四,竞争对手监测与品牌传播。
竞争对手在干什么是许多企业想了解的,即使对方不会告诉你,但你却可以通过大数据监测分析得知。品牌传播的有效性亦可通过大数据分析找准方向。例如,可以进行传播趋势分析、内容特征分析、互动用户分析、正负情绪分类、口碑品类分析、产品属性分布等,可以通过监测掌握竞争对手传播态势,并可以参考行业标杆用户策划,根据用户声音策划内容,甚至可以评估微博矩阵运营效果。
第五,品牌危机监测及管理支持。
新媒体时代,品牌危机使许多企业谈虎色变,然而大数据可以让企业提前有所洞悉。在危机爆发过程中,最需要的是跟踪危机传播趋势,识别重要参与人员,方便快速应对。大数据可以采集负面定义内容,及时启动危机跟踪和报警,按照人群社会属性分析,聚类事件过程中的观点,识别关键人物及传播路径,进而可以保护企业、产品的声誉,抓住源头和关键节点,快速有效地处理危机。
第六,企业重点客户筛选。
许多企业家纠结的事是:在企业的用户、好友与粉丝中,哪些是最有价值的用户?有了大数据,或许这一切都可以更加有事实支撑。从用户访问的各种网站可判断其最近关心的东西是否与你的企业相关;从用户在社会化媒体上所的各类内容及与他人互动的内容中,可以找出千丝万缕的信息,利用某种规则关联及综合起来,就可以帮助企业筛选重点的目标用户。
第七,大数据用于改善用户体验。
要改善用户体验,关键在于真正了解用户及他们所使用的你的产品的状况,做最适时的提醒。例如,在大数据时代或许你正驾驶的汽车可提前救你一命。只要通过遍布全车的传感器收集车辆运行信息,在你的汽车关键部件发生问题之前,就会提前向你或4S店预警,这决不仅仅是节省金钱,而且对保护生命大有裨益。事实上,美国的UPS快递公司早在2000年就利用这种基于大数据的预测性分析系统来检测全美60000辆车辆的实时车况,以便及时地进行防御性修理
第八,SCRM中的客户分级管理支持。
面对日新月异的新媒体,许多企业想通过对粉丝的公开内容和互动记录分析,将粉丝转化为潜在用户,激活社会化资产价值,并对潜在用户进行多个维度的画像。大数据应用可以分析活跃粉丝的互动内容,设定消费者画像各种规则,关联潜在用户与会员数据,关联潜在用户与客服数据,筛选目标群体做精准营销,进而可以使传统客户关系管理结合社会化数据,丰富用户不同维度的标签,并可动态更新消费者生命周期数据,保持信息新鲜有效。
第九,发现新市场与新趋势。
基于大数据的分析与预测,对于企业家提供洞察新市场与把握经济走向都是极大的支持。例如,阿里巴巴从大量交易数据中更早地发现了国际金融危机的到来。又如,在2012年美国总统选举中,微软研究院的David Rothschild就曾使用大数据模型,准确预测了美国50个州和哥伦比亚特区共计51个选区中50个地区的选举结果,准确性高于98%。之后,他又通过大数据分析,对第85届届奥斯卡各奖项的归属进行了预测,除最佳导演外,其它各项奖预测全部命中。
目前大数据算法大致可以分为两类。一个是基于行为,一个是基于内容。基于行为的分析,顾名思义,即对用户在互联网、移动互联网留下的“痕迹”,即浏览、点击、收藏、购买、二次购买的分析,得出未来会选择购买的预测和推荐结果。基于行为的分析,属于群体智慧,综合利用群体用户的行为偏好。用户之间会相互影响,更加符合现实世界中的用户行为。基于内容的分析, 包括对文字、图片、音频、视频等信息的分析,得出预测和推荐的结论。内容的分析只针对个人,与用户之间关系无关。
目前发展重点是基于人工智能下的大数据,它基于你的历史行为,判断出你可能的喜好,乃至需求,将最佳结果,推荐给你。大数据当然也不是万能的,导致这种现象最主要的问题有两个,一个是由于数据本身的质量或者数量不够;另一个是算法不合适。不要以为是海量数据就一定会有价值,在过往的研究中,人们发现来自甲方的数据源有80-90%的数据都是无用的。只有10%-20%的数据才会产生一定的价值。
虽然越来越多的人们感觉到大数据时代正在到来,但对于经营者而言,大数据下商业管理的价值创新究竟如何体现,可能是一个值得深入研究的问题。我们认为至少以下几个方面值得关注。
一是通过大数据对用户行为与特征分析。显然,只要积累足够的用户数据,才能分析出用户的喜好与购买习惯,甚至做到“比用户更了解用户自己”。这是大数据营销的前提与出发点。过去虽也有“一切以客户为中心”作为口号的企业经营思想,可以想想真的能及时全面地了解客户的需求与所想吗,或许只有大数据时代这个问题的答案才能更加明确。
二是通过大数据支撑精准营销信息推送。过去多少年了,精准营销总在被许多公司提及,但是真正做到的少之又少,反而是垃圾信息泛滥。究其原因,主要是过去名义上的精准营销并不怎么精准,因为其缺少用户特征数据支撑及详细准确的分析。现在的RTB广告的应用则向人们展示了比以前更好的精准性,而其背后靠的是大数据支撑。
三是通过大数据让营销活动更能投用户所好。如果能在产品生产之前了解潜在用户的主要特征,以及他们对产品的期待,那么你的产品即可投其所好。例如,Netflix在近投拍《纸牌屋》之前,即通过大数据分析知道了潜在观众最喜欢的导演与演员,结果果然捕获了观众的心。又比如,《小时代》在预告片投放后,即从微博上通过大数据分析得知其电影的主要观众群为90后女性,因此后续的营销活动则主要针对这些人群展开。
四是通过大数据帮助企业筛选重点客户。许多企业家纠结的事是:在企业的用户、好友与粉丝中,哪些是最有价值的用户?有了大数据,或许这一切都可以更加有事实支撑。从用户访问的各种网站可判断其最近关心的东西是否与你的企业相关;从用户在社会化媒体上所的各类内容及与他人互动的内容中,可以找出千丝万缕的信息,利用某种规则关联及综合起来,就可以帮助企业筛选重点的目标用户。
五是通过大数据分析更加清晰你的产品消费者的特点。面对日新月异的新媒体,许多企业想通过对粉丝的公开内容和互动记录分析,将粉丝转化为潜在用户,激活社会化资产价值,并对潜在用户进行多个维度的画像,其目的就是更加精准地分析你的产品消费者特点。大数据可以分析活跃粉丝的互动内容,设定消费者画像各种规则,关联潜在用户与会员数据,关联潜在用户与客服数据,筛选目标群体做精准营销,进而可以使传统客户关系管理结合社会化数据,丰富用户不同维度的标签,并可动态更新消费者生命周期数据,保持信息新鲜有效。
大数据营销管理让一切营销行为和消费行为数据化,大数据使得营销行动目标明确、可追踪、可衡量、可优化,从而造就了以数据为核心的营销闭环,即消费—数据—营销—效果—消费。毕竟数据是海量的,如何运营有限、有效的高质量数据为企业更好的创造价值比大海捞针的粗放式方法要实际的多。
大数据营销是基于多平台的大量数据,依托大数据技术的基础上,应用于互联网广告行业的营销方式。大数据营销衍生于互联网行业,又作用于互联网行业。依托多平台的大数据采集,以及大数据技术的分析与预测能力,能够使广告更加精准有效,给品牌企业带来更高的投资回报率。大数据技术的发展给了大数据营销发展的土壤。大数据分析产品如大数据魔镜等,为大数据营销带来了更多可能性。然而数字时代,商业管理不仅仅在收集数据,同时也在制造和影响数据,如何塑造和运营更加有利于企业和品牌营销发展的数据流,必然成为今后商业管理必须面对的重要课题。
大数据的发展趋势。第一,数据的种类越来越多,数据的来源也随着科学技术的提升更加丰富,随着互联网和物联网和计算机技术的不断发展,大数据时代的建设需要不断增加数据来源,数据库中的很多数据已经覆盖了人们生活和工作的全部,生活中的所有数据都是不同种类的数据信息。第二,数据的存储和分析计算发展朝向更快速的方向,由于超级计算机的发展为大数据的处理提升了设备支撑,保证大数据的正常存储和使用,开放式的数据存储能力和平台分析能力也为大数据的工业运行提供保障,减少阻碍。第三,数据分析的重要性不断凸显,大数据时代的数据丰富性特点是人们追求的,相信利用科学技术的支撑,能够完成数据的合理分析,增加有用的信息。第四,大数据的相关政策和有关法律法规还没有完善,基于数据库的良好发展和完善,很多大数据的建设开始受到政府部门的高度关注,国际层面的大数据建设计划也在不断推出。
大数据发展与多媒体展示技术的结合
多媒体展示技术分析。在目前的多媒体展示中,主要使用了以下几种技术:
多媒体触控展示技术。它为了实现多点触控功能,把多重触控屏与单点触摸屏都使用了完全不一样的结构。从内部看:每个触控都是通过独立的引线连接到外部电路,所有触控单元在板子上呈矩阵排列。从外部看:单点触摸屏只有很少几根信号线(一般为4Pin或者5Pin),而多重触控屏有很多引线;这样,当人们用手指去触摸屏幕时,会出现相应的内容。
互动投影技术。它的原理比较复杂,简单来说就是通过红外感应的方式实现互动效果,它并非是一种接触式互动,参观者只需要通过肢体语言便体验互动投影带来的高科技互动效果,互动投影包括互动桌面、互动墙面等多种形式,它带给观众的视觉冲击更加强烈,多媒体互动投影的展示手段在多媒体展厅设计中的应用是比较广泛的。
数字沙盘展示技术。数字沙盘是经过声、光、电、图像、三维动画与计算机程控技术,使用数字投影来进行。数字沙盘具有区位的特征,能够给我们一种生动形象、变化多端的动态视觉效果。
幻影成像技术。幻影成像技术能够把几种信息和现实的生活场景相结合,当前在博物馆中使用的比较多。这项技术主要使用了光学错觉理念,把电影当中使用马斯克摄影技术所录制的影像和布景箱中的主体模型景观结合。按照剧本的故事内容,生动形象,立体的结合声音、光亮、电等特别的效果,成像立体,有着较强的真实性,结合半景式的场景设计,常常能够建设出一种超越时空的感受,让我们印象深刻。
在信息发达的现代社会,“云服务”带给我们非常好的数据存储平台。我们可以将自己的信息放到云端,以便于随时随地的应用。将云服务的主要特征划分为以下几个方面:一,方便快捷。“云服务”的普及,使得使用者具有了一个内存大且不易丢失的存储工具,人们只要将数据信息传到上面,就可以放心的查看,使用,大大的节省了时间,给人们的生活带来便捷。二,高性能,高可靠性。“云服务”的各个单元相互独立,不会互相影响,它们有各自的软件及硬件资源,提供了高性能的服务。同时,在云端,提供各种数据的存储以及备份,还可以在工作失误的情况下,提供恢复的服务,大大的提高了使用的可靠性。三,隐私问题的保护和安全性有待提高。每件事情都有两面性,“云服务”也有。如何保证用户的数据不被非法的查看、盗窃、修改,是现在技术方面要着重考虑的问题。
2“云服务”信息安全隐患产生原因
2.1前期开发阶段安全性不高
软件在开发过程中,设计者没有考虑到来自互联网方面的各种危害,没有对软件本身的安全度加固。还有就是监管不到位,使用者没有注意到软件的防护与定期监管,就会使得各种恶意软件有了入侵的机会。
2.2使用者安全意识淡薄
使用者在注册登录的时候设置的密码过于简单,大大的降低了安全度。此外,没有做好安全加固和内部访问设限等都是潜在的安全隐患。
2.3黑客对信息的窃取
因为“云服务”的大范围使用,用户会将很多重要信息传到云端,这样就吸引大部分的竞争者。他们想要窃取并修改对方的信息,以造成对方的巨大损失,这样就产生了很多侵入别人信息内部的黑客。黑客是“云服务”信息安全的重大隐患。
2.4相关使用法律不规范
“云服务”的相关法律法规存在不规范之处,其对于使用者缺乏有效的监管与约束,从而造成了大量的使用者肆意妄为的现象频频发生。
3大数据时代“云服务”信息安全保护的重要性
因为“云服务”使用的范围广泛,大到国家,军队的相关信息,小到企业,个人的相关信息都与“云服务”密切相关。一个信息的泄露有可能影响到全局的发展,所以提高安全性是必要的。信息是一种资源,而信息安全主要包括信息的完整性、可用性、保密性和可靠性。完整性是指确保信息完整,不能丢失。当用户将数据传输到云端,要确保数据永久存在,这样才可以让广大的使用者产生信任,吸引更多的使用者。可用性是指数据传输成功后,当用户再次使用,应确保数据仍旧可以被使用。保密性是指信息不能被泄露和修改。最后一个可靠性是指这个平台无论是本身存储方面,还是后期的管理方面,都要确保万无一失。这样才能使“云服务”更加广泛、放心地被使用。
4“云服务”信息安全保护措施
4.1加强技术保护
技术能力的提高是信息安全保护的直接方式。在网络普及的现代,侵权者的手段在不断的提高,过去保护的方法已经被破解,为了信息的安全存储,技术方面的提高迫在眉睫。在各方面迅速发展的情况下,研究新型的技术,培养高技术人才是网络信息安全保护的重大任务。4.2加强监管能力这里的监管包括软件自身的监管,行政监管和本身使用规范的监管三方面。软件自身的监管就是要增强软件自身防恶意侵袭和对软件时刻监管的能力,只有这个能力增强了,软件自身的可靠性也就大大的提高了。行政监管就是网络安全部门要制定相关的制度,必须明确使用者权限以及越权的相关惩罚。本身使用的监管就是使用者本身要有自我约束能力。
4.3增强加密系统
设置加密系统,首先要设定用户权限。具体表现为;为不同用户设置不同的使用权限,当非本人操作时,就会发出报警和自动加锁。其次要对数据进行加密,当用户申请访问数据时,就会有相应的解密,如果解密成功,就可以访问。反之,就会发出报警。当然,针对时间长久遗忘了相关加密信息的使用者,也应该有相关的验证,然后重新获取。
4.4增加相关保护法则
近年来,国家越来越致力于大数据的应用,那么越来越多的重要信息被传入到“云服务”。这些数据都是至关重要的,应该添加重要的法则加以约束。
5结语
大数据和“云服务”的时代已经到来,各行各业得到了迅速的发展,这给我们带来众多益处的同时也带来了更多的机遇和挑战。我们应该积极的面对,不断地发展,提高使用的安全性,让使用者更加放心的使用,让时代快速发展。
中文图书分类号:F204 文献标识码:A 文章编号:
一、引言
当前全球已经全面进入信息时代,云计算、物联网等新兴IT技术的广泛应用,全球数据正以前所未有的速度在剧增,数据类型也变得越来越复杂。数据的深度分析和利用将对推动经济持续增长、提升企业的竞争力起到重要的作用。 大数据产业是基础产业,是国民经济和社会发展信息化的基础,对国家治理现代化、对企业创新决策、组织和业务流程、对个人生活方式都将产生巨大的影响。大数据积累拓展了科技创新的内容、丰富了科技创新的手段、深化了科技创新的应用。
二、大数据的提出与发展
(一)大数据的提出
早在1980年,著名未来学家阿尔文・托夫勒便在《第三次浪潮》一书中,称大数据为“第三次浪潮的华彩乐章”。大数据时代来临首先由数据丰富度决定的,社交网络兴起,大量的UGC(用户生成内容)内容、音频、文本信息、视频、图片等非结构化数据出现了。另外,物联网的数据量更大,加上移动互联网能更准确、更快地收集用户信息,比如位置、生活信息等数据。2012年,英国人维克托・迈尔・舍恩伯格在其著作《大数据时代:生活、工作与思维的大变革》中首次对大数据进行全面详细的阐述,他指出大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,将为人类的生活创造前所未有的可量化的维度,大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。对于大数据的内涵,著名研究机构Gartner对于“大数据”给出的定义是:“大数据”是需要新处理技术与模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
(二)大数据对经济社会发展和技术创新影响
2012年7月,联合国了名为《大数据促发展:挑战与机遇》的大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,可以使用极为丰富的数据资源,对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。对企业而言,一方面大数据时代网民和消费者的界限正在消失,企业边界趋于模糊,数据成为核心资产,并将深刻影响企业的业务模式,甚至重构其文化和组织。另一方面,大数据成为许多公司竞争力的来源,未来可能整个行业的结构会发生改变,小企业最有可能成为赢家。如今的核心竞争力在于快速而廉价地进行大量的数据存储和处理。麦肯锡在一份名为《大数据,是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出:“对于企业来说,海量数据的运用将成为未来竞争和增长的基础。”
(三)世界范围内大数据技术创新与发展情况
1. 主要国家积极推动大数据技术创新和产业发展
2012年3月,美国联邦政府就在全球率先推出《大数据研究和发展计划》,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,并将“大数据战略”上升为国家战略。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分。英国将大数据列为战略性技术,推出一系列支持大数据发展举措。首先是给予研发资金支持。2013年1月,英国政府向航天、医药等8类高新技术领域注资6亿英镑研发,其中大数据技术获得1.89 亿英镑的资金,是获得资金最多的领域。日本政府把大数据作为提升日本竞争力的关键。日本在新一轮IT 振兴计划中把发展大数据作为国家战略的重要内容,新的ICT战略重点关注大数据应用技术。日本总务省2012 年7月推出了新的综合战略“活力ICT日本”,将重点关注大数据应用,并将其作为2013年六个主要任务之一,聚焦大数据应用所需的、社会化媒体等智能技术开发,以及在新医疗技术开发、缓解交通拥堵等公共领域的应用。中国大数据产业紧跟世界发展趋势,提前布局谋划。2011年12月,工信部《物联网“十二五”规划》,把信息处理技术作为4项关键技术创新工程之一,其中包括了海量数据存储、数据挖掘、图像视频智能分析,都属于大数据的重要组成部分。2012 年以来,科技部、发改委、工信部等部委在科技和产业化专项陆续支持了一批大数据相关项目。2013年2月5日,国务院出台了《推进物联网有序健康发展的指导意见》,从政策层面正式把大数据纳入到物联网产业领域。2014年《政府工作报告》明确提出,“以创新支撑和引领经济结构优化升级,设立新兴产业创业创新平台,在新一代移动通信、集成电路、大数据等方面赶超先进,引领未来产业发展。”
2. 数据科学研究不断深入
在大数据应用的技术需求牵引下,数据科学研究和人才培养引起各国重视。在“大数据行动计划”支持下,美国加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈(Berkeley Data Analytics Stack),其中的内存计算软件Spark的性能比Hadoop 提高近百倍,对产业界大数据技术走向产生巨大影响。美国哥伦比亚大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷成立数据科学研究机构;美国加州大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了数据科学课程。
3. 技术创新出现新的特征
大数据时代,技术创新出现了一些新的特征。一是技术创新模式更加开放。大数据时代,科技创新不再是“闭门造车”,开放式创新是大数据时代下科技创新活动的显著特征,是实现以市场为主导的技术创新的重要途径。创新的“逆向反馈机制”逐步形成,以苹果公司为代表的高新技术产品外观设计和软件开发更加注重消费需求,研发部门设计理念基于庞大消费群体体验数据分析,因而获得更大的市场空间。二是技术创新领域进一步拓展。数据技术从早期在单机上处理单一类型数据,发展到当前在计算机集群上处理多类型数据,实现时间宽松的数据分析应用。随着数据量发展到PB、EB级甚至更大,并且要求更快的处理分析时间,大数据专用计算机、异地分布式计算机集群、多类型多来源数据的处理和分析、数据网络等复杂结构数据的分析、秒级时间分析等通用技术以及各种面向领域的应用技术是大数据技术的发展趋势。
三、大数据技术创新体系和内容
(一)大数据技术创新体系架构
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。当前,国际上大数据技术创新方面形成了独特的“信息原创――开源扩散――IT 厂商产品化――其他企业使用”特点。正是大数据的技术创新和应用推动相关制造业和软件产业发展。大数据时代下技术创新体系架构如下图:
(二)大数据技术创新内容
根据工业和信息化部电信研究院的《大数据白皮书(2014)》,大数据技术创新内容主要包括技术存储、计算和分析等技术。
1. 大数据存储管理技术
数据的海量化和高速增长特征是大数据对存储技术提出的首要挑战。这要求底层硬件架构和文件系统在性价比上要大大高于传统技术,并能够弹性扩展存储容量。大数据对存储技术提出的另一个挑战是多种数据格式的适应能力。格式多样化是大数据的主要特征之一,这就要求大数据存储管理系统能够适应对各种非结构化数据进行高效管理的需求,在不同应用环境下,将数据以合理、安全、有效的方式保存到存储介质上并实现有效访问,满足用户对数据保存在高性能、高可靠性和高扩展性等方面的需求。
2. 大数据并行计算技术
大数据的分析挖掘是数据密集型计算,需要强大的计算能力。与传统“数据简单、算法复杂”的高性能计算不同,大数据的计算是数据密集型计算,对计算单元和存储单元间的数据吞吐率要求极高,对性价比和扩展性的要求也非常高。传统依赖大型机和小型机的并行计算系统不仅成本高,数据吞吐量也难以满足大数据要求,同时靠提升计算机CPU 性能、增加内存、扩展磁盘等实现性能提升的纵向扩展的方式也难以支撑平滑扩容。
3. 大数据分析技术
在人类社会发展全部数字化数据中,仅有非常小的一部分数值型数据得到了深入分析和挖掘(如回归、聚类),大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析。占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析。
(三)大数据技术创新的挑战
1. 数据存储挑战
随着大数据应用的爆发性增长,它已经衍生出了自己独特的架构,而且也直接推动了存储、网络以及计算技术的发展。硬件的发展最终还是由软件需求推动的,当前大数据分析应用需求正在影响着数据存储基础设施的发展。从另一方面看,这一变化对存储厂商和其他IT基础设施厂商都是潜在的市场机会。随着结构化数据和非结构化数据量的持续增长,以及分析数据来源的多样化,此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点,开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。
2. 数据收集的挑战
随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。大数据将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。如何将数据信息与产品和人相结合,达到产品设计或服务优化是大数据商业模式延展上的挑战之一。
参考文献:
[1]工业和信息化部电信研究院.大数据白皮书(2014)[R]. 2014年5月.
随着物联网、网络、移动通信等的快速发展,特别是互联网的普及使得信息传播的规模和速度呈现几何增长,人们获取信息的途径和方式开始变得异常丰富,人们事实上已经进入了“信息大爆炸”时代。与此同时信息传播的大容量、高效性和准确性也对现有的数据处理体系提出了更高要求。根据大数据摩尔定律,人类世界的数据产生量将按照每两年一倍的速率增长,预计2020年世界数据量将超过35亿GB,“大数据”时代迫在眉睫。“大数据”具有离散型、随机性、发散性、爆发性等特点。近年来,随着云技术的兴起全面革新了传统的数据技术,大容量、多样化、快速处理、信息价值性和准确性为了云技术背景下大数据处理的五大主要特征。如何利用云计算技术对大数据进行高效处理已经成为了信息技术发展亟待解决的关键问题。
1 大数据和云计算的关系
云计算技术是指利用集中式远程计算资源池,通过按需分配的方式,为终端用户提供强大而廉价的计算服务技术。云计算技术作为一种数据处理方式,其技术特点包括:一是资源池在物理上是对终端用户完全透明的;二是能够为任何行业提供规模化计算服务,其服务能力可看做是“无限”的;三是其应用部署快速便捷,服务能力和方式是可以完全按照终端客户要求定制的,具有极强的弹性伸缩能力;四是云端数据获取方便,能够资源共享,用户使用成本低廉。
云计算技术是目前最强大的数据存储、传输和处理平台,它是大数据处理的最优选择。云计算能够为大数据提供几乎“无限”的存储空间和处理能力,满足其超大容量存储和超级复杂的处理需求,也是传统存储方式无法实现的。云计算侧重数据的计算处理,而大数据需要强大数据处理能力,因而它是云计算的处理对象。此外大数据所产生的业务需求也为云计算的实现提供了更多的形式。
2 基于云计算的大数据处理技术
2.1 大数据的采集技术
目前数据采集方式主要分为集中式和分布式两大类。其中分布式的灵活性较强,而集中式的全局性较好。实际上大数据采集的对象通常包括组织内部和相互独立组织间的各类数据,而云计算恰好具有并行处理的优势,因而可采取混合式采集方式能够更加有效地完成数据采集任务。即在各个组织内部采用集中式数据采集方式,通过在组织内配置中心服务器,作为集中式数据注册机构,用于存储和共享内部的数据。在相互独立组织间,采用云计算的集群技术、虚拟化技术等在各独立组织中心服务器间采用分布式采集方式实现数据采集、组织间对接和共享。大数据结构类型包括结构化、半结构和非结构化数据,因而在应用云计算技术进行分布式采集时,可依托其超强的扩展性和容错力,将数据池内数据进行同构化,从而实现数据进行分类存储。
2.2 大数据的存储技术
由于超大体量、离散、复杂的数据特点,传统数据存储模式已经难以满足大数据存储要求。一方面单结点的数据仓库在容量上难以满足呈几何增长的数据量,在运行效率上也难以满足大数据的分析处理需求。另一方面传统数据仓库按行存储模式,虽然可以实现大容量索引和视图,但实际操作中其时间和空间过高。而云计算主要采取列式存储模式,即区分数据不同属性,不同属性列都单独存放。云计算中列式存储的优势在于在投影数据时只需查询其属性列,系统处理量和处理效率显著提升。此外按数据属性进行列式存储,数据仓库中相邻列数据的相似性更高,因而能够得到更高的数据压缩率,进一步减少存储所需空间。
2.3 大数据的挖掘技术
联机分析能够完成数据的复杂处理,得到直观结果,实现决策性分析。云计算并行模式下联机分析能够基于数据全局,建立多维分析模型对数据进行多维度分析,从而尽可能获得全面的分析结构。由此可见多维度分析是联机分析的重要特征,而云计算技术下数据仓库正好是通过多维数据组织的。
联机分析对数据的处理仅仅只是表面的,其获取的信息价值并不高,难以得到数据深层次的含义与内在关联。而数据挖掘正是在联机分析的基础上,从超大体量的数据仓库中提取数据所蕴含的隐性信息,并将这些信息用规律、概念或是模型等表现出来。基于云计算的数据挖掘主要采用分布式并行挖掘技术。与其他串行方式相比,云计算技术下并行数据挖掘能够利用机器集群拆分分布式系统中的并行任务,并将拆分后的各个任务分别交由不同的机器去处理,从而实现大规模数据处理,其时间成本也大大降低。
2.4 大数据的可视化技术
上文所述数据挖掘可实现大数据的深层次、多维度分析,获取更多有用信息。而云计算平台下可视化技术则能够将上述信息具体化,从而使数据及其有关结构的相关信息能够更直观地表现出来,更容易被发觉和理解。可视化技术是指在存储空间中,将数据库及其中数据以图像(图形)的形式表示出来,并在其中再采用其他的分析手段获取图像中所蕴含的未知信息。而原有的数据处理仅仅只能够从数据本身入手,分析和观察数据中的内在信息。云计算下的可视化技术不但能够实现非空间数据的多维度图像显示,而且能够实现检索过程的直观图形显示,从而帮助人们更好地挖掘和理解信息,信息检索效率也大大提升。
3 结语
在数据爆炸时代,云计算的出现为大数据的存储和处理提供了可能,也为数据处理系统的功能扩展提供了重要保障。以往的数据管理将收集和存储作为重点,而在云计算模式下,大数据管理将更多地侧重数据分析、挖掘及管理模式的创新。目前数据采集和统计技术已经较为成熟,利用云计算进一步丰富大数据的存储和处理方式,实现更高层次的数据挖掘和可视化将是今后需要解决的问题之一。
参考文献
[1]孟小峰,慈祥.大数据管理:概念,技术与挑战[J].计算机研究与发展,2013,50(1):146+169.
[2]吴雪琴,基于云计算的大数据信息检索技术研究[J].电脑知识与技术,2014,10(10):38-41.