绪论:写作既是个人情感的抒发,也是对学术真理的探索,欢迎阅读由发表云整理的11篇生物统计学数据分析范文,希望它们能为您的写作提供参考和启发。
[中图分类号] G320 [文献标识码] B
近年来,随着全球经济一体化进程的加快和网络时代信息获取的便捷程度的极大提高,“用数据说话,做科学决策”已成为企业提高经营管理水平的必然选择,在全球500强企业中,90%以上的重要投资和经营决策都取决于充分的数据分析支持。数据分析在企业战略规划、项目投资决策、融资决策、营销决策、生产运营与管理决策中发挥的作用和价值日益显现,并已被我国政府部门和各行各业越来越多的企业所认同。在这一时代背景下,社会对项目数据分析师、市场调查分析师这些高技能应用型人才的需求旺盛,供给缺口巨大,据权威部门预测,在未来几年,我国对专业项目数据分析师的需求预计可达20万人,调查分析师的市场缺口则在100万人以上。面对社会对数据分析人才的强劲需求和高校经管专业毕业生就业难并存的局面,高校应充分地认识到,当今社会数据分析能力已成为经管类大学毕业生在职场中生存的一项核心能力,积极探讨提升经管类专业大学生数据分析能力的有效策略,对于更好地适应社会需求,提高大学生的职业竞争力具有重要的意义。
一、社会对数据分析人才的技能与素质要求分析
数据分析是指运用适当的统计分析方法对收集来的大量数据进行整理、分析,从数据中提取有用信息并形成分析结论,提出有价值的决策参考建议的过程。数据分析师是指在不同行业中,专门从事数据搜集、整理、分析,并依据数据做出行业或市场研究、评估和预测的专业人员。笔者通过对各大招聘网站数据分析师、市场调查/市场分析师等职位招聘信息的搜索和分析,深入挖掘并归纳出社会用人单位对数据分析师职位的技能和能力素质要求(详见下表1),以期为高校经管专业学生数据分析能力的培养提供参考。
从表1可以看出,数据分析能力是一种综合实践能力,它要求数据分析人员在了解行业状况及公司业务流程的基础上,构建数据分析的思路,主动地搜集相关数据,运用恰当的统计分析方法,借助于统计分析软件对数据进行处理和分析,从而得出分析结论,并撰写出有价值的分析报告。
通过以上分析,笔者认为,高校在经管类专业学生的培养定位中应对数据分析能力的培养给予充分的重视。应要求所有经管类专业的学生具备基本的数据分析能力,以适应本专业领域业务数据的收集、整理和初步分析的需要,并有针对性地培养出一批具有较强数据分析能力的学生,为他们考取项目数据分析师、调查分析师等资格证书创造条件,使他们有机会成为各行业中数据分析领域的高级专门人才。
二、经管类专业大学生数据分析能力培养中存在的主要问题
(一)经管类专业课程体系设置中缺少数据分析能力培养模块
当前,在许多高校经管类专业的培养方案中,较少设有专门讲授数据分析内容的课程。与数据分析相关的内容分散于《大学计算机基础》、《数据库应用基础》、《统计学》、《市场调查与预测》等课程,学生虽然从多门课程中接触到与数据分析相关的一些内容,但各门课程的教学资源未能实现有效的整合,如,《大学计算机基础》课程一般在大一开设,该门课程中将Excel软件作为办公自动化软件之一,一般只讲授简单的文字和数据录入及处理,并未涉及Excel软件的高级数据分析功能。而《统计学》和《市场调查与预测》课程一般在大二开设,主要侧重于从理论上介绍数据的收集、整理和数据分析的各种方法,以及市场调查和市场预测的各种方法,这两门课程主要为数据分析提供方法论的指导。这样的课程体系设置中就缺少了将数据分析的方法与数据分析的工具结合起来培养学生数据分析实际技能的课程,致使学生并未能有效、深入地掌握实际的数据分析技能。
(二)缺少实用性强的培养学生数据分析能力的实践教材
近年来,一些出版社出版了一批以Excel或SPSS为分析工具的统计分析教材,如:黄等编著的《Excel统计分析基础教程》、邓维斌等编著的《SPSS19(中文版)统计分析实用教程》等教材,这些教材在内容体系上与《统计学》教材大体相同,教材内容涉及面广,与企业实际需求结合不紧密且难度较大,对于没有数据分析基础的学生来讲很难掌握,而且有些高级统计分析方法在企业的实际工作中也很少能应用到。
(三)缺乏数据分析理论与实践能力兼备的教师队伍
培养学生的数据分析能力,首先需要拥有一支既懂数据分析理论又能指导学生统计软件操作的高水平的教师队伍,而长期以来统计学教学中一直存在的重理论,轻实践的状况,使得能够讲授《数据分析》实践课程的教师严重缺乏,这也是影响学生数据分析能力培养的关键制约因素。
(四)学生对数据分析存在畏惧心理
对于许多初次接触统计学和数据分析的学生,经常会对书中大量的数学公式和复杂的软件操作产生畏惧心理和回避心理,加之一些统计学教师在教学过程中对学生的学习没有加以正确的引导,致使很多学生从一开始就对掌握数据分析这门有用的技能失去了的兴趣和学习的信心,从而必然会影响到学习的效果。
三、经管类专业大学生数据分析能力提升策略的探讨
(一)完善学生数据分析能力培养模块
为强化学生数据分析能力的培养,高校经管类各专业的培养方案中应设置培养学生数据分析能力的模块。笔者认为,首先应将已开设的与学生数据分析能力培养相关的《大学计算机基础》、《数据库应用基础》、《统计学》、《市场调查与预测》等课程的内容进行有机地整合,在此基础上,在大三学年开设《数据分析基础》实践必修课,以加强学生数据分析的实际技能,构建学生数据分析能力的完备知识体系。同时,经管各专业还可根据需要增设《SPSS软件应用》作为专业选修课,以满足那些对数据分析有浓厚兴趣,准备考取项目数据分析师、调查分析师资格证书,有志于成为数据分析专门人才的学生的需求。
(二)开发实用性强的《数据分析》实践教材
借鉴社会项目数据分析师、调查分析师资格认证相关培训教材,编写一部《数据分析基础》实践教材,教材将以通用的Excel软件为分析工具,这样可以降低学习难度,从心理上拉近与非统计专业学生的距离,目的是使经管专业的学生掌握必知必会的数据分析概念、流程和操作,以适应社会对经管类应用型人才应具备基本的数据分析技能的需求。教材的内容体系将按数据分析的流程构建,具体内容将设以下7大模块:1.数据分析概述;2.数据采集;3.数据处理;4.数据分析(包括数据分析方法、数据分析工具的使用);5.数据呈现;6.报告撰写;7.综合案例。
(三)培养一支数据分析理论与实践能力兼备的教师队伍
针对当前部分高校缺乏数据分析理论与实践能力兼备的讲师队伍的难题,学校可以采取“引进来,走出去”的办法多渠道解决专业师资力量不足的问题,一方面可以从其他学校聘请专业教师授课,也可以派出本学校中、青年教师到其他设有统计学专业的高校进行短期的进修学习,以提高数据分析的理论水平和实践能力,此外,学校还可以鼓励本校中、青年教师考取项目数据分析师等资格证书,以深入地了解社会对数据分析能力的需求,使学校的人才培养定位与社会需求能够实现无缝对接。
(四)培养学生对数据分析的浓厚兴趣
记得有一位资深的数据分析人士曾说过:“统计学是一门很难,但是很有趣,更是很有用的工具学科。懂得如何使用它的人总是乐在其中,而尚未入门的人则畏之如虎。”笔者结合多年的教学经验认为,要想将《统计学》这样一门多数人认为很难的课程让初学者理解它、接受它,对它产生浓厚兴趣,需要借助一些人们生活中的小案例,将难懂的统计学的基本概念和公式还原回生活当中,用来解释社会经济现象,帮助学生发现隐藏在数据背后的规律。总之,培养学生对数据分析的浓厚兴趣,是提升经管类专业学生数据分析能力的关键所在。
[参 考 文 献]
统计学是一门实质性的社会科学,既研究社会生活的客观规律,也研究统计方法。统计学继承和发展基础统计的理论成果,坚持统计学的社会科学性质,使统计理论研究更接近统计工作实际。随着社会的不断发展,统计学的应用越来越广泛,并不断发展。
一、 统计学中的几种统计思想
(一)统计思想的形成
统计思想不是天然形成的,需要经历统计观念、统计意识、统计理念等阶段。统计思想是根据人类社会需求的变化而开展各种统计实践、统计理论研究与概括,才能逐步形成系统的统计思想。
(二)比较常用的几种统计思想
所谓统计思想,就是统计实际工作、统计学理论及应用研究中必须遵循的基本理念和指导思想。统计思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想。现分述如下:
1.均值思想
均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有统计学理论,是统计学的基本思想。均值思想也要求从总体上看问题,但要求观察其一般发展趋势,避免个别偶然现象的干扰,故也体现了总体观。
2.变异思想
统计研究同类现象的总体特征,它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。统计学反映变异情况较基本的概念是方差,是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。
3.估计思想
估计以样本推测总体,是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设:样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响,在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。
4.相关思想
事物是普遍联系的,在变化中,经常出现一些事物相随共变或相随共现的情况,总体又是由许多个别事务所组成,这些个别事物是相互关联的,而我们所研究的事物总体又是在同质性的基础上形成。因而,总体中的个体之间、这一总体与另一总体之间总是相互关联的。
5.拟合思想
拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在,所有实际事物的关系都表现得非常复杂,这种方法就是对规律或趋势的拟合。拟合的成果是模型,反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模式和基于此而预示的可能性”。
6.检验思想
统计方法总是归纳性的,其结论永远带有一定的或然性,基于局部特征和规律所推广出来的判断不可能完全可信,检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。
(三)统计思想的特点
作为一门应用统计学,它从数理统计学派汲取新的营养,并且越来越广泛的应用数学方法,联系也越来越密切,但在统计思想的体现上与通用学派相比,还有着自己的特别之处。其基本特点能从以下四个方面体现出:(1)统计思想强调方法性与应用性的统一;(2)统计思想强调科学性与艺术性的统一;(3)统计思想强调客观性与主观性的统一;(4)统计思想强调定性分析与定量分析的统一。
二、对统计思想的一些思考
(一)要更正当前存在的一些不正确的思想认识
英国著名生物学家、统计学家高尔顿曾经说过:“统计学具有处理复杂问题的非凡能力,当科学的探索者在前进的过程中荆棘载途时,唯有统计学可以帮助他们打开一条通道”。但事实并非这么简单,因为我们所面临的现实问题可能要比想象的复杂得多。此外,有些人认为方法越复杂越科学,在实际的分析研究中,喜欢简单问题复杂化,似乎这样才能显示其科学含量。其实,真正的科学是使复杂的问题简单化而不是追求复杂化。与此相关联的是,有些人认为只有推断统计才是科学,描述统计不是科学,并延伸扩大到只有数理统计是科学、社会经济统计不是科学这样的认识。这种认识是极其错误的,至少是对社会经济统计的无知。比利时数学家凯特勒不仅研究概率论,并且注重于把统计学应用于人类事物,试图把统计学创建成改良社会的一种工具。经济学和人口统计学中的某些近代概念,如GNP、人口增长率等等,均是凯特勒及其弟子们的遗产。
(二)要不断拓展统计思维方式
统计学是以归纳推理或归纳思维为主要的逻辑方式的。众所周知,逻辑推理方式主要有两种:归纳推理和演绎推理。归纳推理是基于观测到的数据信息(尤其是不完全甚至劣质的信息)去产生新的知识或去验证一个假设,即以所掌握的数据信息为依据,归纳得出具有一般特征的结论。归纳推理是要在数据信息的基础上透过偶然性去发现必然性。演绎推理是对统计认识能力的深化,尤其是在根据必然性去研究和认识偶然性方面,具有很大的作用。
(三)深化对数据分析的认识
任何统计研究都离不开数据分析。因为这是得到统计研究结论的必要环节。虽然统计分析的形式随时代的推移而变化着,但是“从数据中提取一切信息”或者“归纳和揭示”作为统计分析的目的却一直没有改变。对统计数据分析的原因有以下三个方面:一是基于同样的数据会得出不同、甚至相反的分析结论;二是我们所面对的分析数据有时是缺损的或存在不真实性;三是我们所面对的分析数据有时则又是海量的,让人无从下手。虽然统计数据分析已经经历了描述性数据分析(DDA)、推断性数据分析(IDA)和探索性数据分析(EDA)等阶段,分析的方法技术已经有了质的飞跃,但与人类不断提高的要求相比,存在的问题似乎也越来越多。所以,我们必须深化对数据分析的认识,围绕“准确解答特定问题并且从数据中获取一切有效信息”这一目的,不断拓展研究思路,继续开展数据分析方法技术的研究。
参考文献:
[1] 陈福贵.统计思想雏议[J].北京统计,2004.(05) .
[2] 庞有贵.统计工作及统计思想[J].科技情报开发与经济,2004.(03) .
[3] 范文正.几种基本统计思想的现实意义[J].统计与决策,2007.(08) .
[4] 邢莉.《九章算术》中的统计学思想探究[J].统计研究,2008.(03).
1.引言
生物统计学是研究数据资料的收集、整理、分析、解释的一门科学[1],也是畜牧、兽医、农学、微生物、医学等领域中不可缺少的统计工具,越来越多的数据分析离不开生物统计学原理。随着计算机技术的发展,已经有更多软件或操作系统被应用于生物统计学,如Excel[2],SAS[3],SPSS[4]等,但是不同统计软件具有不同的统计特点,如Excel统计功能更为简单,适合生物统计学的初学者。SAS统计功能比较宽广些,因其里面统计模块的限制,所以更适合自己编写程序的学者。SPSS的统计功能更为强大,几乎具备了所有统计分析功能,操作相对简单、直观。
2.二项分布
虽然从统计分析来看,SAS和SPSS的统计分析功能略胜于Excel,但是Excel具有其独特的地方,如对一些常用分布的概率计算来说Excel显得简单多了。二项分布是最常见的离散性随机变量的概率分布,核心定义为每次实验只能有两种可能结果。对于二项分布的手动计算公式[1]:
3 利用Excel对二项分布的概率计算
虽然二项分布的概率手动也能计算,但是比较费时费力,因此我们借助Excel计算二项分布的概率就比较简单。例2:已知某种病猪的死亡率为30%,现在有10头病猪,如果不给治疗,问死4头的概率是多少?和死4头及4头以下的概率是多少?
(1)死4头的概率:Excel中选定空格―插入f函数统计BINOMDIST:在其对话框中从上依次输入4,10,0.3,false,具体见图1,其概率为0.2001。
(2)死4头及4头以下的概率:Excel中,选定空格―插入f函数统计BINOMDIST:在其对话框中从上依次输入(4,10,0.3,true),具体见图2,其概率为0.8497。
4.注意问题
在本次教学改革与实践中,已经把各种分布的概率计算纳入《生物统计学》实践教学中,一方面可以让学生针对不同数据清楚其分布类型,针对不同分布类型选用不同Excel函数模块,可以说将课本上所学知识很好地应用于实践数据分析。本文介绍的是二项分布,只有二项分布的概率计算才适用Excel中的BINOMDIST统计函数模块,如果是其他分布的概率计算需要另选其他模块。
参考文献:
[1]张勤.生物统计学.中国农业大学出版社,北京,2009.
一、关于统计学
统计学是一门实质性的社会科学,既研究社会生活的客观规律,也研究统计方法。统计学是继承和发展基础统计的理论成果,坚持统计学的社会科学性质,使统计理论研究更接近统计工作实际,在国家和社会得到广泛发展。
二、统计学中的几种统计思想
2.1统计思想的形成
统计思想不是天然形成的,需要经历统计观念、统计意识、统计理念等阶段。统计思想是根据人类社会需求的变化而开展各种统计实践、统计理论研究与概括,才能逐步形成系统的统计思想。
2.2比较常用的几种统计思想
所谓统计思想,就是统计实际工作、统计学理论及应用研究中必须遵循的基本理念和指导思想。统计思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想。现分述如下:
2.2.1均值思想
均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有统计学理论,是统计学的基本思想。均值思想也要求从总体上看问题,但要求观察其一般发展趋势,避免个别偶然现象的干扰,故也体现了总体观。
2.2.2变异思想
统计研究同类现象的总体特征,它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。统计学反映变异情况较基本的概念是方差,是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。
2.2.3估计思想
估计以样本推测总体,是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设:样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响,在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。
2.2.4相关思想
事物是普遍联系的,在变化中,经常出现一些事物相随共变或相随共现的情况,总体又是由许多个别事务所组成,这些个别事物是相互关联的,而我们所研究的事物总体又是在同质性的基础上形成。因而,总体中的个体之间、这一总体与另一总体之间总是相互关联的。
2.2.5拟合思想
拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在,所有实际事物的关系都表现得非常复杂,这种方法就是对规律或趋势的拟合。拟合的成果是模型,反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模式和基于此而预示的可能性”。
2.2.6检验思想
统计方法总是归纳性的,其结论永远带有一定的或然性,基于局部特征和规律所推广出来的判断不可能完全可信,检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。
2.3统计思想的特点
作为一门应用统计学,它从数理统计学派汲取新的营养,并且越来越广泛的应用数学方法,联系也越来越密切,但在统计思想的体现上与通用学派相比,还有着自己的特别之处。其基本特点能从以下四个方面体现出:(1)统计思想强调方法性与应用性的统一;(2)统计思想强调科学性与艺术性的统一;(3)统计思想强调客观性与主观性的统一;(4)统计思想强调定性分析与定量分析的统一。
三、对统计思想的一些思考
3.1要更正当前存在的一些不正确的思想认识
英国著名生物学家、统计学家高尔顿曾经说过:“统计学具有处理复杂问题的非凡能力,当科学的探索者在前进的过程中荆棘载途时,唯有统计学可以帮助他们打开一条通道”。但事实并非这么简单,因为我们所面临的现实问题可能要比想象的复杂得多。此外,有些人认为方法越复杂越科学,在实际的分析研究中,喜欢简单问题复杂化,似乎这样才能显示其科学含量。其实,真正的科学是使复杂的问题简单化而不是追求复杂化。与此相关联的是,有些人认为只有推断统计才是科学,描述统计不是科学,并延伸扩大到只有数理统计是科学、社会经济统计不是科学这样的认识。这种认识是极其错误的,至少是对社会经济统计的无知。比利时数学家凯特勒不仅研究概率论,并且注重于把统计学应用于人类事物,试图把统计学创建成改良社会的一种工具。经济学和人口统计学中的某些近代概念,如GNP、人口增长率等等,均是凯特勒及其弟子们的遗产。
3.2要不断拓展统计思维方式
统计学是以归纳推理或归纳思维为主要的逻辑方式的。众所周知,逻辑推理方式主要有两种:归纳推理和演绎推理。归纳推理是基于观测到的数据信息(尤其是不完全甚至劣质的信息)去产生新的知识或去验证一个假设,即以所掌握的数据信息为依据,归纳得出具有一般特征的结论。归纳推理是要在数据信息的基础上透过偶然性去发现必然性。演绎推理是对统计认识能力的深化,尤其是在根据必然性去研究和认识偶然性方面,具有很大的作用。
3.3深化对数据分析的认识
任何统计研究都离不开数据分析。因为这是得到统计研究结论的必要环节。虽然统计分析的形式随时代的推移而变化着,但是“从数据中提取一切信息”或者“归纳和揭示”作为统计分析的目的却一直没有改变。对统计数据分析的原因有以下三个方面:一是基于同样的数据会得出不同、甚至相反的分析结论;二是我们所面对的分析数据有时是缺损的或存在不真实性;三是我们所面对的分析数据有时则又是海量的,让人无从下手。虽然统计数据分析已经经历了描述性数据分析(DDA)、推断性数据分析(IDA)和探索性数据分析(EDA)等阶段,分析的方法技术已经有了质的飞跃,但与人类不断提高的要求相比,存在的问题似乎也越来越多。所以,我们必须深化对数据分析的认识,围绕“准确解答特定问题并且从数据中获取一切有效信息”这一目的,不断拓展研究思路,继续开展数据分析方法技术的研究。
参考文献:
[1]陈福贵.统计思想雏议[J]北京统计,2004,(05).
一、关于统计学
统计学是一门实质性的社会科学,既研究社会生活的客观规律,也研究统计方法。统计学是继承和发展基础统计的理论成果,坚持统计学的社会科学性质,使统计理论研究更接近统计工作实际,在国家和社会得到广泛发展。
二、统计学中的几种统计思想
2.1统计思想的形成
统计思想不是天然形成的,需要经历统计观念、统计意识、统计理念等阶段。统计思想是根据人类社会需求的变化而开展各种统计实践、统计理论研究与概括,才能逐步形成系统的统计思想。
2.2比较常用的几种统计思想
所谓统计思想,就是统计实际工作、统计学理论及应用研究中必须遵循的基本理念和指导思想。统计思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想。现分述如下:
2.2.1均值思想
均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有统计学理论,是统计学的基本思想。均值思想也要求从总体上看问题,但要求观察其一般发展趋势,避免个别偶然现象的干扰,故也体现了总体观。
2.2.2变异思想
统计研究同类现象的总体特征,它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。统计学反映变异情况较基本的概念是方差,是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。
2.2.3估计思想
估计以样本推测总体,是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设:样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响,在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。
2.2.4相关思想
事物是普遍联系的,在变化中,经常出现一些事物相随共变或相随共现的情况,总体又是由许多个别事务所组成,这些个别事物是相互关联的,而我们所研究的事物总体又是在同质性的基础上形成。因而,总体中的个体之间、这一总体与另一总体之间总是相互关联的。
2.2.5拟合思想
拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在,所有实际事物的关系都表现得非常复杂,这种方法就是对规律或趋势的拟合。拟合的成果是模型,反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模式和基于此而预示的可能性”。
2.2.6检验思想
统计方法总是归纳性的,其结论永远带有一定的或然性,基于局部特征和规律所推广出来的判断不可能完全可信,检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。
2.3统计思想的特点
作为一门应用统计学,它从数理统计学派汲取新的营养,并且越来越广泛的应用数学方法,联系也越来越密切,但在统计思想的体现上与通用学派相比,还有着自己的特别之处。其基本特点能从以下四个方面体现出:(1)统计思想强调方法性与应用性的统一;(2)统计思想强调科学性与艺术性的统一;(3)统计思想强调客观性与主观性的统一;(4)统计思想强调定性分析与定量分析的统一。
三、对统计思想的一些思考
3.1要更正当前存在的一些不正确的思想认识
英国著名生物学家、统计学家高尔顿曾经说过:“统计学具有处理复杂问题的非凡能力,当科学的探索者在前进的过程中荆棘载途时,唯有统计学可以帮助他们打开一条通道”。但事实并非这么简单,因为我们所面临的现实问题可能要比想象的复杂得多。此外,有些人认为方法越复杂越科学,在实际的分析研究中,喜欢简单问题复杂化,似乎这样才能显示其科学含量。其实,真正的科学是使复杂的问题简单化而不是追求复杂化。与此相关联的是,有些人认为只有推断统计才是科学,描述统计不是科学,并延伸扩大到只有数理统计是科学、社会经济统计不是科学这样的认识。这种认识是极其错误的,至少是对社会经济统计的无知。比利时数学家凯特勒不仅研究概率论,并且注重于把统计学应用于人类事物,试图把统计学创建成改良社会的一种工具。经济学和人口统计学中的某些近代概念,如GNP、人口增长率等等,均是凯特勒及其弟子们的遗产。
3.2要不断拓展统计思维方式
统计学是以归纳推理或归纳思维为主要的逻辑方式的。众所周知,逻辑推理方式主要有两种:归纳推理和演绎推理。归纳推理是基于观测到的数据信息(尤其是不完全甚至劣质的信息)去产生新的知识或去验证一个假设,即以所掌握的数据信息为依据,归纳得出具有一般特征的结论。归纳推理是要在数据信息的基础上透过偶然性去发现必然性。演绎推理是对统计认识能力的深化,尤其是在根据必然性去研究和认识偶然性方面,具有很大的作用。
3.3深化对数据分析的认识
任何统计研究都离不开数据分析。因为这是得到统计研究结论的必要环节。虽然统计分析的形式随时代的推移而变化着,但是“从数据中提取一切信息”或者“归纳和揭示”作为统计分析的目的却一直没有改变。对统计数据分析的原因有以下三个方面:一是基于同样的数据会得出不同、甚至相反的分析结论;二是我们所面对的分析数据有时是缺损的或存在不真实性;三是我们所面对的分析数据有时则又是海量的,让人无从下手。虽然统计数据分析已经经历了描述性数据分析(DDA)、推断性数据分析(IDA)和探索性数据分析(EDA)等阶段,分析的方法技术已经有了质的飞跃,但与人类不断提高的要求相比,存在的问题似乎也越来越多。所以,我们必须深化对数据分析的认识,围绕“准确解答特定问题并且从数据中获取一切有效信息”这一目的,不断拓展研究思路,继续开展数据分析方法技术的研究。
参考文献:
[1]陈福贵.统计思想雏议[J]北京统计,2004,(05).
统计思想需要经历统计观念、统计意识、统计理念等阶段。统计思想是根据人类社会需求的变化而开展各种统计实践、统计理论研究与概括,才能逐步形成系统的数理统计思想。
二、数理统计思想的特点
数理统计思想从数理统计学派汲取新的营养,并且越来越广泛的应用数学方法,联系也越来越密切,但在数理统计思想的体现上与通用学派相比,还有着自己的特别之处。其基本特点能从以下四个方面体现出:(1)数理统计思想强调方法性与应用性的统一;(2)数理统计思想强调科学性与艺术性的统一;(3)数理统计思想强调客观性与主观性的统一;(4)数理统计思想强调定性分析与定量分析的统一。
三、数理统计思想
就是统计实际工作、数理统计学理论及应用研究中必须遵循的基本理念和指导思想。数理统计的思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想。
1.均值思想
均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有数理统计学理论,是数理统计学的基本思想。均值思想也要求从总体上看问题,但要求观察其一般发展趋势,避免个别偶然现象的干扰,故也体现了总体观。
2.变异思想
统计研究同类现象的总体特征,它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。数理统计学反映变异情况较基本的概念是方差,是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。
3.估计思想
估计以样本推测总体,是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设:样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响,在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。
4.相关思想
事物是普遍联系的,在变化中,经常出现一些事物相随共变或相随共现的情况,总体又是由许多个别事务所组成,这些个别事物是相互关联的,而我们所研究的事物总体又是在同质性的基础上形成。因而,总体中的个体之间、这一总体与另一总体之间总是相互关联的。
5.拟合思想
拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在,所有实际事物的关系都表现得非常复杂,这种方法就是对规律或趋势的拟合。拟合的成果是模型,反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模于此而预示的可能性”。
6.检验思想
数理统计方法总是归纳性的,其结论永远带有一定的或然性,基于局部特征和规律所推广出来的判断不可能完全可信,检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。
四、数理统计的思想方法?
1.要更正不正确的思想认识
英国著名生物学家、统计学家高尔顿曾经说过:“统计学具有处理复杂问题的非凡能力,当科学的探索者在前进的过程中荆棘载途时,唯有统计学可以帮助他们打开一条通道”。但事实并非这么简单,因为我们所面临的现实问题可能要比想象的复杂得多。此外,有些人认为方法越复杂越科学,在实际的分析研究中,喜欢简单问题复杂化,似乎这样才能显示其科学含量。其实,真正的科学是使复杂的问题简单化而不是追求复杂化。与此相关联的是,有些人认为只有推断统计才是科学,描述统计不是科学,并延伸扩大到只有数理统计是科学、社会经济统计不是科学这样的认识。这种认识是极其错误的,至少是对社会经济统计的无知。比利时数学家凯特勒不仅研究概率论,并且注重于把统计学应用于人类事物,试图把统计学创建成改良社会的一种工具。经济学和人口统计学中的某些近代概念,如GNP、人口增长率等等,均是凯特勒及其弟子们的遗产。
2.要不断拓展统计思维方式
数理统计学是以归纳推理或归纳思维为主要的逻辑方式的。众所周知,逻辑推理方式主要有两种:归纳推理和演绎推理。归纳推理是基于观测到的数据信息(尤其是不完全甚至劣质的信息)去产生新的知识或去验证一个假设,即以所掌握的数据信息为依据,归纳得出具有一般特征的结论。归纳推理是要在数据信息的基础上透过偶然性去发现必然性。演绎推理是对统计认识能力的深化,尤其是在根据必然性去研究和认识偶然性方面,具有很大的作用。
3.要深化对数据分析的认识
任何统计研究都离不开数据分析。因为这是得到统计研究结论的必要环节。虽然统计分析的形式随时代的推移而变化着,但是“从数据中提取一切信息”或者“归纳和揭示”作为统计分析的目的却一直没有改变。对统计数据分析的原因有以下三个方面:一是基于同样的数据会得出不同、甚至相反的分析结论;二是我们所面对的分析数据有时是缺损的或存在不真实性;三是我们所面对的分析数据有时则又是海量的,让人无从下手。虽然统计数据分析已经经历了描述性数据分析、推断性数据分析和探索性数据分析等阶段,分析的方法技术已经有了质的飞跃,但与人类不断提高的要求相比,存在的问题似乎也越来越多。所以,我们必须深化对数据分析的认识,围绕“准确解答特定问题并且从数据中获取一切有效信息”这一目的,不断拓展研究思路,继续开展数据分析方法技术的研究。
数理统计思想方法应用必须坚持以事实为依据、用数据说话的原则,把统计技术的应用与专业技术紧密结合,在考虑统计项目实施时,应从理论和事实层面上注重分析和使用条件,认真权衡各种关联因素。数理统计学是继承和发展基础统计的理论成果,坚持统计学的社会科学性质,使统计理论研究更接近统计工作实际,在国家和社会得到广泛发展。
参考文献
[1] 陈福贵.统计思想雏议[J]北京统计,?2004,(05).
[2] 庞有贵.统计工作及统计思想[J]科技情报开发与经济,?2004,(03).
二、数据科学的统计学内涵
(一)理论基础
数据科学中的数据处理和分析方法是在不同学科领域中分别发展起来的,譬如,统计学、统计学习或称统计机器学习、数据挖掘、应用数学、数据密集型计算、密集计算方法等。在量化分析的浪潮下甚至出现了“metric+模式”,如计量经济学、文献计量学、网络计量学、生物统计学等。因此,有学者将数据科学定义为计算机科学技术、数学与统计学知识、专业应用知识三者的交集,这意味着数据科学是一门新兴的交叉学科。但是这种没有侧重的叠加似乎只是罗列了数据科学所涉及到的学科知识,并没有进行实质性的分析,就好似任何现实活动都可以拆解为不同的细分学科,这是必然的。根据Naur(1960,1974)的观点,数据科学或称数据学是计算机科学的一个替代性称谓。但是这种字面上的转换,并没有作为一个独立的学科而形成。Cleveland(2001)首次将数据科学作为一个独立的学科提出时,将数据科学表述为统计学加上它在计算技术方面的扩展。这种观点表明,数据科学的理论基础是统计学,数据科学可以看作是统计学在研究范围(对象)和分析方法上不断扩展的结果。一如统计学最初只是作为征兵、征税等行政管理的附属活动,而现在包括了范围更广泛的理论和方法。从研究范围的扩展来看,是从最初的结构型大规模数据(登记数据),到结构型的小规模数据(抽样数据)、结构型的大规模数据(微观数据),再扩展到现在的非(半)结构型的大规模数据(大数据)和关系数据等类型更为丰富的数据。从分析方法的扩展来看,是从参数方法到非参数方法,从基于模型到基于算法,一方面传统的统计模型需要向更一般的数据概念延伸;另一方面,算法(计算机实现)成为必要的“可行性分析”,而且在很多方面算法模型的优势越来越突出。注意到,数据分析有验证性的数据分析和探索性的数据分析两个基本取向,但不论是哪一种取向,都有一个基本的前提假设,就是观测数据是由背后的一个(随机)模型生成,因此数据分析的基本问题就是找出这个(随机)模型。Tukey(1980,2000)明确提到,EDA和CDA并不是替代关系,两者皆必不可少,强调EDA是因为它被低估了。数据导向是计算机时代统计学发展的方向,这一观点已被越来越多的统计学家所认同。但是数据导向仍然有基于模型与基于算法两种声音,其中,前文提到的EDA和CDA都属于基于模型的方法,它们都假定数据背后存在某种生成机制;而算法模型则认为复杂的现实世界无法用数学公式来刻画,即,不设置具体的数学模型,同时对数据也不做相应的限制性假定。算法模型自20世纪80年代中期以来随着计算机技术的迅猛发展而得到快速成长,然而很大程度上是在统计学这个领域之外“悄然”进行的,比如人工神经网络、支持向量机、决策树、随机森林等机器学习和数据挖掘方法。若响应变量记为y,预测变量记为x,扰动项和参数分别记为ε和β,则基于模型的基本形式是:y=f(x,β,ε),其目的是要研究清楚y与x之间的关系并对y做出预测,其中,f是一个有显式表达的函数形式(若f先验假定,则对应CDA;若f是探索得到的,则对应EDA),比如线性回归、Logistic回归、Cox回归等。可见,传统建模的基本观点是,不仅要得到正确的模型———可解释性强,而且要得到准确的模型———外推预测能力强。而对于现实中复杂的、高维的、非线性的数据集,更切合实际的做法是直接去寻找一个恰当的预测规则(算法模型),不过代价是可解释性较弱,但是算法模型的计算效率和可扩展性更强。基于算法的基本形式类似于非参数方法y=f(x,ε),但是比非参数方法的要求更低yx,因为非参数方法很多时候要求f或其一阶导数是平滑的,而这里直接跳过了函数机制的探讨,寻找的只是一个预测规则(后续的检验也是基于预测构造的)。在很多应用场合,算法模型得到的是针对具体问题的解(譬如某些参数是被当作一个确定的值通过优化算法得到的),并不是统计意义上的推断解。
(二)技术维度
数据科学是基于数据的决策,数据分析的本质既不是数学,也不是软件程序,而是对数据的“阅读”和“理解”。技术只是辅助数据理解的工具,一个毫无统计学知识的人应用统计软件也可以得到统计结果,但无论其过程还是结果都是可疑的,对统计结果的解释也无法令人信服。“从计算机科学自身来看,这些应用领域提供的主要研究对象就是数据。虽然计算机科学一贯重视数据的研究,但数据在其中的地位将会得到更进一步的加强”。不可否认,统计分析逐渐向计算机科学技术靠近的趋势是明显的。这一方面是因为,数据量快速膨胀,数据来源、类型和结构越来越复杂,迫切需要开发更高效率的存储和分析工具,可以很好地适应数据量的快速膨胀;另一方面,计算机科学技术的迅猛发展为新方法的实现提供了重要的支撑。对于大数据而言,大数据分析丢不掉计算机科学这个属性的一个重要原因还不单纯是因为需要统计软件来协助基本的统计分析和计算,而是大数据并不能像早先在关系型数据库中的数据那样可以直接用于统计分析。事实上,面对越来越庞杂的数据,核心的统计方法并没有实质性的改变,改变的只是实现它的算法。因此,从某种程度上来讲,大数据考验的并不是统计学的方法论,而是计算机科学技术和算法的适应性。譬如大数据的存储、管理以及分析架构,这些都是技术上的应对,是如何实现统计分析的辅助工具,核心的数据分析逻辑并没有实质性的改变。因此,就目前而言,大数据分析的关键是计算机技术如何更新升级来适应这种变革,以便可以像从前一样满足统计分析的需要。
(三)应用维度
在商业应用领域,数据科学被定义为,将数据转化为有价值的商业信息①的完整过程。数据科学家要同时具备数据分析技术和商业敏感性等综合技能。换句话说,数据科学家不仅要了解数据的来源、类型和存储调用方式,而且还要知晓如何选择相应的分析方法,同时对分析结果也能做出切合实际的解释②。这实际上提出了两个层面的要求:①长期目标是数据科学家从一开始就应该熟悉整个数据分析流程,而不是数据库、统计学、机器学习、经济学、商业分析等片段化碎片化的知识。②短期目标实际上是一个“二级定义”,即,鼓励已经在专业领域内有所成就的统计学家、程序员、商业分析师相互学习。在提及数据科学的相关文献中,对应用领域有更多的倾向;数据科学与统计学、数学等其他学科的区别恰在于其更倾向于实际应用。甚至有观点认为,数据科学是为应对大数据现象而专门设定的一个“职业”。其中,商业敏感性是数据科学家区别于一般统计人员的基本素质。对数据的简单收集和报告不是数据科学的要义,数据科学强调对数据多角度的理解,以及如何就大数据提出相关的问题(很多重要的问题,我们非但不知道答案而且不知道问题何在以及如何发问)。同时数据科学家要有良好的表达能力,能将数据中所发现的事实清楚地表达给相关部门以便实现有效协作。从商业应用和服务社会的角度来看,强调应用这个维度无可厚非,因为此处是数据产生的土壤,符合数据科学数据导向的理念,数据分析的目的很大程度上也是为了增进商业理解,而且包括数据科学家、首席信息官这些提法也都肇始于实务部门。不过,早在20世纪90年代中期,已故图灵奖得主格雷(JimGray)就已经意识到,数据库技术的下一个“大数据”挑战将会来自科学领域而非商业领域(科学研究领域成为产生大数据的重要土壤)。2008年9月4日刊出的《自然》以“bigdata”作为专题(封面)探讨了环境科学、生物医药、互联网技术等领域所面临的大数据挑战。2011年2月11日,《科学》携其子刊《科学-信号传导》、《科学-转译医学》、《科学-职业》专门就日益增长的科学研究数据进行了广泛的讨论。格雷还进一步提出科学研究的“第四范式”是数据(数据密集型科学),不同于实验、理论、和计算这三种范式,在该范式下,需要“将计算用于数据,而非将数据用于计算”。这种观点实际上是将数据从计算科学中单独区别开来了。
三、数据科学范式对统计分析过程的直接影响
以前所谓的大规模数据都是封闭于一个机构内的(数据孤岛),而大数据注重的是数据集间的关联关系,也可以说大数据让孤立的数据形成了新的联系,是一种整体的、系统的观念。从这个层面来说,将大数据称为“大融合数据”或许更为恰当。事实上,孤立的大数据,其价值十分有限,大数据的革新恰在于它与传统数据的结合、线上和线下数据的结合,当放到更大的环境中所产生的“1+1>2”的价值。譬如消费行为记录与企业生产数据结合,移动通讯基站定位数据用于优化城市交通设计,微博和社交网络数据用于购物推荐,搜索数据用于流感预测、利用社交媒体数据监测食品价等等。特别是数据集之间建立的均衡关系,一方面无形中增强了对数据质量的监督和约束;另一方面,为过去难以统计的指标和变量提供了另辟蹊径的思路。从统计学的角度来看,数据科学(大数据)对统计分析过程的各个环节(数据收集、整理、分析、评价、等)都提出了挑战,其中,集中表现在数据收集和数据分析这两个方面。
(一)数据收集方面
在统计学被作为一个独立的学科分离出来之前(1900年前),统计学家们就已经开始处理大规模数据了,但是这个时期主要是全国范围的普查登记造册,至多是一些简单的汇总和比较。之后(1920-1960年)的焦点逐渐缩聚在小规模数据(样本),大部分经典的统计方法(统计推断)以及现代意义上的统计调查(抽样调查)正是在这个时期产生。随后的45年里,统计方法因广泛的应用而得到快速发展。变革再次来自于统计分析的初始环节———数据收集方式的转变:传统的统计调查方法通常是经过设计的、系统收集的,而大数据是零散实录的、有机的,这些数据通常是用户使用电子数码产品的副产品或用户自行产生的内容,比如社交媒体数据、搜索记录、网络日志等数据流等,而且数据随时都在增加(数据集是动态的)。与以往大规模数据不同的是,数据来源和类型更加丰富,数据库间的关联性也得到了前所未有的重视(大数据的组织形式是数据网络),问题也变得更加复杂。随着移动电话和网络的逐渐渗透,固定电话不再是识别住户的有效工具变量,相应的无回答率也在增加(移动电话的拒访率一般高于固定电话),同时统计调查的成本在增加,人口的流动性在增加,隐私意识以及法律对隐私的保护日益趋紧,涉及个人信息的数据从常规调查中越来越难以取得(从各国的经验来看,拒访率或无回答率的趋势是增加的),对时效性的要求也越来越高。因此,官方统计的数据来源已经无法局限于传统的统计调查,迫切需要整合部门行政记录数据、商业记录数据、个人行为记录数据等多渠道数据源,与部门和搜索引擎服务商展开更广泛的合作。
(二)数据分析方面
现代统计分析方法的核心是抽样推断(参数估计和假设检验),然而数据收集方式的改变直接淡化了样本的意义。比如基于浏览和偏好数据构建的推荐算法,诚然改进算法可以改善推荐效果,但是增加数据同样可以达到相同的目的,甚至效果更好。即所谓的“大量的数据胜于好的算法”这与统计学的关键定律(大数定律和中心极限定理)是一致的。同样,在大数据分析中,可以用数量来产生质量,而不再需要用样本来推断总体。事实上,在某些场合(比如社会网络数据),抽样本身是困难的。数据导向的、基于算法的数据分析方法成为计算机时代统计学发展无法回避的一个重要趋势。算法模型不仅对数据分布结构有更少的限制性假定,而且在计算效率上有很大的优势。特别是一些积极的开源软件的支撑,以及天生与计算机的相容性,使算法模型越来越受到学界的广泛重视。大数据分析首先涉及到存储、传输等大数据管理方面的问题。仅从数量上来看,信息爆炸、数据过剩、数据泛滥、数据坟墓、丰富的数据贫乏的知识……这些词组表达的主要是我们匮乏的、捉襟见肘的存储能力,同时,存储数据中有利用价值的部分却少之又少或尘封窖藏难以被发现。这除了对开采工具的渴求,当时的情绪主要还是迁怨于盲目的记录,把过多精力放在捕捉和存储外在信息。在这种情况下,开采有用的知识等价于抛弃无用的数据。然而,大数据时代的思路改变了,开始变本加厉巨细靡遗地记录一切可以记录的数据。因为:数据再怎么抛弃还是会越来越多。我们不能通过删减数据来适应自己的无能,为自己不愿做出改变找借口,而是应该面对现实,提高处理海量数据的能力。退一步,该删除哪些数据呢?当前无用的数据将来也无用吗?显然删除数据的成本要大于存储的成本。大数据存储目前广泛应用的是GFS、HDFS等基于计算机群组的文件系统,它可以通过简单增加计算机来无限地扩充存储能力。值得注意的是,分布式文件系统存储的数据仅仅是整个架构中最基础的描述,是为其他部件服务的(比如MapReduce),并不能直接用于统计分析。而NoSQL这类分布式存储系统可以实现高级查询语言,事实上,有些RDBMS开始借鉴MapReduce的一些思路,而基于MapReduce的高级查询语言也使MapReduce更接近传统的数据库编程,二者的差异将变得越来越模糊。大数据分析的可行性问题指的是,数据量可能大到已经超过了目前的存储能力,或者尽管没有大到无法存储,但是如果算法对内存和处理器要求很高,那么数据相对也就“大”了。换句话说,可行性问题主要是,数据量太大了,或者算法的复杂度太高。大数据分析的有效性问题指的是,尽管目前的硬件条件允许,但是耗时太久,无法在可容忍的或者说可以接受的时间范围内完成。目前对有效性的解决办法是采用并行处理。注意到,高性能计算和网格计算也是并行处理,但是对于大数据而言,由于很多节点需要访问大量数据,因此很多计算节点会因为网络带宽的限制而不得不空闲等待。而MapReduce会尽量在计算节点上存储数据,以实现数据的本地快速访问。因此,数据本地化是MapReduce的核心特征。
四、结论
(一)数据科学不能简单地理解为统计学的重命名,二者所指“数据”并非同一概念,前者更为宽泛,不仅包括结构型数据,而且还包括文本、图像、视频、音频、网络日志等非结构型和半结构型数据;同时,数量级也是后者难以企及的(PB以上)。但是数据科学的理论基础是统计学,数据科学可以看作是统计学在研究范围(对象)和分析方法上不断扩展的结果,特别是数据导向的、基于算法的数据分析方法越来越受到学界的广泛重视。
(二)从某种程度上来讲,大数据考验的并不是统计学的方法论,而是计算机科学技术和算法的适应性。譬如大数据的存储、管理以及分析架构,这些都是技术上的应对,核心的数据分析逻辑并没有实质性的改变。因此,大数据分析的关键是计算机技术如何更新升级以适应这种变革,以便可以像从前一样满足统计分析的需要。
(三)大数据问题很大程度上来自于商业领域,受商业利益驱动,因此数据科学还被普遍定义为,将数据转化为有价值的商业信息的完整过程。这种强调应用维度的观点无可厚非,因为此处是数据产生的土壤,符合数据科学数据导向的理念。不过,早在20世纪90年代中期,已故图灵奖得主格雷就已经意识到,数据库技术的下一个“大数据”挑战将会来自科学领域而非商业领域(科学研究领域成为产生大数据的重要土壤)。他提出科学研究的“第四范式”是数据,不同于实验、理论、和计算这三种范式,在该范式下,需要“将计算用于数据,而非将数据用于计算”。这种观点实际上将数据从计算科学中单独区别开了。
统计思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想等。统计思想不是天然形成的,需要经历统计观念、统计意识、统计理念等阶段。统计思想是根据人类社会需求的变化而开展各种统计实践、统计理论研究与概括,才能逐步形成系统的统计思想。作为一门应用统计学,它从数理统计学派汲取新的营养,并且越来越广泛的应用数学方法,联系也越来越密切,但在统计思想的体现上与通用学派相比,还有着自己的特别之处。其基本特点:
(1)统计思想强调方法性与应用性的统一;
(2)统计思想强调科学性与艺术性的统一;
(3)统计思想强调客观性与主观性的统一;
(4)统计思想强调定性分析与定量分析的统一。
1.均值思想。均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有统计学理论,是统计学的基本思想。均值思想也要求从总体上看问题,但要求观察其一般发展趋势,避免个别偶然现象的干扰,故也体现了总体观。
2.变异思想。统计研究同类现象的总体特征,它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。统计学反映变异情况较基本的概念是方差,是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。
3.估计思想。估计以样本推测总体,是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设:样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响,在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。
4.相关思想。事物是普遍联系的,在变化中,经常出现一些事物相随共变或相随共现的情况,总体又是由许多个别事务所组成,这些个别事物是相互关联的,而我们所研究的事物总体又是在同质性的基础上形成。因而,总体中的个体之间、这一总体与另一总体之间总是相互关联的。
5.拟合思想。拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在,所有实际事物的关系都表现得非常复杂,这种方法就是对规律或趋势的拟合。拟合的成果是模型,反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模式和基于此而预示的可能性”。
6.检验思想。统计方法总是归纳性的,其结论永远带有一定的或然性,基于局部特征和规律所推广出来的判断不可能完全可信,检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。
二、对统计思想的若干思考
统计思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想等。统计思想不是天然形成的,需要经历统计观念、统计意识、统计理念等阶段。统计思想是根据人类社会需求的变化而开展各种统计实践、统计理论研究与概括,才能逐步形成系统的统计思想。作为一门应用统计学,它从数理统计学派汲取新的营养,并且越来越广泛的应用数学方法,联系也越来越密切,但在统计思想的体现上与通用学派相比,还有着自己的特别之处。其基本特点:(1)统计思想强调方法性与应用性的统一;(2)统计思想强调科学性与艺术性的统一;(3)统计思想强调客观性与主观性的统一;(4)统计思想强调定性分析与定量分析的统一。
1.均值思想。均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有统计学理论,是统计学的基本思想。均值思想也要求从总体上看问题,但要求观察其一般发展趋势,避免个别偶然现象的干扰,故也体现了总体观。
2.变异思想。统计研究同类现象的总体特征,它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。统计学反映变异情况较基本的概念是方差,是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。
3.估计思想。估计以样本推测总体,是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设:样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响,在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。
4.相关思想。事物是普遍联系的,在变化中,经常出现一些事物相随共变或相随共现的情况,总体又是由许多个别事务所组成,这些个别事物是相互关联的,而我们所研究的事物总体又是在同质性的基础上形成。因而,总体中的个体之间、这一总体与另一总体之间总是相互关联的。
5.拟合思想。拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在,所有实际事物的关系都表现得非常复杂,这种方法就是对规律或趋势的拟合。拟合的成果是模型,反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模式和基于此而预示的可能性”。
6.检验思想。统计方法总是归纳性的,其结论永远带有一定的或然性,基于局部特征和规律所推广出来的判断不可能完全可信,检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。
二、对统计思想的若干思考
中图分类号 G642.0 文献标识码 A 文章编号 1007-5739(2016)22-0284-01
生物统计学是畜牧、兽医、农学、微生物、医学等领域中不可缺少的统计工具,数据分析离不开生物统计学的原理。随着计算机技术的发展,已有更多的软件被应用于生物统计学,如SPSS[1-4]、Excel[5]、SAS[6]等,但是不同的统计软件有不同的特点,如Excel统计功能虽然简单,但是操作方便,分析出来的结果更为直观,更适合生物统计学的初学者。
1 分析工具库的安装
Excel一般并不直接带着“分析工具库”这一模块,需要在Excel的基础上自行安装。安装步骤:Excel的工具―加载宏―分析工具库―确定。
2 双样本等方差数据资料的t检验
一般很难从数据资料上确定2个样本的方差是否相等,需要对其做方差的齐性检验来判断。下面以果蝇的TPI酶活性为例,阐述双样本异方差的t检验过程。
2.1 数据资料的建立
为了比较果蝇中TPI酶活性在pH=5和pH=8时是否有区别,将10只果蝇随机分为2组,一组测定在pH=5下的TPI酶活性,另一组测定在pH=8下的TPI酶活性,问这2种pH值下的平均TPI活性是否有显著差异[7]。首先在Excel中把分组的名称“pH=5”和“pH=8”分别填入每一列的最上方,然后在“pH=5”和“pH=8”下方录入其果蝇的TPI酶活性数据资料,具体如图1所示。
2.2 t检验分析
因为在本数据资料里,没有提到2个总体方差相等还是不相等,因此有必要先对数据资料进行方差齐性检验。在Excel中,选择工具―数据分析―F检验―双样本方差,点击确定进行分析,在本例题中P(F≤f)单尾
2.3 结果分析
结果部分如图3所示,“t Stat”Excel计算出的t值,图3的最下方4项分别是单尾检验和双尾检验的结果,可以依据题意来选择哪个结果,一般情况是双尾检验。结果分析可以有以下2种途径:①可以根据P(T≤t)双尾的显著性概率直接判定,即0.01
3 结语
本文主要介绍的是如何利用Excel对双样本异方差的数据资料进行t检验,在其t检验过程中一定注意总体方差不等的情况下才可以用双样本异方差的t检验模块,如果方差相等的情况选用其他模块。在结果分析部分有2种依据可以判定结果,利用显著性概率P(T≤t)来判定结果更为简单一些,P(T≤t)
4 参考文献
[1] 白俊艳,徐廷生,张小辉.《生物统计附试验设计》上机实验改革与实践[J].教育教学论坛,2015(18):247-248.
[2] 白俊艳,贾小平,张小辉,等.生物统计学课程改革与实践[J].畜牧与饲料科学,2013,34 (10):57-58.
[3] 白俊艳,武晓红,张小辉,等.生物统计附试验设计课程考核方式的改革与实践[J].安徽农业科学,2015,43( 5):369-370.
[4] 秦立金.SPSS统计软件在生物统计课程中的探索研究[J].赤峰学院学报(自然科学版),2014,30(3):198-199.
1.简化理论,保证“够用”。统计学的原理抽象、公式的推导难懂、计算过程复杂容易出错,这些都是学生学习统计学的共同难点。大多数高职院校学生高等数学基础差,甚至根本就没有高等数学的基础。而且,统计学课程的周课时少(一般周课时只有2节),教学进度快,学生理解消化的时间不够。对高职学生来说就更是难上加难了。所以,在保证“够用”的前提下,简化理论就成了统计学教学中的一个重要任务。笔者在实际教学中,按照“必须”和“够用”的原则,根据人才培养方案和教学大纲的要求对上课的内容进行重组。强调课程体系的针对性,课程设置不是从学科体系出发,而是从职业岗位群的需要出发,体现国际劳工组织的MES职业培训体系经常采用的模式――模块式课程模式(把专业学科的系统理论知识进行简化、分解成职业岗位群所需要的模块知识)。具体课堂教学操作是:
在简化理论方面,首先,在教材体系中,简化教材中抽象基本原理的讲述、复杂公式的推导,省略繁杂的书面统计计算过程的章节。把重点放在假设检验、方差分析、χ2检验和直线回归等实际应用性的章节;其次,在教学内容上,简化抽象基本原理的讲述、复杂公式的推导,省略繁杂的统计计算过程。重点讲授基本原理适应解决的对象,统计公式应用的条件,解题的基本步骤、基本方法和应注意的事项,新增引用Excel计算统计量、统计分析和常见统计软件的初步应用等内容。
所谓“够用”,首先是保证学生将来从事的岗位群所需要的统计方法及其原理,包括基本统计方法和原理的含义、应用对象、适用条件等基本知识;其次要保证具有分析和解决实际问题的实操能力,能做到学以致用。主要包括基本统计原理在实际工作中的应用、分析和解决问题的灵活运用能力和基本统计工具(Excel和SPSS,EVIEWS,SAS统计软件)的使用能力等,其中重点是MicrosoftOfficeExcel一些自带工具在统计学上的应用。
2.优化手段,讲求“实用”。在课堂教学中,我们还应遵循教育教学过程和培养目标的另一个特点,即注重岗位能力的培养,根据“按需施教、学以致用”的原则,组织课程教学、试验和实训。笔者根据以上原则,突出统计专业课程是定量分析的内容较多,应用性和实践性十分明显的特点,把优化教学手段和“实用”结合起来,一并体现在课堂教学之中,主要是改变传统讲授统计学的“三个一”模式,对教学手段进行优化,采用多媒体自做课件教学和计算机实操教学。首先,利用多媒体教学信息容量大、视觉直观、效果好的优点,既能简化教材中抽象基本原理的讲述、复杂公式的推导,省略繁杂书面统计计算的过程,又不影响学生对教材的学习和理解,在保证基本理论够用的前提下,还有足够的时间把重点放在讲授基本原理应用性的实用内容上。其次,增加计算机实操(实验实训)课,把教材中的手工、半手工统计计算转化成计算机计算。主要做法是增加SPSS、EVIEWS和SAS统计软件的简介,重点放在引用Excel自带的函数公式“fx”计算标准误、方差等统计量、利用Excel自带的“数据分析”工具分析双样本均数假设检验和方差分析、利用Excel的“图表向导”求回归方程、相关系数和制作图表等内容,其主要目的就是利用计算机这个现代化工具去解决实际生产中的统计问题,使复杂的统计计算简单化,以增强学生的解决实际生产问题的实操运用能力。第三,根据教学对象将来的就业方向,并结合实际工作中的实际案例和学生学习中其它学科出现的统计问题自编练习题,让学生反复练习并要求他们能举一反三、熟练应用。
3.注重方法,力求“会用”。本文所讲的方法是指注重统计学的实际运用方法,强调统计学基础知识和基本原理在实际工作中的运用。重点内容应放在Excel自带的函数公式、数据分析库和统计软件的基本应用上,而不是理论和繁杂的书面计算过程。核心问题是教会学生能够灵活应用统计学这个统计工具,去解决生产实践中的实际问题。在实际生产中,最为简单、方便、实用的统计工具就是Excel。所以笔者在教学过程中就是以Excel的应用为中心,结合实际生产中的问题开展教学工作。
在工作中要始终坚持“会用”这个原则,“会用”包括两层含义:第一,会用统计的原理解决实际问题,即知道解决什么问题时使用什么统计方法;第二,会利用Excel自带的函数公式“fx”、“数据分析”库和图形处理等计算统计量,并根据统计计算结果对问题进行推论,达到解决实际问题的目的。
在课堂教学中,我们应注意以下几个问题:第一,注意讲清楚“数据分析”工具与手工统计分析计算上的衔接关系;第二,向学生交代清楚Excel自带“数据分析”适用对象、适用条件,并教会他们分析和判断;第三,详细讲授运用Excel自带函数公式和“数据分析”的具体操作步骤,明确Excel计算结果中各个数量所代表的意义。下面举例说明两种安眠药的疗效有无极显著的差异:
对10名失眠患者,服用甲乙两种安眠药。以XiYi分别表示使用甲乙两种安眠药后各个患者睡眠的延长小时数,结果如下表:
分析说明:第一,利用Excel自带的“数据分析”工具解此题的步骤同手工统计法,也要求有以下4个步骤,①提出假设;②确定显著水平;③计算概率值;④推断H0的正误。其中提出假设、确定显著水平和推断H0的正误这三步与手工统计分析相同;而Excel自带的函数公式和“数据分析”工具仅仅用于计算概率值。第二,Excel自带的“数据分析”工具的选定和运用分析。本题具有两组样本数据,而且两个样本是相互关联的,样本容量一样,每对数据都是同一总体在不同条件下抽取的样本,如第1组数据1.9和0.7是同一个患者服用甲乙两种药睡眠延长的时间数。所以应选用Excel“数据分析”工具中的“t-检验:成对双样本均值分析”。第三,讲清具体操作步骤,并注意对结果进行说明。
解:①检验假设:H0:u1=u2即两种药疗效相同;HA:u1≠u2即两种药疗效不相同
②取α的值为0.01(判断这两种安眠药的疗效有无极显著的差异)
③统计计算:此步需用Excel“数据分析”工具,具体操作步骤如下:
打开Excel,把数据输入Excel表格,点击“工具”,再点击“数据分析”,在对话框中选取“t-检验:成对双样本均值分析”,点击“确定”。在随后出现的对话框内单击“变量1的区域”后的对话框,而后拖动鼠标选定Excel表中的第1组数据;同理,单击“变量2的区域”后的对话框,而后拖动鼠标选定Excel表中的第2组数据;把“(Α)”后对话框的值改成0.01。然后在“输出选项”下面的“输出区域”前的圆圈内单击鼠标表示选定,再用鼠标点击“输出区域”后面长形对话框,并在Excel数据表中鼠标点击适当的单元格作为输出区域。最后用鼠标点击“确定”,此时Excel就会自动生成如上表的结果:“df”为自由度;“tStat”是“t-检验:成对双样本均值分析”的统计值,即t=4.062128;“t单尾临界”是单尾检验临界值,即单尾t0.01=2.8214;“t双尾临界”是双尾检验临界值,即双尾t0.01=3.2498;“P”为概率,“P(T