篇一:浅谈统计学的发展方向及趋势
宁波舜宇光电信息有限公司
NINGBO SUNNY OPOTECH CO.,LTD
ISO12233测试标板的使用和判读
2007年07月24日 宁波舜宇光电信息有限公司 技术部:顾亦武
舜宇光电
目 录
1. ISO12233测试标板简介
2. 拍摄ISO12233测试标板的方法 3. 测试结果的判读评估 4. 测试实例
-2-
舜宇光电
1. ISO12233测试标板简介
1.1 ISO12233测试标板图样
1.2 ISO12233测试标板的材料、尺寸、单位 1.3 ISO12233测试标板测试单元、各测试单 元的测试内容
-3-
舜宇光电
1.1 ISO12233测试标板图样
-4-
舜宇光电
1.2 ISO12233测试标板的材料、尺寸、单位
材料:
反射式:由前面照明的反射的测试标板
透射式:可由后面照明的透射标板
尺寸:
标板影像宽高比可选择16:9、3:2、4:3和1:1,在测试Cellphone Camera Module的分辨率时,一般都选取4:3区域。
单位:
用像高每的线宽来表示,标记为LW/PH。
-5-
舜宇光电
1.3 ISO12233测试标板测试单元、各测试单元的测试内容
测试单元:
主要使用其中的水平方向的J1、K1;垂直方向的J2、K2;倾斜45 度 方向的JD、KD 样式,另外还有四角的十字区域。
各测试单元的测试内容:
J1、K1:用于测量中心的水平可视分辨率,拥有100~2000LW/PH的 测试范围;
J2、K2:用于测量中心的垂直可视分辨率,拥有100~2000LW/PH的 测试范围;
JD、KD:用于测量斜45度的可视分辨率,拥有100~1000LW/PH的 测试范围;
四角十字型测试单元:用于测量四角的水平和垂直可视分辨率,拥有 100~1000LW/PH的测试范围。
-6-
舜宇光电
2. 拍摄ISO12233测试标板的方法
2.1 拍摄条件
2.2 拍摄距离的确定和标板大小的选用 2.3 标板拍摄范围的选取 2.4 拍摄设置
-7-
舜宇光电
2.1 拍摄条件
透射式标板测试条件
反射式标板的照明如图所示, 标板任一白色区的亮度应在标 板中心区平均亮度的±10%的 范围内。并应避免镜头被光源 直接照射。标板周围区域应具 有低反射系数。测试标板应屏 蔽任何反射光,并应具有有效 光谱中性。应使用日光或 ISO7589给定的白炽灯光。
-8-
舜宇光电
2.1 拍摄条件
透射式标板测试条件
透射式标板需要在均匀光源背 景下进行测试。
右图为我司CCM机台上使用 透射式标板进行分辨率测试的 示意图。
-9-
舜宇光电
2.2 拍摄距离的确定和标板大小的选用
首先,一般来讲对于某一Cellphone Camera Module而言, 测试分辨率时的拍摄距离取决于该模组的对焦距离。即将 模组放在对焦距离的位置拍摄ISO12233测试标板。
确定好拍摄距离后,原则上应当选择正好能让有效高度正 好充满画面的测试标板。实际上完全按照该要求拍摄有一 定难度,因此也可拍摄得稍小或稍大,但后续需要将此时 的读数换算成正确的分辨率数值。
-10-
舜宇光电
2.3 标板拍摄范围的选取
在正好让标板有效高度充满画面时,标板的4:3区域也应该正好充满 画面。在取景偏大或偏小的情况下,应尽量使4:3区域中的J1、K1、 J2、K2、JD、KD处于画面中心。
测试四角分辨率时,要分别将四角上的十字型测试单元置于画面角落。
实际操作可以将标板16:9端线贴在画面外框,测量这一端上下两个角 的分辨率,再测另一侧两个角的分辨率。
测试中心分辨率
测试四角分辨率
-11-
舜宇光电
2.4 拍摄设置
Camera的拍摄设置包括:曝光时间、白平衡、亮度、色 彩、Gamma校正、拍摄模式、等。
Camera module在Demo board上进行测试时,通常采用 默认的设置拍摄即可。
Camera module在手机上进行测试时,需要选择预设定的 设置,即不加强任何效果下进行拍摄,并且以不压缩的分 辨率模式下拍摄或保存。若特殊效果下拍摄测试,需要给 出说明。
-12-
舜宇光电
3. 测试效果的判读评估
3.1 目视读数
3.2 利用软件进行读数 3.3 读数的换算 3.4 测试结果记录
-13-
舜宇光电
3.1 目视读数
利用打印设备打印图象,或者用图象显示设备直接显示 图象。
为了尽量缩小评估的离散性,以如下两点作为评估基准:
a. 将视觉分辨率评估图案的楔形线数发生变化(由5 条变为→4 条, 或由9 条变为→8 条)的空间频率作为分辨率。读数单位为 100LW/PH 。
b. 观察时,务必从低频侧开始跟踪。
-14-
舜宇光电
3.2 利用软件进行读数
依据CIPA标准,可使用软件HYRes判定极限分辨率。
使用HYRes读数的方法:
a. 用HYRes软件打开图片, 裁减出读数区域。选定后, 点击Trim Execute。
注意,裁减前需要选择正确 的线形(Wedge Type)和 方向(Direction)。
-15-
舜宇光电
3.2 利用软件进行读数
使用HYRes读数的方法:
b. 进入读数界面,点击 Execute,自动读出线数。
注意,如果拍摄的图片拍摄 质量不好或者图片中线条受 到信号干扰较严重时,可能 无法读出数值。此时,仍然 需要通过目测来读数。
-16-
舜宇光电
3.3 读数的换算
如果图片中ISO12233标板的4:3区域正好充满,则读数 即为这是的分辨率数值。
如果图片中ISO12233测试标板的4:3区域没有充满,需 要通过如下关系换算成正好充满时的数值:
画面高度 结果= 读数 ISO12233标板在画面中的高度
如果图片中ISO12233测试标板的4:3区域过满,需要通 过如下关系换算成正好充满时的数值:
ISO12233标板实际高度 结果= 读数 画面中拍摄到的标板的实际高度 注意:测试四角分辨率时,读数和换算也参照上述关系。
-17-
舜宇光电
3.4 测试结果记录
分辨率测量结果标记例子如下:
1. 仅记录最低数值,分辨率:>700LW/PH;
2. 记录中心、四角的最低数值,分辨率:中心850LW/PH、四角 700LW/PH;
3. 记录中心、四角的最低数值,以及斜45度数值,分辨率:中心 850LW/PH、四角700LW/PH、斜45度800LW/PH;
4. 记录所有数值,分辨率:中心水平900LW/PH、中心垂直 850LW/PH、斜45度800LW/PH、四角水平750LW/PH、垂直 700LW/PH(四角只记录最低的水平、垂直分辨率数值);
5. 测试时Camera启用了某些特殊的拍摄功能,或未启用却有必要标 明时,需在测试数值后标明这些备注,分辨率:>700LW/PH(备 注:RAWData输出,曝光补偿功能关闭)。
注:1、2、3标记方法是目前我司普通测试所常用的。
-18-
舜宇光电
4. 测试实例
a. 用均匀光源照射透射式ISO12233测试标板,模组固定在 离标板85cm处(因为模组对焦距离为85cm),选用最接 近正好充满画面的标板,拍摄图片。
-19-
舜宇光电
4. 测试实例
b. 考量中心水平区域,目测或者利用HYRes软件读数为 1300LW/PH。
-20-
舜宇光电
4. 测试实例
c. ISO12233标板在画面中过满,画面中拍摄到的这部分标板 实际高度是168mm,而这张标板的实际高度是250mm,因 此根据:
ISO12233标板实际高度 结果= 读数 画面中拍摄到的标板的实际高度 所以最终结果应该就是:
168mm 1300 LW / PH 874 LW / PH 250mm
再用相同方法测试出中心垂直方向、斜45度的分辨率数值, 分别为840LW/PH、780LW/PH。
-21-
舜宇光电
4. 测试实例
d. 相同方法测出四角的分辨率数值:800LW/PH(四角中的最 低数值)。
e. 最终记录下测试结果:
中心:840LW/PH 四角:800LW/PH 斜45度:780LW/PH
-22-
舜宇光电
4. 测试实例
在实际测试中,使用其它的测试标板(如:EIA测试标板、 IEEE简化测试标板),均可按照使用ISO12233测试标板的 方法进行测量。
IEEE简化测试标板
EIA测试标板
-23-
宁波舜宇光电信息有限公司
NINGBO SUNNY OPOTECH CO.,LTD
THANK YOU!
Add your course appellation
篇二:浅谈统计学的发展方向及趋势
第38卷 第8期 2020年 8月
数字技术与应用 Digital Technology &Application
Vol.38 No.8 A2u0g2u0年st 第20820期
应用研究
DOI:10.19695/j.cnki.cn12-1369.2020.08.40
大数据时代的数据挖掘技术与应用
郭伟伟 吴文臣 隋亮
(齐齐哈尔工程学院,黑龙江齐齐哈尔 161000)
摘要:在大数据时代背景下,各行各业受到大数据的影响,在数据应用与共享上有了极大的便利。数据的价值在大数据时代
下十分重要,不再单纯是数字、额度,而是一种非物质产物。而数据挖掘技术在大数据时代下广泛应用于各行业之中,本文就从数
据挖掘技术概念入手,分析几种常见的数据挖掘技术,然后提出数据挖掘技术在各领域中的实际应用,希望能够给相关人员提
供参考。
关键词: 大数据 ;数据挖掘 ;技术 ;应用
中图分类号:TP311
文献标识码:A
文章编号:1007-9416(2020)08-0103-03
大数据技术能够对数据实施集优化处理与数据管理, 但实际数据操作中还存在数据搜索不精准等问题,影响用 户对数据的使用情况。数据挖掘技术的出现能够有效解决 该问题,保证数据搜索的精准性,同时还能对数据进行必 要的编辑处理。在大数据时代下,数据挖掘技术已经在各 领域中有了广泛应用,为推动社会进步发展做出了巨大贡 献[1]。基于此,加强对大数据时代数据挖掘技术与应用的研 究具有十分现实的意义。
1 数据挖掘技术概述
数据挖掘主要是对随意性强、模糊性质数据的处理, 能够实现对不是十分精确数据的深度挖掘。数据挖掘的 过程相对复杂,且存在多种数据挖掘方法,不同挖掘方法 在数据处理中相关步骤基本相同:第一,对待挖掘数据特 点、形式等进行前提判断,并分析这些数据是否具有挖掘 的意义;第二,确定数据衡量标准,选择恰当标准,将残余 数据进行清理;第三,实施深度挖掘,最终得到数据挖掘 的结果。
目前,在各领域中数据挖掘都发挥了重要作用,能够 实现对行业所需数据实施精准定位,将其中实用数据进行 挖掘。同时,能够对数据信息进行深度挖掘,根据数据实施 市场预测,做出更加合理的判断。基于数据挖掘技术,从大 数据库中提取出有用的信息,其具有一定判定功能,通过 对数据中变量动态分析,客观判定数据,对根据数据情况 将挖掘对象的特征描绘出来。
2 数据挖掘技术方法
现阶段,经过科学技术发展,数据挖掘技术方法呈现 出不同类型,以便于适应更多行业发展需求。大数据作为 一个海量数据资源库,利用数据挖掘技术想要实现精准分 析,必须根据实际情况选择针对性的数据挖掘技术。
2.1 聚类分析法 聚类分析法指的是将不同类型数据进行有效的归类 处理,整理零碎的数据信息,提升数据信息的条理性。聚类 和分类有所区别,不是简单的将数据进行分类,在数据对 象不清晰情况下,寻找数据组中具有价值意义的信息[2]。聚 类分析法缺点也十分明显,即无法准确进行数据分类,因 此目前聚类分析法仅运用于数据识别、心理学等领域中。
2.2 关联分析法 根据相关理论发现任何事物之间都存在关联性,这也 是数据最为基本特征,为了在海量数据库中提取有用的信 息,必须能够探索出数据和数据之间的规律。而关联分析 法即在这个背景下产生,利用数据之间关联性进行数据挖 掘,利用诸多具有关联的数据最终找到想要的数据,并对 数据进行辨别处理,最后将其运用到行业分析中。
2.3 特征分析法 在我国产业发展中,数据类型不断增多,且数据量呈 现持续增多的趋势。面对这些数据量庞大、结构复杂、种类 繁多的数据,需要针对其特征加以分类。这个过程中需要 借助于先进的计算机设备,对数据加以虚拟分类,之后基 于所需要数据的特征,对已经分类数据深度挖掘,最终得
收稿日期:2020-06-03 作者简介:郭伟伟(1982 —),女,河北昌黎人,硕士研究生,副教授,研究方向:计算机科学与技术。
103
Copyright©博看网 www.bookan.com.cn. All Rights Reserved.
第 38 卷
数字技术与应用 www.szjsyyy.com
到想要的数据结果。
随着科学技术发展,数据挖掘方法会越来越丰富,也
将发挥更大的作用。
3 大数据时代数据挖掘技术的具体应用
现如今,数据挖掘技术已经广泛应用于不同领域中, 是由于其能适应各行业,能够对市场进行精准预测,对促 进企业发展,提高其生产效益具有重要意义。
3.1 在科研领域的应用 在科学研究过程中,必须以大量数据为基础。可以说, 数据对科研领域具有重要的作用,包括原始资料数据、实 验数据等,都关系到科研工作的成败,不仅需要分析数据 之间关系,同时需要对数据进行统计学分析。因此,在科研 领域中可以利用数据挖掘技术,根据科研项目提供数据为 基础,对所需要数据进行深度挖掘,快速罗列出所需数据, 能够为科研工作人员提供必要参考。
3.2 在电信领域的应用 在计算机互联网发展过程中,电信产业逐渐兴起并 发展起来,成为人们日常生活中不可缺少的一部分,而电 信企业发展中必须应用海量数据,才能为用户提供更加 优质的服务。电信数据往往具有较强的综合性特点,一旦 受到限制,则严重影响服务质量[3]。利用数据挖掘技术,对 相关数据条理化处理,更加全面的了解和记录用户信息, 对服务过程中出现的各种问题。利用数据挖掘为电信企 业提供精准的用户信息,对电信企业优化、高效运行提供 便利。
3.3 在教育领域的应用 新时期,现代化教育工作开展中,对于学生个人发展 情况、学习情况较为关注,而只有相关数据采用准确反映 学生个人情况。在学校中,学生成绩、各科学习都会形成数 据,而在教育领域中使用数据挖掘技术,能更准确的分析 学生各项素质,最终得到的分析结果能为教师教学、学校 管理工作提供参考,对促进现代化教育教学工作发展具有 重要意义[4]。
3.4 在制造业领域的应用 经济发展下,我国人民生活水平有了质的飞跃,对产 品的质量、功能都提出更高要求。在制造业领域中,产品数 据、消费者需求数据等是制造业关键,通过数据挖掘技术 对产品数据分类整理,并进行统计学分析,能够对比出产 品的优点与缺点,根据数据结果对产品进行改良,不仅能 有利于提升产品生产的效率,同时也能保证产品更加符合
篇三:浅谈统计学的发展方向及趋势
数据挖掘是指数据库中的知识发现其历史可以追溯到1989年美国底特律市召开的第一届kdd国际学术会议上而第一届知识发现和数据挖掘dataminingdm国际学术会议是1995年加拿大召开的会议上将数据库里存放的数据生动地比拟成矿床从而数据挖掘这个名词很快就流传开来
好程序员分享:浅谈大数据时代的大数据技术与应用
从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白 这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。
大数据给互联网带来的是空前的信息大爆炸,它不仅改变了互联网的数据应用模式,还将深深影响着人们的生产生活。深处在大数据时代中 的人们,已经认识到大数据已经将数据分析的认识从“向后分析”变成“向前分析”,改变了人们的思维模式,但同时大数据也向我们提出 了数据采集、分析和使用等难题。在解决了这些难题的同时,也意味着大数据开始向纵深方向发展。
大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问 题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程;大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规 律及其与自然和社会活动之间的关系。
大数据是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长!
1、大数据统计分析的意义 近年来,包括互联网、物联网、云计算等信息技术在内的IT通信业迅速发展,数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机 遇,因此现代信息社会已经进入了大数据时代。事实上,大数据改变的不只是人们的日常生活和工作模式、企业运作和经营模式,甚至还引 起科学研究模式的根本性改变。
一般意义上,大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。网络大数据是 指“人、机、物”三元世界在网络空间中彼此交互与融合所产生并在互联网上可获得的大数据。将数据应用到生活生产中,可以有效地帮助 人们或企业对信息作出比较准确的判断,以便采取适当行动。数据分析是组织有目的地收集数据、分析数据,并使之成为信息的过程。也就 是指个人或者企业为了解决生活生产中的决策或者营销等问题,运用分析方法对数据进行处理的过程。
所谓的数据统计分析,SEO马龙认为就是运用统计学的方法对数据进行处理。在以往的市场调研工作中,数据统计分析能够帮助我们挖掘出 数据中隐藏的信息,但是这种数据的分析是“向后分析”,分析的是已经发生过的事情。而在大数据中,数据的统计分析是“向前分析”, 它具有预见性。
2、大数据的可视化分析 数据是结构化的,包括原始数据中的关系数据库,其数据就是半结构化的,譬如我们熟知的文本、图形、图像数据,同时也包括了网络的不 同构型的数据。通过对各种数据的分析,就可以清晰的发现不同类型的知识结构和内容,包括反映表征的、带有普遍性的广义型知识;用于 反映数据的汇聚模式或根据对象的属性区分其所属类别的特征型知识;差异和极端特例进行描述的差异型知识;反映一个事件和其他事件之
间依赖或关联的关联型知识。关于这点,我曾在SEO马龙博客的《如何做好一个产品的市场调研和数据分析》一文中体现出来了。
根据当前历史和当前数据预测未来数据的预测型知识。当前已经出现了许多知识发现的新技术,其中之一就是可视化方法。数据可视化技术 有3个鲜明的特点:
(1)、与用户的交互性强。用户不再是信息传播中的受者,还可以方便地以交互的方式管理和开发数据。
(2)、数据显示的多维性。在可视化的分析下,数据将每一维的值分类、排序、组合和显示,这样就可以看到表示对象或事件的数据的多 个属性或变量。
(3)、最直观的可视性特点。数据可以用图像、曲线、二维图形、三维体和动画来显示,并可对其模式和相互关系进行可视化分析。
3、数据挖掘算法 数据挖掘是指数据库中的知识发现,其历史可以追溯到1989年美国底特律市召开的第一届KDD国际学术会议上,而第一届知识发现和数据 挖掘(Data Mining,DM)国际学术会议是1995年加拿大召开的,会议上将数据库里存放的数据生动地比拟成矿床,从而“数据挖掘”这个 名词很快就流传开来。数据挖掘的目的是在杂乱无章的数据库中,从大量数据中找到有用的、合适的数据,并将其隐含的、不为人知的潜在 价值的信息揭示出来的过程。事实上,数据挖掘只是整个KDD过程中的一个步骤。
数据挖掘的定义没有统一的说法,其中“数据挖掘是一个从不完整的、不明确的、大量的并且包含噪声的具有很大随机性的实际应用数据 中,提取出隐含其中、事先未被人们获知、却潜在有用的知识或模式的过程”是被广泛接受的定义。
事实上,SEO马龙觉得该定义中所包含的信息——大量真实的数据源包含着噪声;满足用户的需求的新知识;被理解接受的而且有效运用的 知识;挖掘出的知识并不要求适用于所有领域,可以仅支持某个特定的应用发现问题。
以上这些特点都表现了它对数据处理的作用,在有效处理海量且无序的数据时,还能够发现隐藏在这些数据中的有用的知识,最终为决策服 务。从技术这个角度来说,数据挖掘就是利用一系列相关算法和技术从大量的数据中提取出为人们所需要的信息和知识,隐藏在数据背后的 知识,可以以概念、模式、规律和规则等形式呈现出来。
4、大数据技术的预测性分析 预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。大数据分析最终要实现的应用领域之一就是预测性分 析,可视化分析和数据挖掘都是前期铺垫工作,只要在大数据中挖掘出信息的特点与联系,就可以建立科学的数据模型,通过模型带入新的 数据,从而预测未来的数据。作为数据挖掘的一个子集,内存计算效率驱动预测分析,带来实时分析和洞察力,使实时事务数据流得到更快 速的处理。实时事务的数据处理模式能够加强企业对信息的监控,也便于企业的业务管理和信息更新流通。
此外,大数据的预测分析能力,能够帮助企业分析未来的数据信息,有效规避风险。在通过大数据的预测性分析之后,无论是个人还是企 业,都可以比之前更好地理解和管理大数据。对此大家可以通过SEO马龙博客的《解读2013年大数据应用与趋势的调研》相关介绍来具体 了解。
尽管当前大数据的发展趋势良好,但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求,现有的数据中心技术很难满 足网络大数据的需求。因此,科学技术的进步与发展对大数据的支持起着重要的作用,大数据的革命需要考虑对IT行业进行革命性的重构。
网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈,特别是网络大数据的高速传输,需要革命性的新 技术。
此外,既然在大数据时代,任何数据都是有价值的,那么这些有价值的数据就成为了卖点,导致争夺和侵害的发生。事实上,只要有数据, 就必然存在安全与隐私的问题。随着大数据时代的到来,网络数据的增多,使得个人数据面临着重大的风险和威胁,因此,网络需要制定更 多合理的规定以保证网络环境的安全。
5、大数据的应用 众所周知,企业数据本身就蕴藏着价值,但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。但是屡见不鲜的是, 很多公司仍然只是将信息简单堆在一起,仅将其当作为满足公司治理规则而必须要保存的信息加以处理,而不是将它们作为战略转变的工 具。
毕竟,数据和人员是业务部门仅有的两笔无法被竞争对手复制的财富。在善用的人手中,好的数据是所有管理决策的基础,带来的是对客户 的深入了解和竞争优势。数据是业务部门的生命线,必须让数据在决策和行动时无缝且安全地流到人们手中。
所以,数据应该随时为决策提供依据。有些人会说,数据中蕴含的价值只能由专业人员来解读。但SEO马龙却不完全赞同这个观点,在SEO 马龙认为数据的价值在于将正确的信息在正确的时间交付到正确的人手中。未来将属于那些能够驾驭所拥有数据的公司,这些数据与公司自 身的业务和客户相关,通过对数据的利用,发现新的洞见,帮助他们找出竞争优势。
大数据分析是商业智能的演进。当今,传感器、GPS系统、QR码、社交网络等正在创建新的数据流。所有这些都可以得到发掘,正是这种 真正广度和深度的信息在创造不胜枚举的机会。要使大数据言之有物,以便让大中小企业都能通过更加贴近客户的方式取得竞争优势,数据
真正广度和深度的信息在创造不胜枚举的机会。要使大数据言之有物,以便让大中小企业都能通过更加贴近客户的方式取得竞争优势,数据 集成和数据管理是核心所在。
有的时候,我们应该将这种复杂性看成是一种机会而不是问题。处理方法时,产生的数据越多,结果就会越成熟可靠。在如今的大数据时代 中,最灵活和成功的企业将会是那些善用大机遇的公司。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业, 那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
篇四:浅谈统计学的发展方向及趋势
篇五:浅谈统计学的发展方向及趋势
大数据时代的数据挖掘与应用
摘要:随着计算机科学和现代信息技术的不断发展,各行各业在发展的过 程中加大了对数据的重视程度,通过对各种数据的收集、采集、积累和分析, 使得数据被赋予了更多的经济价值和社会价值。在当前的大数据时代,如何做 好数据的挖掘与数据的应用,是促进社会发展的关键。基于此,本文针对大数 据和大数据时代的概念进行了概述,分析了数据挖掘应用的分析方法,在此基 础上探讨了大数据时代数据的挖掘与应用。
关键词:数据挖掘;大数据时代;应用 1 大数据以及大数据时代相关概述 1.1 大数据相关概述 大数据早先是 IT 行业的专用术语,指的是常规计算机软件无法在时间和范 围内获取并处理的信息数据集合。大数据在如今的时代愈发凸显其战略价值, 从战略角度分析,大数据不仅在于其庞大的数据信息,更意味着信息数据的高 效且专业处理。从技术上来看,大数据和云计算一样,顾名思义大数据无法用 单台处理设备对数据进行处理,需要借助分布式构架才能对海量的信息数据进 行收集、分析和存储。大数据时代背景下,其数据挖掘应用的价值主要有两个 方面:一是帮助企业对消费者所需要的产品或服务进行精准营销;二是借助大 数据可以帮助各类企业进行服务转型。
1.2 大数据时代相关概述 全球知名咨询公司麦肯锡咨询公司最早提出的“大数据”的概念。进入大数 据时代以来,大数据显示出了越来越重要的作用,人们的社会生活和生产发生
着巨大变化。总体上来说,大数据时代互联网中的信息呈现出了全新的特征, 首要特征是体量庞大的数据,而海量的数据信息蕴含了更多的应用价值。其 次,数据包含的信息种类越来越多,无论是网络日志、音视频,还是地理位置 等都被纳入大数据范围。再次,数据呈现出价值密度低的特点,随着互联网和 信息技术的广泛应用,价值物联网的不断普及,信息感知无处不在海量的信息 随时都在被收集,这些海量的信息需要经过处理才能得到相应的价值。最后, 与传统数据挖掘技术相比,大数据挖掘和应用的速度快、实效高。
2 数据挖掘技术的分析方法 2.1 聚类 聚类分析是在数据处理的过程中,根据数据的类型将其划分为多个类似的 组别。这样能够最大程度提高相同类型数据之间的关联性,再通过不同类型数 据之间的关联性找到可用的数据集。通过这样的聚类方式,能够应用于客户群 体、客户分类、背景分析等各个方面。从应用领域来看,数据挖掘的聚类方式 被广泛应用于心理学、医学、销售等各个领域。
2.2 分类以及事先推测 分类是根据数据类型的不同预先对数据库中的数据从数据形式、数据特点 一一对应分类,结合不同的目的进行统计和划分。通过这样的方式能够根据不 同类型的某一特点,反映出数据项目的需求。这种应用方式可以被应用于客户 分类、客户特征、客户满意度调查、消费者消费行为的趋势预测等等。
2.3 关联分析 自然界中的事物具有一定得联系,借助这一特征在数据挖掘的过程中借助 不同数据之间的联系区别,可以快速准确地找出各类数据之间的因果联系。这
样的数据挖掘技术能够应用于交易数据中不同商品的关联性,避免商品交易问 题。或者借助这一方式,寻找市场对消费产生的各种影响,帮助企业不断改良 自身的产品。
2.4 特征分析 特征分析方法是在数据库内部的其中一组数据中提取关键数据,通过对关 键数据的分析显示出整个数据的特点。这样的方式能够减轻数据处理和分析人 员的工作压力和内容,使得数据分析和处理工作更加高效。对于企业来说,建 筑特征分析方法能够在数据挖掘时,借助分析过的数据找到出现问题的原因, 能够使企业开发出更多的消费者,也能够使企业更好留住客户。
3 数据挖掘技术的应用 3.1 应用于市场营销领域 从大数据支撑的特点以及社会发展经济的形势来看,市场营销领域是大数 据应用最广最多的领域。在实际运用的过程中借助大数据挖掘技术能够帮助企 业分析不同消费者和不同客户的消费习惯和特点,并通过这些信息来预测和推 送消费者感兴趣以及需要的商品内容,从而获取更多的客源,以这样的方式对 消费者进行精准营销从而提高企业的商品销售业绩。同时,通过优化自身的售 后服务或者其他服务,能够帮助相关企业维持稳定和长期的客户资源。当前, 大数据挖掘技术的应用领域,在市场营销方面不仅仅被应用于商品销售和超市 购物等等,已经开始普及到各个金融领域之中。在银行业、保险业、电子商务 领军、电信零售等各个行业中都可以借助数据挖掘技术收取消费者信息,分析 消费者行为,扩展本行业的潜在客户,使得企业得到更好、更快的发展。
3.2 应用于科学研究领域
在科学研究领域中,需要通过大量的实验进行论证,这样才能加快科研成 果的转化。而科学研究需要以大量的实验数据作为支撑,还要对这些数据找出 相关的规律最终形成事实,而在这些数据挖掘的过程中需要借助一定的算法才 能更好进行数据收集和整理。基于这样的科学研究领域特点,利用大数据挖掘 技术,能够找出科学研究产生的实验数据之间的规律,通过对这些数据和规律 的总结,能够更好发现新的知识。同时,当新的科研成果在进行成果转化的过 程中,通过科学技术的实践运用,借助大数据对数据进行收集,能够及时获得 关于该技术的反馈,通过反馈发现新技术或者科研成果中存在的不足与问题, 进而根据存在的问题进行改进,这样能够进一步提高科研的效率,使得科学研 究领域更加便利,也能够得到更加科学合理的结果。
3.3 应用于制造业领域 制造业与其他行业相比拥有自身的特点,制造业里面主要以各零部件生产 为主,在零部件生产的过程中需要对不同类型的数据进行收集和分析,如零件 制造公差、实体尺寸等,以此提高零件制造的精度。此外,通过融合大数据挖 掘技术,制造业领域的各企业能够通过对数据的收集分析,及时发现生产过程 中影响效率的因素,也能够发现不同产品存在的不足。这样的方式使得企业有 更多灵活的方法改进企业生产工艺和生产环节进一步提高企业的生产效益,极 大地提升了企业的市场竞争力。
3.4 应用于电信业领域 计算机科学和现代信息技术的飞速发展,电信业的发展也迎来了新的契 机。电信业主要以技术和服务为主,电信业的发展与市场有着紧密的联系同时 也与电信业提供的相关服务产生着重要的关联影响。基于电信行业的特点,大
数据挖掘技术能够将复杂的数据进行集合,并精准找出数据信息之间的规律, 使电信业能够及时关注市场的需求,并且根据客户的不同需要优化服务或者更 新产品,从而促进电信业务的超越发展。
3.5 应用于教育领域 教育是国之大计,教育也是各种先进技术和方法应用的主要领域之一。当 前,借助互联网和信息技术教育教学开始向着现代化和信息化方向发展,在发 展的过程中通过大数据的应用能够进一步完善教育教学管理也能促进教育教学 方法的改革。例如在教育教学管理过程中,借助大数据技术对学生进行分析, 能够及时掌握学生的学习和心理状况等,这样能够给予学生针对性的指导,进 一步促进学生成长成才。
4 结语 综上所述,大数据挖掘技术不仅仅是一种新兴的技术形态,也是信息化社 会发展的必然趋势。各个行业和领域应用大数据挖掘技术的过程中,要不断发 现各种技术应用中存在的不足,根据这些存在的不足及时对数据挖掘技术进行 创新,使得数据挖掘技术的实用性得以体现。