深度剖析:大数据概念及其应用

大数据圈子
近几年,大数据发展十分火爆,上至八十岁老人,下至三岁孩童儿都知道大数据,好像不讲点大数据就会被社会淘汰掉。那么,究竟什么是大数据,大数据的应用又有哪些,相信很多人都对此也都是云里雾里说不清楚。本文将从读者易懂的方面简单为大家分析下大数据的应用及概念。

近几年,大数据发展十分火爆,上至八十岁老人,下至三岁孩童儿都知道大数据,好像不讲点大数据就会被社会淘汰掉。那么,究竟什么是大数据,大数据的应用又有哪些,相信很多人都对此也都是云里雾里说不清楚。本文将从读者易懂的方面简单为大家分析下大数据的应用及概念。

从本世纪初进入互联网时代以来,快速发展的信息技术领域正在面临各种计算处理能力和计算需求之间的平衡和相互融合的挑战,对这些问题挑战的迎击又演变成新的契机,如此的起伏形成一波又一波的浪潮:从互联网、物联网、云计算直到现在的大数据。科多大数据培训给大家来解释一下大数据的概念,以及分析大数据的应用。

要想感受当前社会对大数据投入的热情,只需要简单通过搜索大数据这样的关键词或查阅当前各大主要信息产业类新闻报道中的热点专栏就能一目了然。其原因主要有两点:首先,从复杂的专业性科学/商业计算到基于互联网的消费型计算的数据每时每刻都在呈爆炸性的增长,这些庞大的数据记录了各种目标结果和可能性,形成了难以估价的数据资源及信息资产。其次,由上述实际数据衍生而来的决策信息直接给企业带来长中短期各个阶段可见的巨大经济价值和效益,并成为推动大数据研究尤其是应用的主要动力。

大数据应用也有很多现实的案例。在电子商务领域,客观反应市场经济活力的重要经济体即中小型企业在通常的融资渠道(银行)很难获得资助,由阿里巴巴金融带来的融资服务则通过中小微型客户在阿里电子商务体系中长期的注册信息、历史交易记录、客户交互行为、海关进出口信息、纳税、水电缴费以及阿里体系外的网上社交行为记录等多种信息与性格特征测试的数据汇总,来进行信用评级以资助中小微型企业的运作,并直接挑战银行的传统金融体系,为中小微型企业的发展提供了一种难得的、值得尝试的新途径。

在金融领域,当分析发现大规模对冲基金已经积聚在某相同的金融资产上,如果该金融资产突然出现严重脆弱迹象并破产,该下挫价格的行为,迫使其他基金尾随卖出,加速资产价格下挫;关联的诸多基金可能在短时间内就会连锁破产,对整个金融系统的健康和稳定造成极大的安全威胁。此种前提下,国家金融监督机构通过各种金融监控手段从金融交易中获得社会规模的数据,并基于这些数据进行灾难建模,将是预测并阻止下一场金融危机的一种积极可行的手段。

2012年国际著名的咨询机构Gartner发布大数据技术成熟度曲线(图1),分析提出了当前大数据面临的技术挑战和问题。主要包括对数据的内在规律的揭示、计算/存储/管理的提升、数据复杂度理论、数据感知(价值判断、态势预测、溯源、异常检测等)、数据安全等。

什么是大数据

数据发展历程上出现过类似的术语有超大规模数据、海量数据等。“超大规模”一般表示对应GB(1GB=1024MB)级别的数据,“海量”一般表示的是TB(1TB=1024GB)级的数据,而现在的“大数据”则是PB(1PB=1024TB)、EB(1EB=1024PB)、甚至ZB(1ZB=1024EB)级别以上的数据。2013年Gartner预测世界上存储的数据将达到1。2ZB,如果将这些数据刻录到CD-R只读光盘上,并堆起来,其高度将是地球到月球距离的5倍。不同规模的背后隐含的是不同的技术问题或挑战性研究难题。

在“超大规模”下,我们研究的主要是关系数据模型的高效实现技术、事务管理与故障恢复技术、索引与查询优化技术等,创建了一套关系数据库的理论与技术体系,并在商业上取得了成功。

在“海量数据”下主要考虑各种非结构化数据的有效管理、多数据源的集成问题。对于非结构化的数据,由于不存在显式的模式结构,所以缺乏必要的手段来管理这些数据。它关心的主要问题是如何统一表达非结构化数据,如何实现基于语义的非结构化数据的集成和检索,如何解决与应用紧密相关的功能与数据管理系统融合等。

而大数据,一般意义上,是指无法在可容忍的时间内用现有IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。所谓数据“大的程度”,本文认为是数据关联复杂度×价值尺度×发掘难度。

现有大数据发展可分为两种类型,第一种类型大数据,是指企业自身的产品和服务产生了大量的密集型“超大规模”或“海量数据”,通过对这些数据进行深入的挖掘分析,改进自身业务,改进后的业务吸引更多用户或客户,产生更大量的数据,形成正向的循环。第二种类型大数据,是网络大数据,通常是指在互联网上发生的、蕴含有丰富的、可被发掘的具有社会价值、商业价值或科研价值的大数据。

大数据具有的4V特性(Volume规模巨大,Ve-locity速度极快,Variety模态多样,Veracity真伪难辨)导致的规模与复杂度为我们带来的技术挑战主要集中在数据的异构性和不完备性、数据处理的实效性、数据的隐私保护、大数据价值服务的有效性发掘、大数据的再分析处理等方面。而针对第二类型的诸多企业等实体面临的这些4V问题更加严峻,也正在积极尝试解决以探索下一个阶段的可行商业开发和应用形态。

大数据的规模和复杂度的增长超出了计算机软硬件能力增长的摩尔定律,对现有的IT架构以及计算能力带来了极大挑战,也为人们深度挖掘和充分利用大数据的大价值带来了巨大机遇。机遇是一直是给有准备的人的,想要为自己的未来做打算,可以选择大数据培训进入大数据行业,再不断的扎实自己的技术,做一个优秀的大数据专业人才,科多大数据一直为你提供专业的大数据学习平台。

(原标题:什么是大数据?大数据详细解析以及大数据应用)

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论