大数据的意义到底在哪里?

快资讯
佚名
随着大数据时代的到来,大数据正逐渐成为企业竞相争夺的新的制高点。欲速则不达,很多企业为争夺大数据资源,疯狂的收集数字资源,没有真正明白大数据的意义到底在哪里。其实,大数据最大特征不是大,而是快。 发...

随着大数据时代的到来,大数据正逐渐成为企业竞相争夺的新的制高点。欲速则不达,很多企业为争夺大数据资源,疯狂的收集数字资源,没有真正明白大数据的意义到底在哪里。其实,大数据最大特征不是大,而是快。

发现价值的过程是个分析过程。分析过程需要在数据中不断摸索,是不断重复的分析闭环:发现问题、找到答案、采取行动。如果因为数据量大,计算性能低,无法快速响应分析过程,也就无法有效发现大数据的价值了。

“快”指两方面:

一是指产生的新数据快,譬如电信行业的数据,每秒钟的数据量都是几十MB,每天的数据都是TB级的。

二是指已有数据处理快,TB乃至PB级别的数据,要求分析的过程在一分钟内,或者秒级响应。

如何实现快呢?

1.列存储:对于同样类型的数据,更利于数据的压缩,减少IO的负担。

2.内存计算:将数据放到内存里,能极大的提高运算速度。

3.库内计算:将计算推送到离数据更近的地方进行计算,因为搬运数据的成本要远远高于搬运逻辑。

4.分布式计算:更好的拆解运算任务为可分布式执行的,将更好的利用更多硬件资源并行处理数据。

以上是Yonghong Z-Suite所采用的技术,来通过这些大数据技术使分析过程快起来。而艾瑞咨询通过使用Yonghong Z-Suite使得一周的数据分析工作量缩短到不到半天完成,更快的把握了互联网行业的脉搏。

行业知识也很重要

很多人寻求大数据在自身行业的应用,当询问我们如何利用他们自己大数据的时候,很多都会说他们的数据量有多大,但他们不知道如何利用。而实际上,我们并不是他们行业的专家,我们会告诉他们如何使用我们的产品将大数据很快用起来,前提是结合他们的行业经验。

大数据也许是个阳谋

随着美国名为《大数据促发展:挑战与机遇》白皮书的公布,掀起了大数据在全世界的浪潮,带动了大数据硬件服务器,和大数据软件公司的发展,而这些公司或者核心技术基本都在美国。

(原标题:大数据要的不是大而是快!)

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论