当我开始撰写本文时，我计划列出不同类型的大数据平台。但是，经过三天试图将所有不同的大数据产品 - 关系型与非关系式，SQL与NoSQL以及数据库与框架 - 整合在一起，我决定避免这种混乱。
为了增加对伤害的侮辱，我曾希望介绍创造“ 大数据 ” 一词的人作为文章的一部分。但是，我甚至不能这样做。没有达成一致意见的答案。事实上，有一个全面的研究项目，研究谁最初提出了大数据。相反，我将介绍一些使用大数据的关键方法。这更为重要。它比你想象的更有趣，也更令人惊讶。
它是如何发生的
使用传统数据挖掘的分析师多年来一直在操纵数据。这些分析师现在发现很难应对企业，私人组织和政府机构节省的数据量和种类。
输入大数据，这是数据挖掘的下一个发展步骤。大数据旨在处理当今数字世界中创建的海量数据库和无数类型的数据。如果“大规模”让你考虑谷歌及其收集的所有数据，你就会陷入困境。令您惊讶的是，谷歌在全球最大数据库的十大名单中排名第四。截至2014年1月，世界气候数据中心以220TB的数据位居榜首，而且任何人都猜测某些政府机构控制的数据库的规模。
当然，大数据起飞是因为它可以操纵大量不同的数据，并发现惊人的 - 令人惊讶的细节和个人 - 的东西。人力资源行业分析师John Sumser 提供了以下示例：
“今天我们创建假设并收集数据。明天我们将做反过来。持续，稳定的数据积累将使我们能够在形成问题之前查看数据。这意味着我们将得到我们所做的问题的答案。”我知道要问。我们将不假思索地将一大堆我们认为是事实的东西。“
当然，我们都听说过这些数据的一些令人毛骨悚然的方式，例如Target能够在家人发现之前辨别出一名年轻女子的怀孕。但大数据也被用于更不那么险恶的原因。以下是一些最能充分利用它的组织：
零售商
会员卡和公司信用卡不是出于对客户的礼貌而发行的。从卡中捕获的数据由大数据平台处理，为零售商提供信息，使他们能够更好地决定定价，库存控制和客户激励。
大数据部分发挥作用，因为在考虑客户数量，客户访问次数，产品选择，商店数量和在线购物时，信息会迅速累积。大数据的使用可能会对隐私产生影响，但它也为公司提供了更好地为客户服务的方式。
金融部门
银行业全心全意地接受了大数据。欺诈检测是一个原因。客户的历史和交易数据可用于检测任何不正常的活动。例如，当您在国外旅行时，必须告诉您的信用卡提供商(我在瑞典尝试租车时很难理解)。
金融机构还使用大数据来分析交易数据，允许银行家根据市场表现和客户行为来确定金融资产的风险。Research Pays的这个例子提到大数据甚至可以帮助找到新办公室：
“位于佛罗里达州的SunTrust Bank不仅使用数据分析来确定其下一个分支机构的位置，还确定了运营其分支机构所需的最佳管理资格。”
卫生保健
一个明显的区域大数据将有助于安全，准确地处理医疗机构的电子健康记录。准确的记录将为患者提供更好的服务并减少错误。出于显而易见的原因，医疗保健领域正在以较慢的速度调整大数据，以符合有关患者机密性的政府法规。
如前所述，众所周知，大数据可以为未提出的问题提供答案。在医疗保健领域，这可能意味着找到一种新的药物或治疗方法，否则就无法找到。据麦肯锡公司称，大数据可以在不远的将来实现以下目标：
生物过程和药物的预测模型变得更加复杂和广泛。
根据更多信息来源(例如社交媒体)确定患者参加临床试验。
实时监控试验，以快速识别安全或操作问题。
而不是难以利用的僵化数据孤岛，数据以电子方式捕获并在不同单元之间轻松流动。
大数据，大机遇
虽然某些特定领域正在利用大数据，但它为以下领域的所有组织提供了机会：
社交媒体
大数据能够近乎实时地分析社交网络帖子(例如Twitter和Facebook)，使公司，品牌和组织有机会确定客户/会员忠诚度以及客户对产品和/或服务的感受。
大数据和社交媒体之间的交集使组织能够确定哪些客户对该特定社交网络的其他成员具有最大影响力。研究表明，这些人对公司而言比最高消费者更重要。
营销
毫无疑问，营销人员喜欢大数据。他们拥有的数据越多，他们的感受就越好。他们之前没有的营销人员提供的大数据是能够挖掘客户对其产品行为的细节。营销公司360i表示，大数据有助于：
保留和追加现有客户
识别新客户
揭示新的营销机会
推动更有利可图的广告
更准确地衡量广告系列的影响力
接下来，看看IT和研发
可以理解的是，大数据将在当今的研发部门中发挥作用。为了更好地了解情况，我与圣托马斯大学软件研究生课程副教授布拉德鲁宾博士进行了交谈。在审核了他的一些课程后，鲁宾的大数据专业知识变得明显。
研究与开发
大数据使公司，大学和政府机构都可以从大数据吸收大量非结构化数据的能力中受益，让科学家更好地了解正在发生的事情。我想到了H. James Harrington的名言：
“测量是导致控制并最终改进的第一步。如果你无法衡量某些东西，你就无法理解它。如果你无法理解它，你就无法控制它。如果你不能控制它，你无法改善它。“
鲁宾提供了一个有趣的故事，讲述了该大学基于Hadoop的大数据平台如何能够解决由圣托马斯大学的贾丁杰克逊博士领导的研究项目。杰克逊试图使用一个Matlab工作站解密几兆兆字节的大脑脑电图波形。
鲁宾很快就让杰克逊使用了Hadoop集群。对于这两位教授来说，这似乎是双赢的局面。杰克逊会尽快将他的数据处理60%，而鲁宾和他的学生将获得宝贵的经验。192核Hadoop集群在一小时内完成，Matlab设置需要10个小时才能完成。此外，集群可以并行执行许多这些分析，从而进一步提高生产力。
这是最终报告，详细描述了这项研究。
网络监控
几乎所有计算和网络设备都记录数据。快速记录的数据量变得难以处理。大数据可以轻松管理大量数据，允许管理员监控网络活动，诊断问题，或者在Rubin给我的示例中，查找可能表明恶意软件活动的某些网络流量模式。
值得关注的东西
如果您查看招聘广告，就需要大数据专家。我问鲁宾这件事。他同意，提到他的学生对他们的前景感到兴奋。然后我意识到大数据平台，特别是那些被认为是开源的平台，遵循的时间表非常类似于Linux成为主流的方式。
大学采用大数据平台的开源版本，特别是Hadoop，因为它们是免费的，学生可以操纵源代码。因此，填补所有职位空缺的毕业生更愿意使用开源平台，因为这是他们最了解的。观看会很有趣。
