数据已成为企业最重要的生产要素之一,驾驭实时数据的分析为企业提供了挖掘数据价值的重要利器。当前,越来越多的企业已经意识到实时数据的分析价值,实时数据分析应用迎来爆发。不过,企业在落地应用的过程中,无论在技术还是业务层面都面临诸多挑战。
当前,企业在生产和经营活动中产生的各类数据正以前所未有的速度增长,通过对实时及历史数据的融合分析,及时挖掘业务洞察和辅助决策,也已成为企业的普遍行动。
传统上,企业对数据的分析主要是在离线场景下,仅对历史数据进行事后分析,反馈周期较长。随着市场竞争环境和客户需求的快速变化,以及数据应用的深入,企业对数据驱动业务决策的实时性需求在不断提升。近两年来,以通信、金融、制造等行业为代表,企业对实时数据分析的应用迎来了爆发。
在实时数据的分析场景下,实时数据的分析结果在需求提出后即时处理完成,实现对业务需求的快速响应,实现数据价值的倍增。实时数据分析有哪些应用场景和价值?企业又该如何实现实时数据分析在自身业务场景的应用落地?
01需求和技术驱动实时数据分析应用爆发
实时数据分析技术早前由互联网行业等起始,典型应用如实时个性化推荐等,这是由于互联网企业的业务本身就具备在线化特征。在线化业务积累了丰富的数据,为实时数据分析提供了良好的基础;此外,在线化业务一般具备业务量高并发等特征,需要更实时的业务洞察和更短的决策周期,且用户端对个性化服务和体验的需求也更加强烈。
而传统行业自身的在线化、数字化升级,实时数据分析也开始加速推进,需求开始爆发。
另一方面,实时处理技术的进步,也是推动实时数据分析应用场景快速落地的必要条件。尤其是各种开源框架的成熟,完善了实时处理技术生态。
实时数据的分析场景实现,包含了数据采集与接入、数据存储与查询、数据分析与计算、数据服务等环节的完整链条,每一个环节都要实现实时处理,这对相关数据技术提出了很大的挑战。在这些环节上,近年来都有相应的开源框架出现并走向成熟。
例如,Kafka和Flume用于实现高可靠性的实时数据采集和接入;Druid、Clickhouse、Hbase等数据库在存储、查询方面的高性能,支撑了海量数据的实时OLAP场景;Spark和Flink等计算引擎,实现了大规模流数据实时计算。
在这些成熟的开源框架的基础上,众多开发者可以结合自身要解决的具体业务场景需求,快速地构建完整实时数据的分析解决方案,并进一步地在应用实践中不断完善相关技术。
02实时数据的分析应用价值
实时数据分析对于企业的价值是显而易见的,主要体现在提升生产效率、提升客户体验、提供个性化产品服务三个方面。
1)提高生产效率
基于实时数据分析技术,企业能够实时追踪企业内部包括生产设备、人员等的情况,同时还能对产品和服务生产到消费全链条的状态进行监控,提高企业的生产效率。这方面典型的场景包括实时指标加工、实时反欺诈和实时监控等。
在实时指标加工的场景下,银行对线上交易数据进行实时采集和加工计算,计算出来的指标结果可以实现实时监控,实时报表;也可以向实时工作流的下游供数,构建实时数仓,实现数据化运营。
如在银行欺诈交易监测的场景下,通过实时数据分析,能在潜在欺诈交易尚未完成前,即可提前识别采取措施,以减少银行的损失。然而仅基于传统的历史数据仓库分析,在欺诈交易完成后,即便能够识别出来,事后进行追查的成本也会比较大。
在实时监控的场景下,工厂通过传感器采集设备数据,实时监控设备的运行状态,使用规则和模型配置进行关键数据的预测;对生产流水线进行二十四小时视频监控,对于采集的视频和图像通过模型及时发现生产中的异常状态。
2)提升客户体验
基于实时数据分析技术,企业能够实时感知到客户需求并及时提供产品和服务予以满足。这方面典型的应用场景包括实时授信和实时交易。
在实时授信的场景下,针对客户的贷款申请,基于对客户数据的实时采集,通过规则计算和模型预测,金融企业在数分钟就能作出审批授信额度的决定。
在实时交易的场景下,基于实时数据分析技术,证券公司可实时追踪股市波动,计算收益和价值,根据实时价格和投资策略自动平衡投资组合。
3)提供个性化产品和服务
基于用户相关的各方面数据,例如消费记录、购买偏好等,利用实时数据分析技术,能够根据消费者需求,及时提供个性化产品和服务。
这方面典型的场景包括实时精准营销。例如,网上商城使用基于日志的实时用户行为的实时统计与分析,提供精确产品营销,提高广告转化率。另外,基于实时数据分析,还可结合GPS数据、代表性建筑等对用户进行定位,实现基于“情景”的精准商品推送,提升营销效果。
总体来看,实时数据分析技术在金融、通信、零售、制造业等诸多行业拥有成熟的应用场景。随着未来物联网时代的到来,更多的设备将联网,对数据的实时性要求更高,实时数据分析应用将迎来爆发。
