归档型存储!

2020-07-31 09:58:06
南通云计算与大数据
存储
全文共约 2553 字,阅读约需 5~9 分钟。
冷数据是较长时间之前的状态数据,即用户画像数据,常见的有银行凭证、税务凭证、医疗档案、影视资料等。冷数据不需要实时访问到离线数据,用于灾难恢复的备份或者因为要遵守法律规定必须保留一段时间的。

随着信息技术、移动互联网、物联网等技术的发展,数据出现指数型的增长,大数据的技术及应用得到了高度的关注和重视,甚至被列入了国家的战略。

大家是否知道数据的种类很多,分类方式也有很多种,有的以用户对象来分类的,如政务数据、行业数据、个人数据;有的会以数据存储形式分类,如结构化数据、半结构化数据、结构化数据。但是还有一种分类把数据分为冷数据、温数据、热数据,难道数据还有温度?顾名思义,数据肯定是没有温度的。那为什么这么去分呢?

冷数据是较长时间之前的状态数据,即用户画像数据,常见的有银行凭证、税务凭证、医疗档案、影视资料等。冷数据不需要实时访问到离线数据,用于灾难恢复的备份或者因为要遵守法律规定必须保留一段时间的。

温数据是非即时的状态和行为数据。简单理解可以这样,把热数据和冷数据混在一起就成了温数据。比如用户近期对某一类型的话题特别感兴趣(热数据),与以往的行为(冷数据)形成鲜明对比,这说明该用户正处于新用户的成长期(温数据),运营人员就可以考虑用相应的策略去拉动活跃度并促进转化。

热数据指即时的位置状态、交易和浏览行为。如即时的地理位置,某一特定时间活跃的手机应用等,能够表征“正在什么位置干什么事情”。另外一些实时的记录信息,如用户刚刚打开某个软件或者网站进行了一些操作,热数据可以通过第三方平台去积累,开发者也可以根据用户使用行为积累。

了解完冷、温、热数据的概念后,我们今天来重点聊一下冷数据的存储:

对于企业这些冷数据访问频率低,但不能删除,而且随着时间的推移,冷数据容量增加飞快,甚至呈几何级的增长。如何存储、管理和使用这些数据,是现代企业面临的难题。

带宽和基础架构成本不断增长,而这些成本通常需要支持更多存储(甚至便宜的存储)以及包含大数据的更大文件。更多的存储空间需要更多的资金用于处理、网络和人员等支持资源。与存储相关的成本会增加的另一个原因是,保留大型文件的多个版本时灾难恢复和备份过程变得复杂。

结果是,需要为很少使用或根本不使用的数据留出额外的存储空间,尤其是大数据的需要超出了存储空间的规模,这无疑增加了总体IT支出。

行业分析:医院

1.目前医疗信息化现状:

基础设施:医院业务的快速增长,IT投入逐年上涨,导致人力、物力、空间等成本剧增;

数据处理:医疗数据海量小文件,导致医院产生大量沉默数据;IT人员需要花大量在数据管理、搜索和准备工作中;医院急需提升数据敏捷度,增强全量数据管理能能力;

影像数据:医院存储的80%-85%的数据来自影像数据;一次心血管CT检查的数据 > 2GB/次;影像数据要长期保存15-30年;三甲医院影像数据量增长近100TB/年;

安全防护:为在短期内达到“PACS/HIS信息管理系统”通过等保三级的目标,同时也是为了医院信息化的迭代与发展,希望在本地找寻具备高品质服务水平IT服务商为医院提供业务上云的方案。

2.医疗信息化发展趋势

医疗信息化的发展阶段主要分为:医院管理信息化(HIS)阶段,关注医院和管理;医院临床医疗管理信息化(CIS)阶段,关注病患和服务;区域医疗卫生服务(GMIS)阶段,关注医疗资源共享。

当前,我国医疗信息化正处于第二阶段向第三阶段过渡时期,在第三阶段,卫健委等医疗管理机构,区域领军医疗机构,解决方案领导者将扮演重要角色,区域信息化平台、医联体、居民健康档案、远程医疗、分级诊疗等将是医疗信息化的主要呈现方式。

目前医院和企业针对冷数据可以采取以下两个方法来有效地管理其冷存储数据。

1、使用便宜不靠谱的本地冷存储

对于很少使用或存档的数据,慢速硬盘驱动器和磁带是最常用的存储介质。重要的是定期测试磁盘和磁带,以确保它们工作正常。另外,要避免将旧的驱动器和磁带降级为归档和数据备份功能——这些资源仍然有使用寿命,如果它们太旧,则更有可能出现故障。

2.考虑基于云的冷存储

如果您不想在现场或物理外部设施中存储大数据,则可以选择使用云。使用云存储一方面避免了定期测试工作,减少了维护成本,另一方面不用企业投入硬件成本。

对于企业的非结构化数据存储,云服务商大都提供的是对象存储,对象存储满足了客户数据上云需求,但是存在着价格偏贵,对于冷数据存储,仍然存在着投入成本过大的问题。

对此,中国移动推出了归档型存储,归档存储是面向企业和个人开发者提供的低成本、高可靠且易于管理的存储服务,针对海量、重要且访问频率极低的非结构化数据进行长期的归档保存和备份管理,可以通过API 对存储的数据进行访问。

产品优势

保存备份:对重要且访问频率极低的非结构化数据进行长期的归档保存和备份管理。

安全可信:提供数据锁定机制,防止数据被修改和删除,保障数据安全。

降低成本:用户可以以低廉的存储费用,享受存放海量数据,极大降低存储成本。

友好易用:采用分布式云端存储,任何有网络的地方都可以通过控制台RESTful API管理数据。

产品功能

存储备份:可以将任意数量和任何形式的非结构化数据进行归档存储,实现数据的容灾和备份。

数据安全:支持多冗余的可靠架构、完整性校验、权限控制、加密、日志审计、数据合规等。

企业级数据管理:支持生命周期、回源、更丰富的数据上传与下载方式、事件通知、回调等。

便捷易用:提供RESTful API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式,可以随时随地通过网络管理数据。

应用场景

1.监控视频:

视频监控行业由于数据量增长迅速且数据保存较久,所以积累的数据量庞大,需要对这些视频数据资源进行管理。

视频数据流经过预处理后会自动存入归档存储,可设置自动删除过期的视频数据资源,特定情况下还可快速取回视频资料进行审查监控。

2.多媒体

电视台在线媒体库热点视频根据时间和热度,需要定期降冷,大量旧的视频数据作为历史资料可以安全的在归档存储保存几年甚至十几年。

支持将过期下架的原始媒体数据,存入归档存储离线媒体库,释放存储空间资源。在有视频点播需求的时候,可快速复原数据。

3.医疗影像

为了解决医疗机构数据存储和容灾备份的问题,中国移动为其提供医学影像数据存储、备份、容灾等功能,将现有影像数据保存至归档型存储,实现数据的多点容灾,安全可靠,长久低成本存储。

收藏
免责声明:凡注明为其它来源的信息均转自其它平台,由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。联系邮箱:leixiao@infoobs.com