国内最大的对象存储服务是如何炼成的

快资讯
人工智能风云
在数据大爆炸时代,对象存储伴随着云原生应用的兴起,已然成为云计算时代的存储明星,同时也是云应用最流行的存储类型。百度云对象存储BOS自2010年上线以来,历经8年的技术实践和运营积累,规模全国最大。目前,百度...

在数据大爆炸时代,对象存储伴随着云原生应用的兴起,已然成为云计算时代的存储明星,同时也是云应用最流行的存储类型。百度云对象存储BOS自2010年上线以来,历经8年的技术实践和运营积累,规模全国最大。目前,百度云BOS支持百度搜索、百度网盘等内部业务的同时,还对外为数万家外部客户提供对象存储服务,已经支持超过数万亿的对象和超过2000PB的数据量。

那么,百度云BOS是如何炼成国内最大的对象存储服务的?BOS的核心竞争力在哪里?BOS的存储+AI会给对象存储的未来带来哪些革命性的改变?且听百度云对象存储BOS研发负责人段立国为您一一解读。

八年历练成为国内规模最大的对象存储

在当今市场中,对象存储产品和服务多如牛毛。与大多数对象存储服务不同,百度云BOS自诞生之初,是以实际业务来驱动的。段立国介绍:“BOS从2010年开始在百度内部支撑百度网盘业务;随着百度网盘发展成国内最大的个人云存储业务,百度云BOS也不断提升,并于2014年正式对外发布,服务于外部客户。”

八年实际业务实践,也让百度云BOS核心技术架构经历了三个主要阶段:从一开始采用多副本主从架构,到后来演进为负载空闲时做离线EC,再到当前可实现在线EC。

段立国介绍到,随着实际业务的需求,百度云BOS的核心架构一直在不断演进和完善中,刚开始采用的多副本主从架构的磁盘IO和存储成本比较高;之后,通过负载空闲时做离线EC,可以将存储成本降下来,但是并没有很好解决磁盘IO的问题;随着服务器单点计算能力的增强,BOS架构开始采用在线EC的方式,这种方式不仅能够降低存储成本,还能够节省大量磁盘IO。

今天,百度云对象存储服务BOS已经发展成稳定、安全、高效、高可扩展的云存储服务,支持标准、低频、冷存储等多种存储类型和便捷接入,满足用户存储分发、数据备份、数据分析等各种场景的存储需求,并且具有高可用性、高可靠性和高安全性三大特点。

高可用性:百度云BOS的数据可用性 >99.95%,采用多运营商、地域接入;并且通过四层负载均衡集群,确保无单点;在数据接入层、访问层无差别,实现水平扩展;在数据节点则实现了数据EC编码多冗余读写。

高可靠性:百度云BOS的数据可靠性达到99.99999999%,十个9的可靠性级别是通过Erasure-Coding技术做到数据均衡的分布到多个AZ上的。

高安全性:百度云BOS通过外网911系统防护、四层负载均衡、全数据链路HTTPS访问、认证&鉴权、数据服务端加密等环节来确保数据的高安全性。

高可用性、高可靠性和高安全性是对象存储服务的安身立命之本。段立国认为,百度云对象存储服务BOS经过八年的沉淀,积累了丰富的数据安全和数据保护实践经验。“BOS对客户的可靠性非常重视,所有副本数据都是跨AZ存储,重要数据会再异步复制到另外一个地域存储,真正做到“两地三中心”。另外在数据搬迁过程中BOS会对数据进行SHA256和MD5多重校验,并且从软件层面上禁止降副本和冗余度,全流程保证数据安全迁移。”

除了先进的软件架构之外,百度云对象存储服务BOS还拥有卓越的基础硬件。百度云自研的“冰山”系列服务器拥有磁盘密度大、功耗低、计算能力强的特征,硬件的不断迭代也推动了BOS软件产品的不断完善。

五大核心竞争力打造最佳对象存储服务

在当今的对象存储市场竞争中,一个表现良好、受客户欢迎的对象存储服务背后是产品、技术、运营、规模能力、成本控制等综合能力的表现。当前,百度云对象存储服务BOS拥有50000台服务器集群,支持的数据量超过2000PB,如此庞大的对象存储服务,是在克服各种挑战之后逐步达到的。

段立国介绍,百度云对象存储服务BOS经历过很多极具挑战的场景,比如5万台服务器的集群规模带来了跨IDC的带宽、分布式系统的热点数据访问、用户突发的海量存储需求扩容等挑战。“诸多挑战练就了百度云BOS应对大规模不均衡数据访问的优化能力和海量数据弹性存储的能力”。

事实上,经过不断的实践与成长,百度云对象存储服务BOS逐步形成了自身的五大核心竞争力:

产品丰富程度和易用性:BOS拥有丰富的产品组合、完善的SDK、接口、开发工具,并且集成了百度云的AI能力。

成本:通过领先的技术能力、运营能力和规模效应,BOS在成本上极具竞争力,并最终转化成为用户提供的最实惠、最有竞争力的产品与服务。国内首家支持完善的分级存储体系,提供给用户成本最低的综合存储方案。

稳定性:经历了超大规模的集群规模、数据规模、用户规模等多重考验,BOS拥有业界领先的稳定性,提供稳定可靠的对象存储服务。

性能:确保不同类型的存储服务性能领先,能够较好的支持大数据分析、内容分发等对性能要求高的使用场景。

资源弹性能力:对象存储服务还需要重点考虑资源弹性能力,能够满足各种突发存储需求,及时扩大集群规模,百度云BOS依托百度强大的供应链,能够保障各种紧急需求。

目前,百度云对象存储服务BOS已应用到政务、视频内容服务、教育、制造等多个行业,包括了像爱奇艺、B站、快手、海康威视等多家知名客户。段立国表示:“很多存储分发、直播视频备份、视频监控、企业网盘、个人云存储等服务场景都在百度云对象存储服务BOS中得到很好应用。”

存储+AI引领对象存储发展趋势

存储与AI,看似是两个并无太多联系的领域。但是在百度云看来,存储+AI将是未来对象存储的发展趋势。段立国直言,BOS与百度云AI能力的逐步结合后,将促进BOS在未来更上一个台阶。

当前,百度云BOS已经在AI方向上进行了诸多探索,并集成了几十多种百度AI服务能力。段立国表示,AI能力的融入,其实给对象存储带来了更高的效率和更低的成本。比如,在校验用户上传的图片是否涉黄时,最早的人工审查或者机审方式普遍具有效率低下、成本高昂的特点;而使用BOS对象存储之后,用户可以选择上传图片后使用数据处理框架触发AI审核引擎。通过AI的方式审核数据是否合规,大幅提升效率,节省开发成本。

目前,百度云对象存储服务BOS主要集成以下四种AI能力:

人脸识别能力。百度云的人脸识别识别率、准确率和召回率都处于国内第一,有效支持了各项应用。

通用图像识别。百度云的通用图像识别拥有业界第一的准确率,并且还拥有非常全面的标签体系。

内容智能审核。百度云内容审核拥有一套完善的审核机制,可以有效避免不合规数据的上传。

内容封面智选。针对各种视频数据,可以根据视频内容每一帧进行分析,选出最优画面输出作为封面。

段立国认为,随着数据量指数级的增加,给对象存储服务带来了成本和效率的挑战,AI能力的融入对于对象存储服务是必然趋势。“百度云对象存储服务BOS将逐步走向全球化,除了国内四个可用区之外,今年将会在新加坡和美国建立两个Region,让BOS的存储+AI能力服务到全球客户。此外,为了满足私有云客户的需求,百度云也推出了私有云存储解决方案ABC Store,实现了存储+AI能力的私有云模式的交付。”

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论