大科学产生大数据对IT技术是挑战

新京报
佚名
中国高能物理实验的大数据对我国大数据的发展也做出了重要贡献,北京正负电子对撞机数据处理是中国大数据发展的开端。高能物理作为典型的大科学,过去数十年一直有力推动信息技术的发展和创新,大科学产生大数据对IT...

中国高能物理实验的大数据对我国大数据的发展也做出了重要贡献,北京正负电子对撞机数据处理是中国大数据发展的开端。高能物理作为典型的大科学,过去数十年一直有力推动信息技术的发展和创新,大科学产生大数据对IT技术提出了巨大的挑战,包括数据采集、存储、查询、分析等等。

数据服务与大科学,随着磁盘规模的增加,实际使用的难度和风险也增加。我们基于分布式的计算的资源共享,实现了对集群、网格和云等类型的资源整合,有18个国内外的站点加入了高能所的分布式的计算系统。有效提高了资源利用率,用户可以不受地域的限制方便使用易购的计算资源,实现共享。

另外,我们采用的云存储解决存储的可扩展性,保证了读写相互之间不受影响,从而提高了性能的可扩展性。云存储系统内部副本机制提供了更好的容错性和读取性能。如何将云存储应用到大科学项目仍存在许多需要研究的问题。

大科学装置产生大数据,必须依靠信息化存储、传输分析大数据来开展科学活动,实现科学发现。同时大科学装置也有力的推动了信息化的发展。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论