GWAC海量星表数据处理的数据库系统选型研究

分类： 天文学 >> 天文学 提交时间： 2017-10-11 合作期刊: 《天文研究与技术》

万萌 吴潮 Ying Zhang 徐洋 魏建彦

摘要： 为应对我国的宽视场地基广角相机阵在大数据管理和实时处理上带来的挑战，提出一种基于列存储数据库MonetDB的时序数据处理与管理系统设计方案。本方案充分利用MonetDB兼具数据处理和管理于一体的数据库平台特点，通过将交又认证等核心数据处理算法内嵌于数据库中，从而实现将“计算带到数据中”的设计理念。同时，对本方案开展了多项关键技术的研究与测试:TPC-H基准性能测试;大数据加载能力测试及优化研究;基于MonetDB的Zone算法实现与测试;可定制函数开发功能的测试。初步的预研结果表明，列存储切实可行，同时对本设计方案作详细的介绍。提出的基于列存储MonetDB数据库设计的海量星表数据处理应用方案，是高效的数据处理与管理为一体的天文数据库解决方案。

 点击量 2508  下载量 1364  评论