基于Cassandra的海量MUSER数据分布式存储与检索研究

分类： 天文学 >> 天文学 提交时间： 2018-05-24 合作期刊: 《天文研究与技术》

石玥 王锋 李鹏程 刘应波

摘要： 明安图射电频谱日像仪每天产生海量观测数据，传统的关系型数据库存储和管理这些数据时，面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题，开展了基于NoSQL的海量数据存储与检索应用研究。首先，详细分析了明安图射电频谱日像仪数据特点、存储需要以及面临的问题；然后，对明安图射电频谱日像仪进行数据建模，给出了明安图射电频谱日像仪的列式非关系型数据模型，同时提出了元数据和数据在NoSQL中的同步存储方法，解决了二者的一致性问题，在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS)，最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性，从结果来看，MBDMS可以很好的满足数据管理需要，是解决当前数据存储问题的一种有效方案。

 点击量 2632  下载量 1450  评论