分类： 天文学 >> 天文学 提交时间： 2018-05-24 合作期刊: 《天文研究与技术》
摘要： 明安图射电频谱日像仪每天产生海量观测数据，传统的关系型数据库存储和管理这些数据时，面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题，开展了基于NoSQL的海量数据存储与检索应用研究。首先，详细分析了明安图射电频谱日像仪数据特点、存储需要以及面临的问题；然后，对明安图射电频谱日像仪进行数据建模，给出了明安图射电频谱日像仪的列式非关系型数据模型，同时提出了元数据和数据在NoSQL中的同步存储方法，解决了二者的一致性问题，在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS)，最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性，从结果来看，MBDMS可以很好的满足数据管理需要，是解决当前数据存储问题的一种有效方案。
分类： 天文学 >> 天文学 提交时间： 2017-10-20 合作期刊: 《天文研究与技术》
摘要： 中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph ,MUSER)进入实际观测后，每3 ms产生一帧100 kB左右的数据，每天的原始观测数据约3. 5 TB。由于射电日像仪的原始数据采用自定义格式，为了后续数据分析和共享的需要，有必要根据数据存储需求把这些原始数据转换成天文常用的文件格式。在前期工作中已经实现了原始数据格式到UVFITS文件的转换，在此基拙上研究了基于MPI的集群并行环境下UVFITS合成系统性能优化。通过实验验证，在改进后的并行环境下，UVFITS合成系统的性能达到了需求的2. 5倍，可以有效处理当前及未来一定时间内射电日像仪的海量观测数据。同时，改进后的系统具有良好的横向扩展能力，能够为相关项目的数据处理提供借鉴和参考。
分类： 天文学 >> 天文学 提交时间： 2017-09-26 合作期刊: 《天文研究与技术》
摘要： 明安图射电频谱日像仪(Mingantu Ultrawide SpEctral Radioheliograph, MUSER)已经完成硬件建设，与之配套的数据处理系统也初步开发完成。为提高用户操作的可用性，简化操作难度，数据处理系统在提供传统的命令行用户界面的同时，也提供了网络交互方式。简单介绍了Web.py的基本概念和内部组件交互流程，讨论了基于Web.py进行网络开发的方法和流程，并利用 Web.py框架实现了数据处理系统的网络界面交互。成果已经应用，提高了日像仪数据处理系统的可用性，也为其它天文软件系统的开发提供了一定的借鉴与参考价值。
点击量
点击量
下载量
评论
