分类: 计算机科学 >> 计算机应用技术 提交时间: 2016-11-02
摘要: 本文针对互联网应用中出现的新兴海量数据存储和处理系统,对比了新兴系统与传统关系型数据库的差异,以及各种系统实现技术之间的不同特点,并总结出相应的关键技术问题。
分类: 天文学 >> 天文学 提交时间: 2018-09-11 合作期刊: 《天文研究与技术》
摘要: 平方公里阵列(Square Kilometre Array,SKA)望远镜建成后将会具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。在SKA天文台与各国区域数据中心间的海量数据同步/传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。本文提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明新方法在平均数据归档存储效率方面比NGAS原有方法快了将近40倍,能够基本满足10GB带宽的全速传输需要,取得了较好的使用效果。
分类: 天文学 >> 天文学 提交时间: 2017-10-20 合作期刊: 《天文研究与技术》
摘要: 中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph ,MUSER)进入实际观测后,每3 ms产生一帧100 kB左右的数据,每天的原始观测数据约3. 5 TB。由于射电日像仪的原始数据采用自定义格式,为了后续数据分析和共享的需要,有必要根据数据存储需求把这些原始数据转换成天文常用的文件格式。在前期工作中已经实现了原始数据格式到UVFITS文件的转换,在此基拙上研究了基于MPI的集群并行环境下UVFITS合成系统性能优化。通过实验验证,在改进后的并行环境下,UVFITS合成系统的性能达到了需求的2. 5倍,可以有效处理当前及未来一定时间内射电日像仪的海量观测数据。同时,改进后的系统具有良好的横向扩展能力,能够为相关项目的数据处理提供借鉴和参考。
分类: 天文学 >> 天文学 提交时间: 2020-11-12 合作期刊: 《天文研究与技术》
摘要: 随着巡天观测计划的进行,传统数据库技术无法满足海量天文数据的存储以及检索性能的需求。本文针对海量天文数据存储以及锥形检索时的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储的阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群中,充分整合关系性数据库和分布式技术的优点。在本文中,利用MySQL数据库集成DIF插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据中锥形索引需求。