分类： 天文学 >> 天文学 提交时间： 2022-01-14 合作期刊: 《天文研究与技术》
摘要： 随着空间天文卫星获取数据量越来越多，数据应用逐渐发挥了重要作用。现有的天文卫星地面系统中，数据存储方式和组织方法各异，数据量达PB级，并且数据量持续增长，无法快速查找并提取特征参数，难以满足数据应用对查询的时效性要求。本文提出了一种新的空间天文卫星数据组织方法，通过解析抽取数据中的海量特征参数，建立观测时间、空间位置与特征参数的关联，实现在统一时空下的多源数据组织；同时采用关系型数据库与非关系型数据库结合的异构存储方式，设计了海量特征参数存储管理系统。将本文方法应用于空间科学卫星大数据应用平台系统中，使用硬X射线调制望远镜卫星数据的实验结果表明，系统针对按照时间、空间条件获取数据的要求能够较好满足，相比关系型数据库数据组织方式，相同查询模式下数据检索效率明显提高；并且随着数据存储量的增加，系统具有稳定的扩展能力。
分类： 天文学 >> 天文学 提交时间： 2018-05-29 合作期刊: 《天文研究与技术》
摘要： FITS是空间天文领域广泛使用的一种数据格式，空间天文数据文件通常采用定长数据结构存储为FITS文件。作为我国首颗发射的空间科学卫星，暗物质粒子探测卫星科学数据源包具有长度可变的特点。在暗物质卫星数据处理过程中，急需设计支持可变长度数据的存储结构和处理方法。设计了一种支持长度可变数组的FITS格式，并实现了采用该数据结构的数据处理、存储和管理。应用于暗物质卫星地面处理中，验证结果表明，该方法实现了编辑级产品数据存储，显著降低了产品数据量，节约了存储空间，同时提升了处理效率。
点击量
点击量
下载量
评论
