基于文件的大规模星表高效索引与融合
后印本
The Efficient Indexing and Fusion Algorithms for
Large-scale Catalogs Based on File
摘要: 大规模星表的快速检索是交叉证认、多波段数据融合、暂现源搜寻等任务实现的基础,尤其是大视场暂现源搜寻需要在一个曝光周期内完成观测结果与大规模星表的检索与交叉证认,以发现正在变化的天体。现有的大规模星表通常包含数十亿天体,为了在有限内存的情况下对其进行快速检索,提出了一套解决方案。通过使用基于 HEALPix 的多分辨率动态划分算法,
能够将星表按照不同天区天体密度切分成大小合适且均匀的星表文件;进而在开源序列化组件
Protocol Buffers 基础上设计出一套针对星表的序列化方案,作为星表切分和检索时的中间存储
介质,以尽可能提高检索时的速度。还尝试应用 Peano-Hilbert 编号代替 HEALPix 原有 Z 型编
号顺序遍历星表,提高了缓存命中率,实现了对大规模星表的高效融合,方便对数据的后续利用
与研究。
版本历史
[V1] |
2023-12-13 15:40:06 |
ChinaXiv:202312.00164V1
|
下载全文 |