分类: 天文学 >> 天文学 提交时间: 2020-06-09 合作期刊: 《天文研究与技术》
摘要: 500米口径球面射电望远镜FAST已投入科学运行,漂移扫描巡天采集数据量已超过1PB,预计每年新增至少5PB。现有数据处理软件如PRESTO、SIGPROC等已无法满足PB量级数据的快速处理要求。提出了一种基于PRESTO的分布式并行计算方法,整合利用数据库技术和异地异构计算资源,构建了一套命名Craber的计算加速系统。整体系统由FAST早期科学数据中心与国家天文台团队共同设计和实现。启用Craber子网计算集群D中55个计算节点,应用Parkes多波束巡天数据集和FAST漂移扫描数据验证了系统流程和搜索数据库。单个100MB Parkes巡天数据文件平均耗时36秒,单个128MB FAST巡天数据文件平均耗时22秒。该系统目前已实际参与FAST数据处理并产生数十颗脉冲星发现,有效帮助FAST加速数据处理和扩大新样本数量。