基于NGAS的多点观测数据存储与同步方法 后印本

摘要: 平方公里阵列（Square Kilometre Array，SKA）望远镜建成后将会具有超高的灵敏度、超快的巡天速度以及宽视场，进而产生超海量的观测数据。在SKA天文台与各国区域数据中心间的海量数据同步/传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统（Next Generation Archive System, NGAS）在应用测试中存在效率低下，性能不足等问题。本文提出了一种基于ZeroMQ的数据存储与同步方法，通过采用更加高效的异步消息机制实现同步传输数据，回避了NGAS原有的采用HTTP协议的局限。实验结果表明新方法在平均数据归档存储效率方面比NGAS原有方法快了将近40倍，能够基本满足10GB带宽的全速传输需要，取得了较好的使用效果。