您当前的位置:首页 > 论文浏览

1. chinaXiv:201711.01289 [pdf]

基于Spark Streaming的明安图射电频谱日像仪实时数据处理

卫守林; 刘鹏翔; 王锋; 邓辉; 梁波; 戴伟
分类: 天文学 >> 天文学

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(MingantU SpEctral Radioheliograph, MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;}2) 5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。

提交时间: 2017-09-26 来自合作期刊:《天文研究与技术》 点击量410下载量252 评论 0

2. chinaXiv:201711.01327 [pdf]

基于OpenStack的天文台站计算节点自动管理研究

邵岑; 邓辉; 王锋; 卫守林; 梅盈; 石聪明; 梁波; 戴伟; 柳翠寅
分类: 天文学 >> 天文学

天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。

提交时间: 2017-09-26 来自合作期刊:《天文研究与技术》 点击量448下载量276 评论 0

  [1 页/ 2 条记录]