基于Spark Streaming的明安图射电频谱日像仪实时数据处理

分类： 天文学 >> 天文学 提交时间： 2017-09-26 合作期刊: 《天文研究与技术》

卫守林 刘鹏翔 王锋 邓辉 梁波 戴伟

摘要： 目前天文观测中对数据的实时处理需求越来越多，性能要求也越来越高，我国明安图射电频谱日像仪(MingantU SpEctral Radioheliograph, MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中，包含了两方面的需求:(1)对历史数据的处理;}2) 5秒钟抽样观测数据的处理。抽样观测数据需要实时处理，并在监控终端显示，数据处理过程包含了数据校验、修正、成图、洁化等多个步骤，传统的单机处理模式已无法满足大数据量下的实时性要求。因此，实时数据计算中，使用Spark Streaming流式计算这一新兴的分布式计算方法，设计了自定义的接收器，并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估，结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置，获得更好的结果，并最终运用到实际环境中。

 点击量 2578  下载量 1495  评论