Current Location:home > Browse

Institution

1. chinaXiv:202001.00044 [pdf]

基于Spark的SKA1-MID自校准管线分布计算实现

戴伟; 汪森; 李秋虹; 邓辉; 梅盈; 王锋
Subjects: Astronomy >> Astrophysical processes

SKA 科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark 是非常成熟的一个商业框架,在互联网应用中被广泛应用,本文根据SKA项目进展要求,重点研究了如何将算法参考库(ARL)中的部分管线移植到Spark上执行。本文对部分实现过程进行了分析讨论,给出了相应的任务流程实现。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分数据分布式数据的要求,但迫切需要解决自身存在的一系列问题。

submitted time 2019-12-26 From cooperative journals:《天文研究与技术》 Hits2991Downloads176 Comment 0

2. chinaXiv:201909.00186 [pdf]

基于python-casacore的射电测量集文件生成方法

孙浩民; 邓辉; 梅盈; 王锋
Subjects: Astronomy >> Astrophysical processes

测量集(MeasurementSet,MS)文件是成为射电天文领域的重要存储文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件如CASA、WSCLEAN等的支持,在ALMA、LOFAR等诸多射电望远镜系统中应用。但长期以来,MS格式在国内应用较少,技术规范文档非常缺乏。本文结合SKA工程桥接阶段相关工作需要,对MS格式的基本概念、目录结构和字段设计进行了介绍,在此基础上讨论了利用python-casacore调用底层casacore生成MS文件的方法,并将此功能封装到当前SKA的算法参考库(Algorithm Reference Library, ARL)。文中给出了利用ARL仿真观测生成MS文件的实例,并通过CASA软件对生成的MS文件成像,经过结果比对,验证了MS文件的正确性。本文的工作为SKA后续的成像实验、观测模拟和文件存储都提供了关键的保障,在满足SKA工程桥接阶段工作需要的同时,也为国内外射电天文数据处理工作提供了参考。

submitted time 2019-09-18 From cooperative journals:《天文研究与技术》 Hits751Downloads327 Comment 0

3. chinaXiv:201812.00018 [pdf]

宽视场成像网格化算法中w-plane最优经验值研究

于晓雨; 邓辉; 梅盈; 卫守林; 石聪明; 王威; 戴伟; 王锋
Subjects:

射电干涉阵列宽视场成像网格化处理过程中必须考虑w项的影响。w-projection和w-stacking是两个重要的宽视场成像网格化处理算法, w-plane参数是算法中影响计算速度和成图质量的一个重要因素。本文研究了w-projection和w-stacking两种网格化算法,利用SKA1低频阵台站数据和ASKAP软件包进行模拟观测,对两种算法在不同w-plane参数取值情况下的成图速度和成图质量进行了定量分析对比。结果进一步表明w-plane是性能改善的重要参数,针对w-projection算法来说,w-plane取值应比一般给定的经验值要大才能较好的得到成像效果。w-stacking算法虽然有很大的速度优势,但算法实现中w-plane的影响更为显著,论文给出了推荐的w-plane取值。本文工作是大视场成像算法的基础研究工作,对未来SKA科学数据处理中的管线设计有较好的参考价值。

submitted time 2018-12-04 From cooperative journals:《天文研究与技术》 Hits1560Downloads525 Comment 0

4. chinaXiv:201812.00020 [pdf]

基于ZeroMQ的观测控制系统底层通信架构分析与测试

钱进; 邓辉; 梅盈; 石聪明; 卫守林; 戴伟; 王锋
Subjects:

观测控制系统(Observation Control System,OCS)是当前的一个研究热点,底层通信是OCS架构中重要的一个环节。但传统的OCS中一般采用裸套接技术实现,缺少统一的传输控制机制,在密集数据通信时经常存在延迟影响实时控制的需要; 同时缺少广播与组播机制,限制了OCS系统的设计。本文针对OCS的要求,系统研究分析了基于ZeroMQ不同通信模型及所对应的天文控制模式,对不同的通信控制架构可用性进行了分析。在此基础上通过实验对相应的通信模型进行了测试,验证其在天文仪器分布控制中的可用性。测试结果进一步说明ZeroMQ构建OCS的底层通信架构是可行的,能够满足OCS对设备的各种控制需求。

submitted time 2018-12-04 From cooperative journals:《天文研究与技术》 Hits772Downloads384 Comment 0

5. chinaXiv:201809.00154 [pdf]

基于NGAS的多点观测数据存储与同步方法

石聪明; 邓辉; 戴伟; 卫守林; 王锋
Subjects: Astronomy >> Astrophysical processes

平方公里阵列(Square Kilometre Array,SKA)望远镜建成后将会具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。在SKA天文台与各国区域数据中心间的海量数据同步/传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。本文提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明新方法在平均数据归档存储效率方面比NGAS原有方法快了将近40倍,能够基本满足10GB带宽的全速传输需要,取得了较好的使用效果。

submitted time 2018-09-11 From cooperative journals:《天文研究与技术》 Hits1997Downloads505 Comment 0

6. chinaXiv:201806.00280 [pdf]

基于OpenCL的射电干涉阵成像gridding算法实现

冯勇1;王锋1,2,3;邓辉1,2;卫守林1;梅盈1,2,3;戴伟1,3;石聪明1
Subjects: Astronomy >> Astronomical Instruments and Techniques

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理工作,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的gridding算法不仅能够在多种GPU上运行,而且能够在纯CPU上运行。当选择在GPU上执行时,算法的执行效率与基于CUDA实现的gridding算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯CPU上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。

submitted time 2018-06-22 From cooperative journals:《天文研究与技术》 Hits3831Downloads608 Comment 0

7. chinaXiv:201806.00288 [pdf]

1.26米红外望远镜测光处理管线设计与实现

钟文杰1;邓辉1;刘应波1 ;袁聿海1;李长华 3;黄伟荣1;付泰1;王锋1,2
Subjects: Astronomy >> Astronomical Instruments and Techniques

1.26m红外望远镜是一台由国家天文台和广州大学联合建设的望远镜系统,测光观测是该望远镜的重要观测手段之一。但当前一直存在数据处理周期较长、处理过程基本需要人工处理等问题。为了提高广州大学合作团队的数据处理能力,提出了一种面向1.26m红外望远镜半自动的测光处理管线,该管线在获取原始数据后,基于当日的观测记录重建FITS头文件信息,随后管线系统自动对图片进行预处理、定位目标星源、计算出目标星等相关操作,最后获得可利用的测光数据。这种方式高效、便捷,同时精度也得到了保证,它把当前主流测光模式中繁杂的、需要不断重复的步骤交由程序运行,从而节省了时间,显著提高了工作效率,解决了当前光学测光模式中图像数据的处理跟不上数据产出的大难题,满足了广大科研工作者的需求。

submitted time 2018-06-22 From cooperative journals:《天文研究与技术》 Hits1589Downloads686 Comment 0

8. chinaXiv:201805.00530 [pdf]

面向ONSET实时数据处理的图像选帧GPU技术实现

李力; 邓辉; 李瑧; 梅盈; 戴伟; 杨秋萍; 王锋
Subjects: Astronomy >> Astrophysical processes

光学和近红外太阳爆发监测望远镜每天可以获得大量的太阳图像数据,对这些观测数据进行实时选帧处理,一方面可以减轻存储压力,另一方面也可以提高后续图像重建的质量。针对实时观测过程中的选帧要求,设计并实现了一套基于图形处理器的图像选帧实时处理模块,当前的模块已经实现了平均梯度法和谱比法选帧两种算法的高速并行处理。对模块的实现进行了细致的讨论,并比较了两种选帧方法的加速比。实验表明,该模块运行稳定可靠;从执行效率来看,针对近全日面图像的选帧总体执行时间最快为1.2s,比原有串行实现提升了7倍;局部面图最快为0.7s,平均提升了5倍。整体模块的实现与当前性能已经可以满足实时观测与处理的要求。

submitted time 2018-05-29 From cooperative journals:《天文研究与技术》 Hits1071Downloads494 Comment 0

9. chinaXiv:201805.00535 [pdf]

一种基于微信小程序在RTS2的控制框架扩展

梁 波; 田智雁; 王 锋; 邓 辉; 卫守林
Subjects: Astronomy >> Astrophysical processes

望远镜自主控制是现代天文观测技术的重要组成部分,在当前主流的自主控制系统中,开源的RTS2具备模块化和即插即用的设计理念,且具有快速响应能力和稳定工作的特点,被广泛应用于天文望远镜自主控制系统。由于RTS2基于Linux平台,主要基于CLI进行远程访问控制,所以对观测人员的要求比较高。深入分析RTS2系统,对JSONAPI进行适度改造,以JSON为数据传输格式,以移动终端的微信应用作为载体,跨越不同平台对RTS2天文望远镜控制系统进行数据访问和功能调用。利用微信小程序,将控制系统移植到微信小程序中,使天文技术研究人员能够方便快捷地利用移动终端在微信平台上远程控制天文望远镜和实时监控天文望远镜自主控制系统的状态。采用该模式,可扩展到ASCOM等其他自主控制架构,从而实现一个通用的基于微信小应用的移动终端远程控制。

submitted time 2018-05-28 From cooperative journals:《天文研究与技术》 Hits634Downloads365 Comment 0

10. chinaXiv:201805.00154 [pdf]

基于ZeroMQ的新一代望远镜自动控制系统的通信框架设计

邓辉; 钟文杰; 付映雪; 王锋; 卫守林
Subjects: Astronomy >> Astrophysical processes

随着天文技术的进步,天文望远镜系统组件日趋于复杂化,望远镜自动控制系统已成为望远镜进行常规观测的核心组成部分。通常执行一个完整的观测计划需要不同设备之间相互配合,协同工作,因此,具有一个高效的底层通信框架是望远镜自动控制系统成功的关键。ZeroMQ是一个高性能的网络通信程序库,提供了多种基础的通信模型,可用于构建复杂的分布式程序,非常适合天文望远镜观测控制这样的分布式、多种通信模式并存和低延迟要求的场合。回顾了在望远镜控制系统中广泛使用的CORBA,DCOM,原生Socket等网络技术,给出了基于ZeroMQ的新一代望远镜自动控制系统通信框架的总体设计,讨论了套接字设计、消息模型设计、序列化等关键技术的解决方案。

submitted time 2018-05-15 From cooperative journals:《天文研究与技术》 Hits816Downloads419 Comment 0

123  Last  Go  [3 Pages/ 22 Totals]