异构资源环境下Hadoop节点能力自适应调度算法

作者： 沈学利 ¹ 盛方严 ²
作者单位：

1. 辽宁工程技术大学电子与信息工程学院

2. 辽宁工程技术大学研究生院
提交时间：2018-12-13 16:12:30

摘要: 为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足，提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先，NCAS算法根据节点性能、任务特征计算得到调度因子；然后，由调度因子确定各节点应分得的数据量与任务槽数；最后，将数据和任务多分给快节点同时少分给慢节点。实验结果表明，与传统的调度算法相比，NCAS算法大幅度减少了备份任务的启动数量，明显减少了作业完成时间，提升了任务执行效率。

Hadoop 异构资源节点能力自适应

期刊： 计算机应用研究
分类： 计算机科学 >> 计算机科学的集成理论
引用： ChinaXiv:201812.00078 (或此版本 ChinaXiv:201812.00078V1)
DOI:10.12074/201812.00078V1
CSTR:32003.36.ChinaXiv.201812.00078.V1
推荐引用方式： 沈学利,盛方严.(2018).异构资源环境下Hadoop节点能力自适应调度算法.计算机应用研究.[ChinaXiv:201812.00078] (点此复制)

版本历史

[V1]

2018-12-13 16:12:30

ChinaXiv:201812.00078V1

下载全文

相关论文推荐

1. 恶意代码SCMP分类方法框架与风险行为多标签机制	2024-05-09
2. Brief Discussion on Scenes and Strategies in Capital Markets Manipulation Detection: From Influence Diffusion Perspectives	2024-04-24
3. SteganoDDPM: A high-quality image steganography self-learning method using diffusion model	2024-04-23
4. 引导大语言模型生成计算机可解析内容	2024-04-21
5. 基于大语言模型的中英文整合复杂性建模研究	2024-04-10
6. 大模型与标准文献知识库的融合应用探索	2024-04-10
7. 简体中文LIWC2024(SCLIWC2024)词典的修订与验证	2024-04-09
8. 引导大语言模型生成计算机可解析内容	2024-04-07
9. 基于 Python 中 MeCab 库对日语文章进行文本分析处理实现	2024-04-04
10. 一种基于能量-信息转换的智能测度	2024-03-30


公开评论匿名评论仅发给作者