分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2024-03-16
摘要: A novel federated learning training framework for heterogeneous environments is presented, taking into account the diverse network speeds of clients in realistic settings. This framework integrates asynchronous learning algorithms and pruning techniques, effectively addressing the inefficiencies of traditional federated learning algorithms in scenarios involving heterogeneous devices, as well as tackling the staleness issue and inadequate training of certain clients in asynchronous algorithms. Through the incremental restoration of model size during training, the framework expedites model training while preserving model accuracy. Furthermore, enhancements to the federated learning aggregation process are introduced, incorporating a buffering mechanism to enable asynchronous federated learning to operate akin to synchronous learning. Additionally, optimizations in the process of the server transmitting the global model to clients reduce communication overhead. Our experiments across various datasets demonstrate that: (i) significant reductions in training time and improvements in convergence accuracy are achieved compared to conventional asynchronous FL and HeteroFL; (ii) the advantages of our approach are more pronounced in scenarios with heterogeneous clients and non-IID client data.
分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-02-29
摘要: 目的 随着网络大数据以及机器学习的方法的发展,越来越多研究结合文本分析与机器学习来预测满意度。在建立生活满意度预测模型的研究中,针对获取大量有效的有标注数据困难的问题,本研究提出基于文本数据增强以优化生活满意度预测模型。 方法 改编大连理工词典后,以357份生活现状描述为原始文本、生活满意度量表自评分为标注,经过EDA和回译进行文本数据增强,利用传统机器学习算法建立预测模型。 结果 结果显示,大连理工词典改编后,各模型预测能力大大提高;数据增强后,仅在线性回归模型上观察到回译和EDA的提升作用。使用原始数据进行训练的岭回归模型预测值与实际值的皮尔逊相关系数最高,达0.4131。 结论 特征提取精度的提升可优化目前的生活满意度预测模型,但对于以词频为特征建立的生活满意度预测模型,基于回译和EDA进行的文本数据增强可能并不十分适用。
分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-02-20
摘要: 本文分析了目前LLM存在的主要问题,并提出了具体解决方法,指出了:结合概率的概念化结构模型的表达和计算是关键,并对相关技术—深度语义模型(DSM)进行了简要的讲解,最后列举了后续的重点工作方向。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-02-20
摘要: OpenAI's Generative Pre-trained Transformer 4 (GPT-4) is a powerful large language model with a certain degree of intelligence in understanding and generating coherent text. We are exploring whether GPT-4 is capable of acting as a die, i.e. generating random numbers. We show that GPT-4 does not appear to generate independent and identically distributed random numbers. Examples imply that GPT-4 tries to compensate for the uniformity of random numbers by sacrificing independence when acting as a die.
分类: 计算机科学 >> 信息安全 提交时间: 2024-01-22
摘要: 随着AIGC技术的快速发展,逼真的伪造人脸视频已经可以欺骗人类视觉感知.因此,大量人脸防伪检测算法被提出用于伪造人脸视频的检测.然而如何有效评估这些伪造检测算法的有效性与可应用性,仍面临着诸多挑战.为有效推动人脸防伪检测成效的量化评估与防伪检测技术迭代发展,本文提出了一项面向人脸视频防伪检测的大规模中文数据评测基准,发布了全球首个CHN-DF中文数据集(https://github.com/HengruiLou/CHN-DF).填补了人脸视频防伪数据集在大规模中文数据方面的空白.本文详细介绍了构建CHN-DF数据集和中文数据评测基准的流程,并通过实验验证了CHN-DF数据集的复杂性和贴近真实场景水平.期望该评测基准能帮助研究人员构建更实用有效的人脸视频防伪检测模型,推动防伪检测领域技术发展.同时,本文指出了中文人脸视频防伪检测基准数据集和防伪检测技术所面临的挑战,提出了未来可能的研究方向,为推动人脸视频防伪检测技术发展提供了有益思路.
分类: 语言学及应用语言学 >> 语言学及应用语言学 分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-11
摘要: 以GPT系列为代表的大规模预训练语言模型的快速发展,深刻改变了自然语言处理领域的科研与工程范式,对医疗、教育、司法、金融等相关领域产生了深远影响。同时,这也为语言本身的研究带来了一些新的可能性。本文从歧义分析出发,简要评估GPT4、百川2、ChatGLM3等模型对以歧义为代表的复杂语言现象的理解和分析能力。实验结果表明,GPT4可以融合歧义消解和句法分析等方法,有效感知和理解复杂的语言现象。对于百川2,我们可以通过提示词工程引导其对语言现象进行深入思考,在不进行参数优化时,提升其分析能力。此外,通过监测大模型在处理不同语言现象时的内部特征与神经元活动,可以直观展现语言现象与大模型之间的关系。实验结果表明,大语言模型可以辅助人类更好地理解语言的本质,揭示语言现象深层次规律,从而为语言学研究提供新的思路。
分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-10
摘要: 随着科学技术的发展,脑电信号因为蕴含丰富的生理、心理和病理内容,而被运用与越来越多的领域。经过在脑电信号的数据集上的相关实验表明,本项目实现的基于LSTM模型对阿尔兹海默症的判别取得了较好的结果,平均准确率为93%左右。
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-09
摘要: 不良光照条件下的目标检测是一个重要的图像处理任务,目前的研究主要通过图像增强来减少图像噪声,同时改进网络结构和数据集来适应不良光照条件下的目标检测。然而,很少有人研究不良光照条件对目标检测的具体影响。因此在本文中,我们通过算法生成模拟不良光照条件的数据集,在不同的噪声条件下进行目标检测,统计检测结果,对影响进行研究。由于实验是在模拟数据中进行的,为了保证结果的准确性,我们利用实际场景的不良光照图像对结论进行了验证。
分类: 统计学 >> 数理统计学 分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-08
摘要: No Free Lunch(NFL)定理是统计学习理论的一个重要结果,依据贝叶斯建模可以推得损失/效用函数的期望与预测函数的假设空间的选取有关。若认为真实的预测函数空间是不可知的,则任意选择的假设函数空间都不一定得到最优的损失函数的期望。本文对NFL定理的极限情况进行分析,利用分布的一致收敛性,即Glivenko-Cantelli定理的一种局部形式得到在一定情况下的确定性与非确定性预测问题中,当样本量趋于无穷大损失/效用函数的期望与假设函数空间的具体选择无关。此项工作的一个副产物是利用本文得出的分布的一致收敛性的局部形式可以推得分布的总变差(total variation)一致收敛性。此前该性质一般是认为不存在的。
分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-08
摘要: 随着传感器和网络技术的飞速发展,大量历史时间序列数据出现,高效准确地进行时间序列预测越来越重要。近年来,将深度学习的思想和技术运用到时间序列预测任务中的方法发展迅速,并取得了许多成果。本文分析了时间序列预测方法的国内外研究现状,论述了时间序列预测所涉及的相关理论,归纳总结了该任务所运用的传统方法、基于机器学习的方法和基于深度学习的方法,重点对比分析了基于深度学习的各方法的优缺点,并由此对基于深度学习的时间序列预测方法进行了展望。
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-07
摘要: Aiming at the exponential growth of solution scale in multiple hypothesis tracking (MHT), a continuous consistency model (CCM) is proposed. The key to improve MHT performance is to improve the effi#2;ciency of branch management. However, due to the inevitable detector failure, when the tree is expanded and each detection is organized as the root node of the new tree, a large number of virtual nodes are used. This leads to rapid growth of branches. Different from previous MHT implementations, CCM divides detection into four categories, in#2;cluding continuous, left continuous, right continuous and discontinuous. Comparative experiments show that CCM has significantly improved the computational efficiency and obtained the most advanced results on MOT challenge benchmark.
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-07
摘要: 本文对特征级数据融合算法进行了分类概述,分布从基于概率统计的融合算法、基于逻辑推理的融合算法、基于特征抽取的融合算法、基于搜索的融合算法和基于神经网络的融合算法做了归纳,并且对数据融合的未来研究方向进行了总结论述。
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-07
摘要: 本文运用YOLO视觉算法对标签进行识别检测,并对实验过程和实验结果进行了论述。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-07
摘要: 多层感知机(MLP)是一种前馈神经网络,通过在网络中加入一个或者更多个隐藏层,克服了线性模型的限制,打开了深度学习的大门。本文利用了多层感知机完成图像分类,在Fashion MNIST数据集上进行了探索,并尝试迁移到MNIST数据集中。在Fashion MNIST上我们进行特征预处理后,选择了不同的优化方法并进行比较,此外分别通过增加丢弃法和权重衰减法等正则化方法,实现了对多层感知机的优化、改进。通过实验表明,适当的特征处理能够提高模型的数值稳定性。动量法显著提高了模型效果,同时权重衰减等方法对提高模型的泛化效果起到了帮助。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2024-01-07
摘要: 由于人工神经网络具有高度非线性描述的特点,这个特点导致了他们被愈来愈广泛的研究和应用,在这些研究和应用当中主要的应用领域就是分类。分类实现的基础是特征分类,所以要进行分类就需要先提取样本的特征。在常见的卷积神经网络中,通常是由输入层、卷积层、池化层、激活层、全连接层,按照一定的次序连接而构成。卷积神经网络的输入层实现的是整个神经网络的输入,在本设计中,训练和推理的数据为30*30像素的单通道灰度图
分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-07
摘要: 图像分类和识别在现代社会中具有重要意义。已经有许多优秀的卷积神经网络工作来优化图像分类的准确性,其中一位杰出的代表是ResNet 1 ,它大幅增加了神经网络的深度,从而极大地提高了神经网络的性能。与此同时,还有一些可插拔的性能优化子模块可以帮助优化所有网络,其中一个杰出的代表是SeNet 3 。然而,在面对现实世界中的复杂场景时,它们并不总是表现良好。本文的主要工作是研究如何有效提高卷积神经网络(ResNet)在一些特殊场景(小图片、高噪声图片)中的识别性能,并尝试分析一些神经网络的底层机制。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-07
摘要: 该中文命名实体识别项目的目标主要包括以下两个方面。首先是实现高精度的中文命名实体识别,通过对中文文本进行深度学习,提高中文实体识别的准确率,减少误识别和漏识别的现象。其次是实现标准化流程建立,形成一套标准化的中文命名实体识别流程,包括数据预处理、模型训练、实体识别等,为后续研究提供基础。代码提交在了GitHub,网址为https://github.com/Blue88888/DL_CNER。
分类: 环境科学技术及资源科学技术 >> 环境学 分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-07
摘要: 目的 本研究的目标是开发一种便携式气相色谱仪,结合机器学习实现现场的VOC采集和快速的气味评价。 方法 我们使用卷积神经网络-长短期记忆(CNN-LSTM)建立了气味强度的预测模型。由于收集的数据量较小,我们使用生成对抗网络(GAN)对每个气味强度类别的VOC数据进行了生成,以增强模型的训练。 结果 在生成数据后,我们再次使用CNN-LSTM建立了模型,并与人工神经网络(ANN)、支持向量机(SVM)和梯度提升决策树(XG-Boost)进行了比较。结果表明,使用GAN生成数据后的测试准确率优于原始数据。 局限 未来的工作将集中在进一步优化模型和扩大数据集上,以提高预测的准确性和稳定性。 结论 这项研究表明,通过使用深度学习和生成对抗网络,我们可以有效地预测车内的气味强度,从而改善车内的空气质量。此外,我们还将探索将这种方法应用于其他环境条件下的空气质量预测。这为未来的空气质量监测和改善提供了新的可能性。由于我们的设备是便携式的,且模型结构较小可以直接嵌入到设备上,从而实现现场的VOC采集和快速的气味评价。这为未来的空气质量监测和改善提供了新的可能性。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-07
摘要: 在文献调研过程中,我们关注到有关LSTM模型的命名实体识别相关工作,该种模型在命名实体识别领域具有十分广泛的应用,英文NER领域发展较快,因项目目标定为拟实现中文命名实体识别工作,所以在关注中文的NER发展情况过程中,发现了LSTM在中文NER中的逐步应用,LSTM是RNN的一种变体,其核心概念在于细胞状态以及门结构。
分类: 计算机科学 >> 计算机软件 提交时间: 2024-01-07
摘要: 本文基于图神经网络,提出了一种用于工业过程控制回路故障诊断的方法。通过对回路传感器输出信号的监测,图神经网络能够捕捉到回路中的异常行为,并自动诊断回路故障类型。实验结果表明,该方法能够高效地检测到回路故障,并且能够在单故障和多故障情况下都实现较高的准确率。该方法为工业过程控制提供了可靠的故障诊断方案,在实际工业应用中具有重要的意义和应用价值。