分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2019-02-22
摘要: Abstract—With the rapid development of mobile technologies, social networking softwares such as Twitter, Weibo and WeChat are becoming ubiquitous in our every day life. These social networks generate a deluge of data that consists of not only plain texts but also images, videos, and audios. As a consequence, the traditional approaches that classify the short text by counting only the key words become inadequate. In this paper, we propose a multimedia short text classification approach by deep RNN(Recurrent neural network ) and CNN(Convolutional neural network) cascade. We first employ an LSTM(Long short-term memory) net- work to convert the information in the images into text information. Then a convolutional neural network is used to classify the multimedia texts by taking into account both the texts generated from the image as well as those contained in the initial message. It is seen through experiments using MSCOCO dataset that the proposed method exhibits significant performance improvement over the traditional methods.
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2019-01-28 合作期刊: 《计算机应用研究》
摘要: 从医学文本中识别时间短语是临床医学自然语言处理的关键技术之一。传统基于规则和机器学习的方法,需要设计复杂规则和提取特征,而且大多数系统采用串行方法会导致错误的传播。提出基于双向长短时记忆网络(BLSTM)的神经网络架构,在识别时间表示式的同时判别它们的类型:首先使用卷积神经网络(CNN)学习得到单词的字符级别向量和大规模生物医学背景语料上训练得到的词向量进行组合作为BLSTM的输入,然后使用BLSTM网络学习单词的上下文语义表示,最后使用条件随机场(CRF)对BLSTM输出的序列进行标签优化。实验基于SemEval-2016任务12,结果表明没有添加任何特征的神经网络学习方法比该任务中官方提供的最高分的F1值提高了3%。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2019-01-03 合作期刊: 《计算机应用研究》
摘要: 由于目前哈萨克语句法分析准确率较低并缺乏基于神经网络的哈萨克语句法分析的相关研究,针对哈萨克语短语结构的句法分析,使用基于移进-归约的方法,但采用在栈中存储句子跨度而不是部分树结构,从而在进行句法树解析时不需要对句法树进行二叉化。该研究在句子特征提取时使用双向LSTM对句子跨度特征进行提取,得到句子跨度在整个句子上下文中信息,再使用多层感知机对句法分析模型进行训练,最后在解码时使用动态规划选取最优句法分析结果;最终使得哈萨克语短语句法分析准确率达到了76.92%。研究成果对哈萨克语句法分析准确率有了进一步的提高并为后续的哈萨克语机器翻译及语义分析奠定良好的基础。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-11-29 合作期刊: 《计算机应用研究》
摘要: 为研究情境特征在文本分类中的作用,提出了一种层级双向LSTM模型用于情感分类问题。该模型首先将句子分词,把词向量作为第一层双向LSTM模型的输入;其次从文档中提取出稠密、连续的向量作为情境特征;然后将第一层模型的输出向量和情境向量共同输入第二层双向LSTM;最后将这种层级双向的LSTM模型的输出向量通过sigmoid函数进行分类。情境向量作用于每个句子,一致的情感得到增强,不一致的情感被弱化,从而提高了分类的精度。在两个公开数据集上的实验表明,整合了情境特征的层级双向LSTM取得较优的精度。除此之外,通过在一个包含2万余条中文评论的公开数据集上对模型进行测试,表明该模型测试正确率相比于普通的LSTM和双向LSTM都有提升,说明情境特征对于提升情感分类的作用比较显著。
分类: 图书馆学、情报学 >> 图书馆学 提交时间: 2023-07-26 合作期刊: 《图书情报工作》
摘要: [目的/意义] 在新时代人民日报分词语料库的基础上构建的深度学习自动分词模型,不仅有助于为高性能分词模型的构建提供经验,也可以借助具体的自然语言处理研究任务验证深度学习相应模型的性能。[方法/过程] 在介绍双向长短时记忆模型(Bi-LSTM)和双向长短时记忆与条件随机场融合模型(Bi-LSTM-CRF)的基础上,阐明汉语分词语料预处理、评价指标和参数与硬件平台的过程、种类和情况,分别构建Bi-LSTM和Bi-LSTM-CRF汉语自动分词模型,并对模型的整体性能进行分析。[结果/结论] 从精准率、召回率和调和平均值3个指标上看,所构建的Bi-LSTM和Bi-LSTM-CRF汉语自动分词模型的整体性能相对较为合理。在具体性能上,Bi-LSTM分词模型优于Bi-LSTM-CRF分词模型,但这一差距非常细微。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2022-04-07 合作期刊: 《计算机应用研究》
摘要: 针对异构无线网络环境中现有垂直切换算法存在难以实现移动用户接入网络的无缝切换,无法向用户提供稳定通信服务的问题,提出一种基于移动用户位置预测的垂直切换算法。首先利用用户移动轨迹的相似性,使用用户轨迹数据离线训练LSTM模型以学习各用户普遍具有的移动规律;然后在线加载LSTM模型进行用户位置预测,从而使用模糊逻辑分析计算下一时刻用户对应候选网络的回报值,并选取回报值最高的网络进行切换。实验结果表明,该算法与已有垂直切换算法相比,在不同的用户移动速度和用户规模条件下的切换次数、切换失败次数和切换时延均有明显下降,内存消耗较低,能够实现无缝切换。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-11-29 合作期刊: 《计算机应用研究》
摘要: 作者身份识别一直在公安行业和文检工作中起着重要的作用。现有的作者语言风格建模过程繁琐、文本特征工程没有普适性。针对此问题,在无须专家进行特征建模的情况下,提出CABLSTM中文微博作者身份识别模型,并在公开微博语料集测试该模型准确度。该模型为最大化的提取短文本特征,融合Attention机制于CNN中并去除池化层,通过双向LSTM以获取上下文相关信息,身份识别结果通过Softmax层进行输出。实验结果表明,该模型在进行中文微博作者身份识别任务中与传统机器学习算法以及TextCNN和LSTM算法相对比,在准确率、召回率、F值方面都有一定的提升。
分类: 环境科学技术及资源科学技术 >> 环境科学技术基础学科 提交时间: 2020-11-20 合作期刊: 《干旱区地理》
摘要: 开展干旱预测是有效应对干旱风险的前提基础。利用1958—2017年青海省38个气象站点逐日降水量数据计算多尺度标准化降水指数(SPI),并建立了SPI 序列自回归移动平均模型(ARI?MA)、长短时记忆神经网络模型(LSTM)和基于二者优点提出的ARIMA-LSTM组合模型;对模型参数进行率定和验证后,利用所建立的模型,以西宁站点为例,对多尺度SPI 值进行预测,借助均方根误差(RMSE)、平均绝对百分比误差(MAPE)和决定系数R2对所有预测模型的有效性进行判定。结果表明:ARIMA-LSTM组合模型在SPI1和SPI12的RMSE 值分别为0.159 7和0.181 0,均低于ARIMA模型的1.265 4和0.293 3,说明ARIMA模型与ARIMA-LSTM组合模型对SPI 的预测精度都与时间尺度有关,ARIMA模型的预测精度随着时间尺度的增加而逐渐提高;结合GIS并利用实测数据与模型的预测数据相比较说明ARIMA-LSTM组合模型相比于单一ARIMA模型的预测精度更高,且能够很好拟合不同时间尺度的SPI值。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-06-19 合作期刊: 《计算机应用研究》
摘要: 模糊测试用例的好坏是影响测试效果的重要因素。目前常规的生成方法是随机变异和人工协议分析构造,分别存在变异盲目效率低和构造复杂代价高的问题。针对上述问题提出运用深度学习技术辅助测试用例生成。利用循环神经网络处理字符文本序列的优势,通过样本数据学习训练结构特征,并预测生成符合结构特征的新数据,与随机变异算法结合构造了自动生成模型。通过以LSTM和GRU算法模型对PDF文件输入型测试用例生成和效果评估,生成的测试用例总体优于常规方法有较好的通过率和覆盖率。该方法通过循环神经网络的辅助实现了生成快速高效和构造难度低的优点,达到了生成效果和花费代价的平衡。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-06-19 合作期刊: 《计算机应用研究》
摘要: 针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络(convolutional neural network,CNN)与长短时记忆网络(long short-term memory,LSTM)的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制(attention)融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-10-11 合作期刊: 《计算机应用研究》
摘要: 为解决采用Softmax作为长短期记忆网络分类器导致实体关系识别模型泛化能力不足,不能较好适用中医实体关系抽取等问题,提出一种融合梯度提升树的双向长短期记忆网络的关系识别算法(BILSTM-GBDT)。先采用word2vec对中医文本进行向量化表示,再利用基于注意力机制的双向长短期记忆网络提取高阶特征,最后采用集成分类模型梯度提升树作为特征分类器,提高关系识别效果。在中医等多个关系语料库上的实验结果表明,该模型与传统SVM方法、GBDT方法及其深度学习方法相比,均有更高的精确率、召回率和F值。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-05-20 合作期刊: 《计算机应用研究》
摘要: 长短期记忆网络(long short term memory,LSTM)是一种能长久储存序列信息的循环神经网络,在语言模型、语音识别、机器翻译等领域都得到了广泛的应用。先研究了前人如何将LSTM中的记忆模块拓展到语法树得到LSTM树结构网络模型,以获取和储存句子深层次的语义结构信息;然后针对句子词语间的极性转移在LSTM树结构网络模型中添加了极性转移信息提出了极性转移LSTM树结构网络模型,更好获取情感信息来进行句子分类。实验表明在Stanford sentiment tree-bank数据集上,提出的极性转移LSTM树结构网络模型的句子分类效果优于LSTM、递归神经网络等模型。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-11-29 合作期刊: 《计算机应用研究》
摘要: 为了解决语音识别中基于卷积位置信息的混合式注意力机制无法提取长期有效位置信息的问题,提出了一种捕捉长期有效位置信息的新型混合式注意力机制。首先,对当前时刻生成的注意力得分作卷积来提取多通道特征图,并通过全局平均池化来得到恒定维度的特征向量;接着,引入长短期记忆网络(long short-term memory,LSTM)单元作为外部记忆模块,并以生成的特征向量作为输入,生成下一时刻的位置信息向量;最后,结合经典的LAS(listen,attend and spell)模型来验证提出方案的有效性。实验结果表明,提出方案能充分考虑过去多个时刻的注意力得分。相对于基于卷积位置信息的LAS模型,提出方案在纯净和含噪语音数据集上取得的标签错误率分别减少了1.8%和2.21%。
分类: 图书馆学、情报学 >> 图书馆学 提交时间: 2023-08-27 合作期刊: 《图书情报工作》
摘要: [目的/意义]数据科学作为一个融合诸多领域的新兴交叉学科正在快速形成。从数据科学招聘的公告信息中,抽取出相应的实体知识不仅有助于从市场的角度了解数据科学的发展动态,而且有助于改进数据科学教学的内容。[方法/过程]基于各大招聘网站职位招聘公告,结合情报学的数据获取、标注和组织方法,构建数据科学招聘语料库并从中抽取相应的实体进行分析与研究。[结果/结论]在搜集到的11 000篇经过标注的职位招聘公告语料的基础上,基于Bi-LSTM-CRF、CRF和Bi-LSTM模型,对数据科学招聘实体的抽取任务进行性能的对比,确定最终的数据科学招聘实体自动抽取模型,设计数据科学招聘实体自动抽取平台,并构建数据科学招聘实体网络。
分类: 农、林、牧、渔 >> 农业基础学科 提交时间: 2023-08-14 合作期刊: 《智慧农业(中英文)》
摘要: [目的/意义]分析广西甘蔗主产区甘蔗产量与气象因素的关系,利用气象数据预测甘蔗产量,为糖厂及 相关管理部门提供科学的数据支撑。[方法]选用2002~2019年广西五个不同地级市内蔗区的产量数据及14种逐 日气象数据,将每年的各气象因子以78个逐月递增的连续时段的均值与产量进行相关性分析,根据敏感时段分析 法确定关键气象因子,并分析各气象因子在敏感时段对产量的影响。分别利用BP神经网络(BP Neural Network, BPNN)、支持向量机(Support Vector Machine,SVM)、随机森林(Random Forest,RF)、长短期记忆网络(Long Short-Term Memory,LSTM) 建立单蔗区产量预测模型,并采用以全生育期气象均值作为模型输入的方法进行对照 实验。使用HP 滤波法(Hodrick Prescott Filter) 分离出甘蔗气象产量,将5 个蔗区的数据混合,分别利用RF、 SVM、BPNN和LSTM建立通用的多蔗区气象产量预测模型。[结果和讨论]对于单蔗区,敏感时段分析法的模型 预测效果明显优于全生育期取气象均值的方法,LSTM模型对于上述两种数据处理方法的预测效果均明显优于目 前广泛使用的BPNN、SVM、RF模型,敏感时段分析法的LSTM模型整体的均方根误差(Root Mean Square Error, RMSE) 和平均绝对百分比误差(Mean Absolute Percentage Error,MAPE) 分别为10.34 t/ha和6.85%,决定系数Rv 2 为0.8489。对于多蔗区,LSTM预测结果较差,RF、SVM及BPNN三种预测模型都取得了良好的效果,预测效果最 好的BPNN模型的RMSE和MAPE分别为0.98 t/ha和9.59%,Rv 2为0.965。[结论]通过敏感时段分析法筛选的关键 气象因子与产量均呈显著相关,根据敏感时段能准确地分析各气象因子对产量的影响。使用LSTM模型预测单蔗 区产量,使用BPNN模型预测多蔗区甘蔗气象产量的方法是可行的,且预测误差在可接受范围内。
分类: 地球科学 >> 地理学 提交时间: 2023-03-13 合作期刊: 《干旱区研究》
摘要: 土地利用时空格局变化与预测对土地资源管理与优化至关重要。本文基于遥感时空序列数据,协同景观 指数与深度学习的长短时记忆网络(Long-Short Term Memory,LSTM)模型,对玛纳斯进行长时间序列土地利用时空 格局演变特征分析和预测。结果表明:(1)19922020年耕地、草地和建设用地增加,林地、水域和未利用地减少。 (2)耕地破碎化程度降低,林地和水域的景观指数轻微波动;草地破碎化程度降低,形状趋于规则化;建设用地处于 持续扩张状态,破碎化程度加深,形状趋于复杂;未利用地破碎化程度增加,但形状趋于规则化。(3)比较了LSTM 模型、多层感知人工神经网络(Multi-Layer Perception Artifical Neural Network,MLP-ANN)模型、逻辑回归(Logistic Re⁃ gression,LR)模型和CA-Markov模型的预测精度。LSTM模型的Kappa系数为95.31%,较其他模型准确度高,符合实 际土地利用格局分布。LSTM模型表明2025年土地利用类型可能仍以耕地、草地和未利用地为主。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-04-19 合作期刊: 《计算机应用研究》
摘要: 目前特定主题情感分析任务中,传统的基于注意力的深度学习模型缺乏对主题特征和情感信息的有效关注。针对该问题,构建了融合主题特征的深层注意力的LSTM模型(deeper attention LSTM with aspect embedding,AE-DATT-LSTM),通过共享权重的双向LSTM将主题词向量和文本词向量进行训练,得到主题特征和文本特征进行特征融合,经过深层注意力机制的处理,由分类器得到相应主题的情感分类结果。在SemEval-2014 Task4和SemEval-2017 Task4数据集上的实验结果表明,该方法在特定主题情感分析任务中,较之前基于注意力的情感分析模型在准确率和稳定性上有了进一步的提高。主题特征和深层注意力机制的引入,对于基于特定主题的情感分类任务具有重要的意义,为舆情分析、问答系统和文本推理等领域提供了方法的支持。
分类: 图书馆学、情报学 >> 情报学 提交时间: 2017-12-05 合作期刊: 《数据分析与知识发现》
摘要: 【目的】利用 LSTM 模型和字嵌入的方法构建分类系统, 提出一种中文图书分类中多标签分类的解决方 案。【方法】引入深度学习算法, 利用字嵌入方法和 LSTM 模型构建分类系统, 对题名、主题词等字段组成的字 符串进行学习以训练模型, 并采用构建多个二元分类器的方法解决多标签分类问题, 选择 3 所高校 5 个类别的书 目数据进行实验。【结果】从整体准确率、各类别精度、召回率、F1 值多个指标进行分析, 本文提出的模型均有 良好表现, 有较强的实际应用价值。【局限】数据仅涉及中图分类法 5 个类别, 考虑的分类粒度较粗等。【结论】 基于 LSTM 模型的中文图书分类系统具有预处理简单、增量学习、可迁移性高等优点, 具备可行性和实用性。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-11-29 合作期刊: 《计算机应用研究》
摘要: 基于循环神经网络结合句法结构的方法被广泛运用于关系分类,利用神经网络对输入的编码信息自动获取特征并实现关系分类;然而,目前已有的方法主要是基于单一特定句法结构的模型,而特定句法结构的模型不能够迁移到其他句法结构类型上。针对该问题,提出一种融合多句法结构的叠层循环神经网络模型。该叠层循环神经网络分为两层进行网络构建,首先在序列层进行实体预训练,通过Bi-LSTM-CRF融合Attention机制,提高模型对文本序列上实体信息的关注度,从而获取更加准确的实体特征信息,促进关系层阶段更好地分类;其次在关系层,将Bi-Tree-LSTM嵌套在序列层之上,并将序列层的隐状态与实体特征信息传入关系层,利用共享参数对三种不同的句法结构进行加权学习,通过端到端的模型训练并实现语义关系分类。实验结果表明,该模型在SemEval-2010 Task8语料库上的marco-F1值达到了85.9%,并进一步地提升了模型的鲁棒性。