分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2018-08-13 合作期刊: 《计算机应用研究》
摘要： 文本向量化是文本分类的基础，特征权重是直接影响文本向量表示质量的重要因素之一。基于类别信息的特征权重计算方法对特征与类别的关系表达不够准确，即对于类别频率相同的特征无法比较其对类别的区分能力，因此要考虑特征在类内的分布情况。将特征的反类别频率（inverse category frequency，ICF）和类内熵（entropy）相结合引入到特征权重计算方案中，构造了两种有监督特征权重计算方案。在维吾尔文文本分类语料上进行的实验结果表明，该方法能够明显改善样本的空间分布状态并提高维吾尔文文本分类的微平均F1值。
分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2018-05-18 合作期刊: 《计算机应用研究》
摘要： 针对维吾尔文网页论坛中的文本过滤问题，提出一种基于术语选择和Rocchio分类器的文本过滤方法。首先，将论坛文本进行预处理以删除无用词，并基于N-gram 统计模型进行词干(术语)提取；然后，提出一种均衡考虑相关性和冗余性的均衡型互信息术语选择方法(BMITS)，对初始术语集合进行降维，获得精简术语集；最后，将文本特征术语作为输入，通过Rocchio分类器进行分类，以此过滤掉论坛中的不良文本。在相关数据集上的实验结果表明，提出的方法能够准确地识别出不良类型文本，具有有效性。
分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2018-04-17 合作期刊: 《计算机应用研究》
摘要： 针对以维吾尔语书写的文档间的相似性计算及剽窃检测问题，提出了一种基于内容的维吾尔语剽窃检测(U-PD)方法。首先，通过预处理阶段对维吾尔语文本进行分词、删除停止词、提取词干和同义词替换，其中提取词干是基于N-gram 统计模型实现；然后，通过BKDRhash算法计算每个文本块的hash值并构建整个文档的hash指纹信息；最后，根据hash指纹信息，基于RKR-GST匹配算法在文档级、段落级和句子级将文档与文档库进行匹配，获得文档相似度，以此实现剽窃检测。通过在维吾尔语文档中的实验评估表明，提出的方法能够准确检测出剽窃文档，具有可行性和有效性。
点击量
点击量
下载量
评论
