分类： 图书馆学、情报学 >> 情报检索 提交时间： 2023-08-28
摘要： 目的/意义 探究ChatGPT生成与学者撰写的中文论文摘要之间的异同，并分析二者之间的内容特征差异，为AI生成学术论文检测及相关研究提供借鉴。 方法/过程 首先，以信息资源管理领域为例，分别抽取了图书馆学、情报学、档案学近三年各500篇高被引论文，基于获取的论文题目采用Prompt方式应用ChatGPT工具生成对应的摘要文本，构建数据集合；其次，采用了9种机器学习及深度学习算法对ChatGPT生成与学者撰写的摘要文本进行分类检测；最后，从文本特征、主题模型、ROUGE评测对二者的异同进行多角度分析，从而揭示二者之间的异同点。 结果/结论 基于数据集所训练的主流机器学习及深度学习算法可以有效地分辨摘要是AI生成还是学者撰写，其中BERT和ERNIE的效果最好，而机器学习算法中RF和Xgboost效果最好。ChatGPT生成的摘要字符数量、句子数量较学者撰写的要多，关键词多为模版化的转折性词语；两者的文本主题大部分相同，在学科体系、数字人文等主题上存在差异；ROUGE及余弦相似度定量分析表明ChatGPT生成的摘要与学者撰写的摘要文本存在明显的形似而非神似的现象。
分类： 图书馆学、情报学 >> 情报学 提交时间： 2023-04-01 合作期刊: 《图书情报工作》
摘要： [目的/意义] 论文摘要是信息组织的重要标引对象，将论文摘要按一定结构进行标引有利于科学传播、知识发现和情报分析。如何对现有非结构式摘要进行精准快速的自动标引是亟待解决的现实问题。[方法/过程] 假定不同类别的摘要具有内在一致性，即对结构式摘要的研究可为非结构式摘要自动标引提供方法和技术参考。据此，基于美国国家医学图书馆结构要素标签术语集和标签分类映射关系，提出结构要素BOMRC体系和结构式摘要的识别与规范化标引方法。其次选取研究样本并采用文本挖掘方法对样本语料中的单词、动词、三词词块、四词词块等词汇进行词频、TFIDF值等多个指标的定量统计分析，构建能够进行结构要素识别的语义特征词典。最后利用非结构式摘要测试集进行语义特征词典有效性检验。[结果/结论] 结果显示，利用语义特征词典方法能够有效识别非结构式摘要的各类要素，并可用于优化以机器学习方法为核心的自动识别模型。
点击量
待评议
点击量
下载量
评论
