ChatGPT生成与学者撰写文献摘要的对比研究——以信息资源管理领域为例

摘要: 目的/意义 探究ChatGPT生成与学者撰写的中文论文摘要之间的异同，并分析二者之间的内容特征差异，为AI生成学术论文检测及相关研究提供借鉴。 方法/过程 首先，以信息资源管理领域为例，分别抽取了图书馆学、情报学、档案学近三年各500篇高被引论文，基于获取的论文题目采用Prompt方式应用ChatGPT工具生成对应的摘要文本，构建数据集合；其次，采用了9种机器学习及深度学习算法对ChatGPT生成与学者撰写的摘要文本进行分类检测；最后，从文本特征、主题模型、ROUGE评测对二者的异同进行多角度分析，从而揭示二者之间的异同点。 结果/结论 基于数据集所训练的主流机器学习及深度学习算法可以有效地分辨摘要是AI生成还是学者撰写，其中BERT和ERNIE的效果最好，而机器学习算法中RF和Xgboost效果最好。ChatGPT生成的摘要字符数量、句子数量较学者撰写的要多，关键词多为模版化的转折性词语；两者的文本主题大部分相同，在“学科体系”、“数字人文”等主题上存在差异；ROUGE及余弦相似度定量分析表明ChatGPT生成的摘要与学者撰写的摘要文本存在明显的“形似”而非“神似”的现象。