[1]陈 珂,周浩轩,王国权.基于预训练模型与记忆卷积网络的立场检测研究[J].计算机技术与发展,2023,33(08):180-185.[doi:10. 3969 / j. issn. 1673-629X. 2023. 08. 026]
 CHEN Ke,ZHOU Hao-xuan,WANG Guo-quan.Study of Stance Detection Based on Pre-training Model and Memory Convolution Network[J].,2023,33(08):180-185.[doi:10. 3969 / j. issn. 1673-629X. 2023. 08. 026]
点击复制

基于预训练模型与记忆卷积网络的立场检测研究()
分享到:

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
33
期数:
2023年08期
页码:
180-185
栏目:
新型计算应用系统
出版日期:
2023-08-10

文章信息/Info

Title:
Study of Stance Detection Based on Pre-training Model and Memory Convolution Network
文章编号:
1673-629X(2023)08-0180-06
作者:
陈 珂1 周浩轩2 王国权1
1. 广东石油化工学院 计算机学院,广东 茂名 525000;
2. 东莞长城开发科技有限公司,广东 东莞 523000
Author(s):
CHEN Ke1 ZHOU Hao-xuan2 WANG Guo-quan1
1. School of Computer Science and Technology,Guangdong University of Petrochemical Technology,Maoming 525000,China;
2. Dongguan Great Wall Development Technology Co. ,Ltd. ,Dongguan 523000,China
关键词:
立场分析最优字维度判定BERT长短时记忆卷积神经网络
Keywords:
stance detectiondetermination of optimal word dimensionBERTlong and short term memoryconvolutional neural network
分类号:
TP391. 4
DOI:
10. 3969 / j. issn. 1673-629X. 2023. 08. 026
摘要:
立场检测研究旨在研究特定文本针对特定话题所表达的支持、中立或反对立场,在以往的中文文本立场分析研究方法中,未关注文本结构间的依赖关系, 且评论文本所隐含的立场往往是隐晦和不敏感的。 该文提出了基于双向Transformer 的大 规 模 预 训 练 语 言 模 型 BERT ( Bidirectional Encoder Representation from Transformers) 和 长 短 时 记 忆(LSTM) 以及卷积神经网络( CNN)相结合的立场分析方法来解决这个问题,同时,为解决 BERT 模型针对不同数据样本输入向量维度不一所导致的误差,提出了一种最优字个数维度判定算法对 BERT 模型输入进行分析。 模型搭建上创新地采用并行输入输出的方法,充分利用了 LSTM 的全局特征提取和 CNN 的局部特征提取的优势,并且所用 BERT 模型更能对隐晦特征及不敏感特征进行提取,利用这一方法可以有效地判定不同目标对某一特定话题所表达的支持、中立或者反对立场。 经过对比传统模型以及现有立场分析方法表明,所提模型拥有较好的性能,其 F1 值达到 0. 883。
Abstract:
The research of stance detection aims to study the support, neutrality or opposition expressed by specific texts on specifictopics. In the previous research?
on the stance detection of Chinese texts,the dependence between text structures was not paid attention to,and the stance implied in the comment text was often obscure and insensitive. We propose a stance detection method combiningBidirectional Encoder Representation from Transformers,Long Short Time Memory ( LSTM) and Convolutional Neural Network ( CNN)to solve this problem. We propose an optimal word number dimension determination algorithm to analyze the input of BERT model. Onthe model construction,the parallel input and output method is used innovatively, making full use of the advantages of LSTM globalfeature extraction and CNN local feature extraction. The BERT model can extract more obscure features and insensitive features. Thismethod can effectively determine the support,neutrality or opposition expressed by different targets for a specific topic. Compared withtraditional models and existing stance detection methods,the proposed model has excellent performance,and its F1 value reaches 88. 3% .
更新日期/Last Update: 2023-08-10