[1]李丰翼,刘万里,杨晓辉,等.基于多头自注意力机制与 CNN 的文本分类模型[J].计算机技术与发展,2022,32(S1):18-20.[doi:10. 3969 / j. issn. 1673-629X. 2022. S1. 004]
　LI Feng-yi,LIU Wan-li,YANG Xiao-hui,et al.Text Classification Model Based on Multi-headed Self-attention Mechanism and CNN[J].,2022,32(S1):18-20.[doi:10. 3969 / j. issn. 1673-629X. 2022. S1. 004]
点击复制

基于多头自注意力机制与 CNN 的文本分类模型()
分享到：

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:
32
期数:
2022年S1期
页码:
18-20
栏目:
大数据分析与挖掘
出版日期:
2022-12-11

文章信息/Info

Title:
Text Classification Model Based on Multi-headed Self-attention Mechanism and CNN
文章编号:
1673-629X(2022)S1-0018-03
作者:
李丰翼1 ; 刘万里2 ; 杨晓辉2 ; 黄玉珍2
1. 南京理工大学,江苏 南京 210000
2. 南京市中西医结合医院,江苏 南京 210094
Author(s):
LI Feng-yi1 ; LIU Wan-li2 ; YANG Xiao-hui2 ; HUANG Yu-zhen2
1. Nanjing University of Science and Technology,Nanjing 210000,China;
2. Nanjing Intersection Hospital,Nanjing 210094,China
关键词:
自然语言处理; 文本分类; 神经网络; 自注意力机制; 卷积神经网络
Keywords:
natural language processing; text classification; neural network; self-attention mechanism; convolutional neural network
分类号:
TP391. 1
DOI:
10. 3969 / j. issn. 1673-629X. 2022. S1. 004
摘要:
在大数据时代下,每时每刻都产生着大量的数据,如何将这海量的数据加以利用,给人们的生活带来更多的便利是当下各大互联网公司重点研究的方向。 文本数据是海量数据中的主要组成部分,因此如何处理文本数据是学者们研究的热点之一。 对文本的处理任务主要包含文本分类、语义分析、实体命名、文本翻译等,传统处理这些任务的方式是使用机器学习方法,随着深度学习的兴起,学者们开始使用神经网络技术来处理文本,并取得了更好的效果。 该文在前人研究的基础上提 出 了 一 种 基 于 多 头 自 注 意 力 机 制 与 卷 积 神 经 网 络 的 长 文 本 分 类 模 型 ( MHA - CNN) 。 在 此 模 型 中, 将Transformer 中多头自注意力机制与多层 CNN 结合使用,提取不同维度的文本特征,再连接 Dependency Tree-LSTM 进行文本分类。 通过实验证明,该模型相较于单个模型有一定的提升。
Abstract:
In the era of big data,a large amount of data is generated every moment. How to make use of the massive data to bring moreconvenience to people’s life is the focus of research of major Internet companies at present. Text data is the main part of mass data,sohow to deal with text data is one of the hot topics in scholars爷 research. Text processing tasks mainly include text classification,semanticanalysis,entity naming, text translation, etc. Traditionally, machine learning is used to deal with these tasks. With the rise of deeplearning,scholars begin to use neural network technology to process text and achieve better results. In this paper,we propose a long textclassification model ( MHA-CNN) based on multi - head self - attention mechanism and convolutional neural network. In this model,multi-head self-attention mechanism in transformer is combined with multi-layer CNN to extract text features of different dimensionsand then link dependency tree-LSTM for text classification. The experimental results show that the model is better than a single model.

相似文献/References:

[1]田昕辉 李成基.带有短语切分的中文文本分类方法[J].计算机技术与发展,2010,(01):5.
　TIAN Xin-hui,LEE Sung-kee.Phrase Segmentation for Chinese Text Classification[J].,2010,(S1):5.
[2]姜鹤 陈丽亚.SVM文本分类中一种新的特征提取方法[J].计算机技术与发展,2010,(03):17.
　JIANG He,CHEN Li-ya.A New Feature Selection Method in SVM Text Categorization[J].,2010,(S1):17.
[3]周瑛 张铃.有限混合模型在文本分类中的应用研究[J].计算机技术与发展,2010,(06):18.
　ZHOU Ying,ZHANG Ling.Study of Application of Finite Mixture Model in Text Classification[J].,2010,(S1):18.
[4]许幸 张启蕊.基于KNN算法的医药信息文本分类系统的研究[J].计算机技术与发展,2009,(04):206.
　XU Xing,ZHANG Qi-rui.Research of Medical Information Text Categorization Based on KNN Algorithm[J].,2009,(S1):206.
[5]陈锦禾 范新 沈闻 沈洁.基于情感词识别的BBS情感分类研究[J].计算机技术与发展,2009,(07):120.
　CHEN Jin-he,FAN Xin,SHEN Wen,et al.Research on Sentiment Classification of BBS Reviews Based on Identifying Words with Polarity[J].,2009,(S1):120.
[6]刘锋 唐佳 仲红.一种基于RBF神经网络的XML文本分类方法[J].计算机技术与发展,2009,(08):34.
　LIU Feng,TANG Jia,ZHONG Hong.A Text Categorization Method Based on RBF Neural Network[J].,2009,(S1):34.
[7]晋幼丽 周明全 王学松.SVM和K-means结合的文本分类方法研究[J].计算机技术与发展,2009,(11):35.
　JIN You-li,ZHOU Ming-quan,WANG Xue-song.Research on Text Classification Method of SVM and K - means[J].,2009,(S1):35.
[8]张燕平 徐庆鹏 苏守宝 邢猛.一种基于贪婪覆盖的文本分类方法[J].计算机技术与发展,2009,(01):74.
　ZHANG Yan-ping,XU Qing-peng,SU Shou-bao,et al.A Text Categorization Method Based on Greedy Cover[J].,2009,(S1):74.
[9]陈素萍 谢丽聪.一种文本特征选择方法的研究[J].计算机技术与发展,2009,(02):112.
　CHEN Su-ping,XIE Li-cong.Research on Document Feature Selection[J].,2009,(S1):112.
[10]于水英 丁华福 付志超.基于遗传算法和模糊聚类的文本分类研究[J].计算机技术与发展,2009,(04):131.
　YU Shui-ying,DING Hua-fu,FU Zhi-chao.Study on Text Categorization Based on Genetic Algorithm and Fuzzy Clustering[J].,2009,(S1):131.
[11]张 影,方贤进,杨高明.面向自然语言处理领域的对抗样本生成方法[J].计算机技术与发展,2023,33(03):98.[doi:10. 3969 / j. issn. 1673-629X. 2023. 03. 015]
　ZHANG Ying,FANG Xian-jin,YANG Gao-ming.Adversarial Examples Generation Method for Natural Language Processing[J].,2023,33(S1):98.[doi:10. 3969 / j. issn. 1673-629X. 2023. 03. 015]

更新日期/Last Update: 2022-06-10