«上一篇/Previous Article|本期目录/Table of Contents|下一篇/Next Article»

《计算机技术与发展》[ISSN:1006-6977/CN:61-1281/TN]

卷:

期数:

2012年05期

页码:

134-136

栏目:

智能、算法、系统工程

出版日期:

1900-01-01

文章信息/Info

Title:

Research on New Word Identification Based on SVM and Word Characteristics

文章编号:

1673-629X（2012）05-0134-03

作者:

徐远方 李成城

内蒙古师范大学计算机与信息工程学院

Author(s):

XU Yuan-fang;  LI Cheng-cheng

School of Computer ＆ Information, Inner Mongolia Normal University

关键词:

自然语言处理; 支持向量机; 新词识别; 词间特征

Keywords:

natural language processing;  support vector machine;  new word recognition ;  word feature

分类号:

TP301

文献标志码:

A

摘要:

中文分词的难点在于处理歧义和识别未登录词，因此对新词的正确识别具有重要作用。文中结合提出的新词测间模式特征以及各种词内部模式特征，对从训练语料中抽取正负样本进行向量化，通过支持向量机的训练得到新词分类支持向量。对测试语料结合绝对折扣法进行新词候选的提取与筛选，并与洲练语料中提取的词间模式特征以及各种词内部模式特征进行向量化，得到新词候选向量，最后将训练语料中得到的新词分类支持向量以及对测试语料中得到的新洲候选向量结合进行SVM测试，得到最终的新词识别结果

Abstract:

Chinese word segmentation is difficult to deal with ambiguity and unknown words recognition. Propose the new word mode features as well as various word internal patterns from the training corpus of positive and negative samples to quantify extraction, and then through the training of support vector machine get new support vector classification. On the test corpus with absolute discounting method new candidate is extracted and selected,and with the training corpus to extract word patterns to quantify according to the new classifica- tion support vector on the SVM test,through a portion of the rule falter to get the final word recognition results

备注/Memo

备注/Memo:

国家自然科学基金项目（2002AA117010-07）;内蒙古师范大学校基金（GCRC09001,ZRYB08018）徐远方（1986-），男，硕士研究生，研究方向为自然语言处理；李成城，博士，副教授，研究方向为自然语言处理、自动文摘

常用功能

更新日期/Last Update: 1900-01-01