首页 / 文本分类方法和装置

文本分类方法和装置有效专利 发明

技术领域

[0001] 本发明涉及电子组织归类领域,特别涉及一种文本分类方法和装置。

相关背景技术

[0002] 文本分类是指计算机将一篇文本归于预先给定的某一类或某几类的过程。通常,在对文本进行人工分类的时候,如果判断一个文本属于哪一类或者是获取文本所传达的信息时,往往并不需要通读全文以确定文本的主题进而得到正确的判断,而是对某一个或某几个段落进行阅读。这是因为一个作者在撰写文本时,通常会将对一个事物特定方面的描述语句放在一个自然段中,也就是说,对于文本主题的表达或类别的暗示而言,段落通常是与主题相关的单元,而段内的句子之间则存在较强的相关性。
[0003] 现有技术中的文本分类方法是基于孤立的特征词进行文本表示的,因此得出的文本向量中包括的信息量较少,从而使得根据文本向量得出的文本分类器获取到的文本的信息量也较少。因此,现有技术中,采用上述文本分类器对待分类文本向量进行文本分类时,导致文本分类的准确率和召回率较低。

具体实施方式

[0078] 为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图对本发明提供的文本分类方法和装置进行详细描述。
[0079] 图1为本发明实施例一提供的一种文本分类方法的流程图,如图1所示,该方法包括:
[0080] 步骤101、根据训练集文本的特征词对和与训练集文本的特征词对对应的训练集文本的特征词对的权重,生成训练集文本向量。
[0081] 步骤102、对训练集文本向量进行训练,得出文本分类器。
[0082] 步骤103、根据待分类文本的特征词对和与待分类文本的特征词对对应的待分类文本的特征词对的权重,生成待分类文本向量。
[0083] 本实施例中,待分类文本的特征词对为多个。
[0084] 步骤104、通过文本分类器对所述待分类文本向量进行分类,得出分类结果。
[0085] 其中,得出的分类结果为待分类文本的分类结果。
[0086] 可以理解的是,本实施例中各步骤的执行顺序可根据需要进行变更,例如:步骤103可在步骤102之前执行。
[0087] 本实施例提供的文本分类方法的技术方案中,训练集文本向量是根据训练集文本的特征词对和训练集文本的特征词对的权重得出的,待分类文本向量是根据待分类文本的特征词对和待分类文本的特征词对的权重得出的,使得训练集文本向量以及待分类文本向量中均包括了特征词对和特征词之间的关联信息,丰富了文本向量中携带的信息量,从而提高了文本分类的准确率和召回率。
[0088] 图2为本发明实施例二提供的一种文本分类方法的流程图,如图2所示,该方法包括:
[0089] 步骤201、从训练集文本中获取训练集文本的特征词。
[0090] 具体地,步骤201可包括:
[0091] 步骤2011、对训练集文本的自然段进行划分得出训练文本块,并为训练文本块设置块标记。
[0092] 每个训练集文本包括若干个自然段,每个自然段对应于一个段标记,该段标记用于标识该自然段。其中,段标记可以为段号。
[0093] 以自然段中的标点为边界对该自然段进行划分得出训练文本块,并为每个划分出的训练文本块设置一个块标记,该块标记用于标识该训练文本块。其中,块标记可以为块号。
[0094] 步骤2012、对训练文本块进行分词处理和去停用词处理,得出训练集文本的待处理特征词。
[0095] 本步骤中,分词处理可以为:中/英文分词处理,在实际应用中还可以采用其它分词处理方法对训练文本块进行分词处理,此处不再一一列举。其中,对训练文本块进行分词处理和去停用词处理后可得出训练集文本的全部特征词,即:训练集文本的待处理特征词。
[0096] 步骤2013、通过特征词提取方法,从训练集文本的待处理特征词中提取出训练集文本的特征词。
[0097] 优选地,特征词提取方法可包括:基于互信息量(Mutual Information)法、卡方(Chi-square)法或者相关频率(relevance frequency,简称:RF)法,在实际应用中还可以采用其它特征词提取方法从训练集文本的待处理特征词中提取出训练集文本的特征词,此处不再一一列举。
[0098] 本步骤通过上述特征词提取方法,从全部的训练集文本的待处理特征词中提取出若干个训练集文本的待处理特征词,提取出的训练集文本的待处理特征词为训练集文本的特征词ti,i=1,2,…。其中,同一训练集文本的特征词可在训练文本块出现一次或者多次。
[0099] 本实施例中,每个训练集文本的特征词对应于一个特征词标记,该特征词标记用于标识该训练集文本的特征词。该特征词标记可包括:段标记和块标记,其中段标记可用于标识该训练集文本的特征词所在的段落,该块标记可用于标识该训练集文本的特征词所在的训练文本块。也就是说,该特征词标记可用于标识该训练集文本的特征词在训练集文本中的位置。
[0100] 步骤202、通过特征词权重量化方法计算出训练集文本的特征词的权重。
[0101] 优选地,特征词权重量化方法可包括:反向文档频率(Inverse Document Frequency,简称:IDF)法、卡方(Chi-square)法、相关频率法或者几率比(Odd Ratio,简称:OR)法,在实际应用中还可以采用其它特征词权重量化方法计算出训练集文本的特征词的权重,此处不再一一列举。
[0102] 通过特征词权重量化方法可计算出每个训练集文本的特征词ti的权重wi。
[0103] 步骤203、根据训练集文本的特征词的权重,对训练集文本的特征词进行组合形成训练集文本的特征词对,所述训练集文本的特征词对形成训练集文本的特征词对集合。
[0104] 本步骤中,训练集文本的特征词对可形成训练集文本的特征词对集合,形成的训练集文本的特征词对集合中包括上述训练集文本的特征词对。
[0105] 本步骤具体可包括:
[0106] 步骤2031、获取与某一训练集文本的特征词ti位于同一自然段不同训练文本块中的权重最大的另一训练集文本的特征词tj。
[0107] 本步骤中,可根据训练集文本的特征词ti的特征词标记和训练集文本的特征词tj的特征词标记,获取与某一训练集文本的特征词ti位于同一自然段不同训练文本块中的权重最大的另一训练集文本的特征词tj。其中,特征词标记可包括:段标记和块标记。获取到的权重最大的另一训练集文本的特征词tj的数量可以为一个或者多个,其中,多个另一训练集文本的特征词tj均具有最大权重,也就是说,该多个另一训练集文本的特征词tj的权重最大且相同。
[0108] 步骤2032、将某一训练集文本的特征词ti与权重最大的另一训练集文本的特征词tj进行组合,形成训练集文本的特征词对(titj)d,d=1,2,…。
[0109] 特别地,若步骤2031中获取到的权重最大的另一训练集文本的特征词tj的数量可以为多个时,则本步骤具体可包括:从获取到的多个权重最大的另一训练集文本的特征词tj中选取距离某一训练集文本的特征词ti最近的另一训练集文本的特征词tj,并将某一训练集文本的特征词ti与距离某一训练集文本的特征词ti最近的另一训练集文本的特征词tj进行组合,形成训练集文本的特征词对(titj)d。
[0110] 步骤204、根据训练集文本的特征词对中的训练集文本的特征词的权重,得出训练集文本的特征词对的原始权重。
[0111] 本步骤具体可包括:从训练集文本的特征词对中的训练集文本的特征词的权重中选取较小的权重作为训练集文本的特征词对的原始权重。具体地,从训练集文本的特征词对(titj)d中的训练集文本的特征词ti的权重和训练集文本的特征词tj的权重中选取较小的权重作为训练集文本的特征词对(titj)d的原始权重wd。
[0112] 步骤205、根据训练集文本的特征词对中的训练集文本的特征词之间的块间隔数,生成训练集文本的特征词对的权重系数。
[0113] 具体地,可通过公式 对训练集文本的特征词之间的块间隔数进行计算处理得出训练集文本的特征词对的权重系数,其中,hd为训练集文本的特征词之间的块间隔数,f(hd)为训练集文本的特征词对的权重系数。其中,训练集文本的特征词之间的块间隔数可以为训练集文本的特征词对中训练集文本的特征词所在的训练文本块之间的最小间隔,例如:若训练集文本的特征词ti和训练集文本的特征词tj在同一自然段中均出现一次时,则训练集文本的特征词之间的块间隔数可通过如下公式表示:hd=|pos(ti)-pos(tj)|,其中,pos(ti)为训练集文本的特征词ti所在训练文本块的块标记,pos(tj)为训练集文本的特征词tj所在训练文本块的块标记,此种情况下,|pos(ti)-pos(tj)|即为最小间隔;若训练集文本的特征词ti和训练集文本的特征词tj在同一自然段中出现多次时,可通过|pos(ti)-pos(tj)|计算出每两个训练集文本的特征词ti和训练集文本的特征词tj之间的间隔,并从计算出的间隔中选取出最小间隔,该最小间隔即为训练集文本的特征词之间的块间隔数。其中,hd≥1。
[0114] 步骤206、根据训练集文本的特征词对的权重系数和训练集文本的特征词对的原始权重,生成训练集文本的特征词对的权重。
[0115] 具体地,可将训练集文本的特征词对的权重系数和训练集文本的特征词对的原始权重相乘,得出训练集文本的特征词对的权重。可通过如下公式表示:训练集文本的特征词对的权重wd′=f(hd)*wd。
[0116] 步骤207、根据训练集文本的训练集文本的特征词对和训练集文本的特征词对的权重,生成训练集文本向量。
[0117] 其中,生成的训练集文本向量可包括:训练集文本的特征词对和训练集文本的特征词对的权重。
[0118] 步骤208、对训练集文本向量进行训练,得出文本分类器。
[0119] 具体地,可采用分类算法对训练集文本向量进行训练,得出文本分类器。其中,分类算法可以为任何支持文本向量模型的分类算法,优选地,该分类算法可以包括:支持向量机算法、神经网络算法或者贝叶斯算法。
[0120] 步骤209、从待分类文本中获取待分类文本的待处理特征词。
[0121] 具体地,步骤209可包括:
[0122] 步骤2091、对待分类文本的自然段进行划分得出待分类文本块,并为训练文本块设置块标记。
[0123] 每个待分类文本包括若干个自然段,每个自然段对应于一个段标记,该段标记用于标识该自然段。其中,段标记可以为段号。
[0124] 以自然段中的标点为边界对该自然段进行划分得出待分类文本块,并为每个划分出的待分类文本块设置一个块标记,该块标记用于标识该待分类文本块。其中,块标记可以为块号。
[0125] 步骤2092、对待分类文本块进行分词处理和去停用词处理,得出待分类文本的待处理特征词。
[0126] 本步骤中,分词处理可以为:中/英文分词处理,在实际应用中还可以采用其它分词处理方法对待分类文本块进行分词处理,此处不再一一列举。其中,对待分类文本块进行分词处理和去停用词处理后可得出全部的待分类文本的待处理特征词。
[0127] 步骤210、将待分类文本的待处理特征词与训练集文本的特征词进行比较,保留与训练集文本的特征词相同的待分类文本的待处理特征词以得出待分类文本的特征词。
[0128] 本步骤中,将待分类文本的待处理特征词与训练集文本的特征词进行比较后,若存在与训练集文本的特征词不同的待分类文本的待处理特征词,则去除与训练集文本的特征词不同的待分类文本的待处理特征词,并保留与训练集文本的特征词相同的待分类文本的待处理特征词,保留的与训练集文本的特征词相同的待分类文本的待处理特征词为待分类文本的特征词。
[0129] 步骤211、根据待分类文本的特征词的权重,对待分类文本的特征词进行组合形成待分类文本的待处理特征词对,待分类文本的特征词的权重为与该待分类文本的特征词相同的训练集文本的特征词的权重。
[0130] 本步骤具体可包括:
[0131] 步骤2111、获取与某一待分类文本的特征词ti位于同一自然段不同待分类文本块中的权重最大的另一待分类文本的特征词tj。
[0132] 本步骤中,可根据待分类文本的特征词ti的特征词标记和待分类文本的特征词tj的特征词标记,获取与某一待分类文本的特征词ti位于同一自然段不同待分类文本块中的权重最大的另一待分类文本的特征词tj。其中,特征词标记可包括:段标记和块标记。获取到的权重最大的另一待分类文本的特征词tj的数量可以为一个或者多个,其中,多个另一待分类文本的特征词tj均具有最大权重,也就是说,该多个另一待分类文本的特征词tj的权重最大且相同。
[0133] 步骤2112、将某一待分类文本的特征词ti与权重最大的另一待分类文本的特征词tj进行组合,形成待分类文本的待处理特征词对(titj)e,e=1,2,…。
[0134] 特别地,若步骤2111中获取到的权重最大的另一待分类文本的特征词tj的数量可以为多个时,则本步骤具体可包括:从获取到的多个权重最大的另一待分类文本的特征词tj中选取距离某一待分类文本的特征词ti最近的另一待分类文本的特征词tj,并将某一待分类文本的特征词ti与距离某一待分类文本的特征词ti最近的另一待分类文本的特征词tj进行组合,形成待分类文本的待处理特征词对(titj)e。
[0135] 步骤212、将待分类文本的待处理特征词对与训练集文本的特征词对进行比较,保留与训练集文本的特征词对相同的待分类文本的待处理特征词对得出待分类文本的特征词对。
[0136] 本步骤中,将待分类文本的待处理特征词对与训练集文本的特征词对进行比较后,若存在与训练集文本的特征词对不同的待处理词对,则去除与训练集文本的特征词对不同的待分类文本的待处理特征词对,并保留与训练集文本的特征词对相同的待分类文本的待处理特征词对,保留的与训练集文本的特征词对相同的待分类文本的待处理特征词对为待分类文本的特征词对。
[0137] 步骤213、根据待分类文本的特征词对中的待分类文本的特征词的权重,得出待分类文本的特征词对的原始权重。
[0138] 本步骤具体可包括:从待分类文本的特征词对中的待分类文本的特征词的权重中选取较小的权重作为待分类文本的特征词对的原始权重。具体地,从待分类文本的特征词对(titj)e中的待分类文本的特征词ti的权重和待分类文本的特征词tj的权重中选取较小的权重作为待分类文本的特征词对(titj)e的原始权重we。
[0139] 步骤214、根据待分类文本的特征词对中的待分类文本的特征词之间的块间隔数,生成待分类文本的特征词对的权重系数。
[0140] 具体地,可通过公式 对待分类文本的特征词之间的块间隔数进行计算处理得出待分类文本的特征词对的权重系数,其中,he为待分类文本的特征词之间的块间隔数,f(he)为待分类文本的特征词对的权重系数。其中,待分类文本的特征词之间的块间隔数可以为待分类文本的特征词对中待分类文本的特征词所在的待分类文本块之间的最小间隔,例如:若待分类文本的特征词ti和待分类文本的特征词tj在同一自然段中均出现一次时,则待分类文本的特征词之间的块间隔数可通过如下公式表示:he=|pos(ti)-pos(tj)|,其中,pos(ti)为待分类文本的特征词ti所在待分类文本块的块标记,pos(tj)为待分类文本的特征词tj所在待分类文本块的块标记,此种情况下,|pos(ti)-pos(tj)|即为最小间隔;若待分类文本的特征词ti和待分类文本的特征词tj在同一自然段中出现多次时,可通过|pos(ti)-pos(tj)|计算出每两个待分类文本的特征词ti和待分类文本的特征词tj之间的间隔,并从计算出的间隔中选取出最小间隔,该最小间隔即为待分类文本的特征词之间的块间隔数。其中,he≥1。
[0141] 步骤215、根据待分类文本的特征词对的权重系数和待分类文本的特征词对的原始权重,生成待分类文本的特征词对的权重。
[0142] 具体地,可将待分类文本的特征词对的权重系数和待分类文本的特征词对的原始权重相乘,得出待分类文本的特征词对的权重。可通过如下公式表示:待分类文本的特征词对的权重we′=f(he)*we。
[0143] 步骤216、根据待分类文本的特征词对和待分类文本的特征词对的权重,生成待分类文本向量。
[0144] 其中,生成的待分类文本向量可包括:多个特征词对和与每个特征词对对应的特征词对的权重。多个特征词对可包括:与训练集文本的特征词对相同的特征词对,换言之,多个特征词对可包括:全部训练集文本的特征词对。其中,与训练集文本的特征词对相同的特征词对可包括:待分类文本的特征词对和待分类文本之外的特征词对,其中,待分类文本之外的特征词对为未在待分类文本中出现而仅在训练集文本中出现的特征词对。
[0145] 与每个特征词对对应的特征词对的权重可包括:与待分类文本的特征词对对应的权重和与待分类文本之外的特征词对对应的权重。其中,与待分类文本的特征词对对应的权重为待分类文本的特征词对的权重,与待分类文本之外的特征词对对应的权重为0。
[0146] 步骤217、通过文本分类器对待分类文本向量进行分类,得出分类结果。
[0147] 可以理解的是,本实施例中各步骤的执行顺序可根据需要进行变更。
[0148] 本实施例的本质是通过引入特征词对及词对权重,在原有的孤立的特征词中附加了文本的逻辑关系,以丰富文本向量中包含的信息量,从而使文本分类的准确率和召回率等指标比现有技术均有较大幅度的提高,进而提高了文本分类的效果。本实施例中,将文本内容通过段落和标点进行划分和标记后,利用同一自然段中的特征词来构成特征词对,以描述特征词在段落中的关联性,阐释段落文本的关联信息,也即是说,本实施例将文本中同段落句子的关联性,转换为从文本向量对文本信息的表达能力提升的角度来提高文本分类器的分类效果。本实施例采用了灵活的文本块划分方式,适宜处理任意长的文本,从而能最大程度的节省文本分类器对存储资源的占用;并且划分和标记直接采用了文本的段落和标点,从而极大的节约了文本块划分及后续分类所需的时间。同时,采用本实施例的基于关联的特征词对的表达模式,能解决传统方法本质上单纯的基于孤立的特征词所存在的表达模式单一而导致的文本向量的信息量不足的问题。
[0149] 一个文本所传达的信息量至少包含了组成文本的特征词所携带的信息和特征词之间的关联信息两个部分,本实施例实现了一种基于文本划分和关联的特征词对的文本分类方法,将处于一个自然段中的特征词按一定规则组成特征词对,并给出了一个基于位置的词对权重公式,以保留自然段中特征词的关联性,从而丰富了文本向量表示的信息量。
[0150] 本实施例提供的文本分类方法的技术方案中,训练集文本向量是根据训练集文本的特征词对和训练集文本的特征词对的权重得出的,待分类文本向量是根据待分类文本的特征词对和待分类文本的特征词对的权重得出的,使得训练集文本向量以及待分类文本向量中均包括了特征词对和特征词之间的关联信息,丰富了文本向量中携带的信息量,从而提高了文本分类的准确率和召回率。
[0151] 图3为本发明实施例三提供的一种文本分类装置的结构示意图,如图3所示,该装置包括:第一生成模块11、训练模块12、第二生成模块13和分类模块14。
[0152] 第一生成模块11用于根据训练集文本的特征词对和与训练集文本的特征词对对应的训练集文本的特征词对的权重,生成训练集文本向量;训练模块12用于对所述训练集文本向量进行训练,得出文本分类器;第二生成模块13用于根据待分类文本的特征词对和与待分类文本的特征词对对应的待分类文本的特征词对的权重,生成待分类文本向量;分类模块14用于通过所述文本分类器对所述待分类文本向量进行分类,得出分类结果。
[0153] 本实施例提供的文本分类装置可用于实现上述实施例一提供的文本分类方法,对文本分类方法的具体描述可参见上述实施例一,此处不再赘述。
[0154] 本实施例提供的文本分类装置的技术方案中,训练集文本向量是根据训练集文本的特征词对和训练集文本的特征词对的权重得出的,待分类文本向量是根据待分类文本的特征词对和待分类文本的特征词对的权重得出的,使得训练集文本向量以及待分类文本向量中均包括了特征词对和特征词之间的关联信息,丰富了文本向量中携带的信息量,从而提高了文本分类的准确率和召回率。
[0155] 图4为本发明实施例四提供的一种文本分类装置的结构示意图,如图4所示,本实施例在上述实施例三的基础上还包括:获取模块15、计算模块16、组合模块17、第三生成模块18、第四生成模块19和第五生成模块20。获取模块15用于从训练集文本中获取训练集文本的特征词;计算模块16用于通过特征词权重量化方法计算出训练集文本的特征词的权重;组合模块17用于根据训练集文本的特征词的权重,对训练集文本的特征词进行组合形成训练集文本的特征词对,训练集文本的特征词对形成训练集文本的特征词对集合;第三生成模块18用于根据训练集文本的特征词对中的训练集文本的特征词的权重,得出训练集文本的特征词对的原始权重;第四生成模块19用于根据训练集文本的特征词对中的训练集文本的特征词之间的块间隔数,生成训练集文本的特征词对的权重系数;第五生成模块20用于根据训练集文本的特征词对的权重系数和训练集文本的特征词对的原始权重,生成训练集文本的特征词对的权重。
[0156] 具体地,获取模块15可包括:划分子模块151、分词子模块152和提取子模块153。划分子模块151用于对训练集文本的自然段进行划分得出训练文本块,并为训练文本块设置块标记;分词子模块152,用于对训练文本块进行分词处理和去停用词处理,得出训练集文本的待处理特征词;提取子模块153用于通过特征词提取方法,从训练集文本的待处理特征词中提取出训练集文本的特征词。
[0157] 具体地,组合模块17包括:获取子模块171和组合子模块172。获取子模块171用于获取与某一训练集文本的特征词位于同一自然段不同训练文本块中的权重最大的另一训练集文本的特征词;组合子模块172用于将某一训练集文本的特征词与权重最大的另一训练集文本的特征词进行组合,形成训练集文本的特征词对。
[0158] 具体地,第三生成模块18具体用于从训练集文本的特征词对中的训练集文本的特征词的权重中选取较小的权重作为训练集文本的特征词对的原始权重。
[0159] 具体地,第四生成模块19具体用于通过公式 对训练集文本的特征词之间的块间隔数进行计算处理得出训练集文本的特征词对的权重系数,其中,hd为训练集文本的特征词之间的块间隔数,f(hd)为训练集文本的特征词对的权重系数,训练集文本的特征词之间的块间隔数为训练集文本的特征词对中训练集文本的特征词所在的训练文本块之间的最小间隔。
[0160] 具体地,第五生成模块20具体用于将训练集文本的特征词对的权重系数和训练集文本的特征词对的原始权重相乘,得出训练集文本的特征词对的权重。
[0161] 进一步地,该装置还包括:第一比较模块21和第二比较模块22。获取模块15还用于从所述待分类文本中获取待分类文本的待处理特征词;第一比较模块21用于将待分类文本的待处理特征词与训练集文本的特征词进行比较,保留与训练集文本的特征词相同的待分类文本的待处理特征词以得出待分类文本的特征词;组合模块17还用于根据待分类文本的特征词的权重,对待分类文本的特征词进行组合形成待分类文本的待处理特征词对,所述待分类文本的特征词的权重为与该待分类文本的特征词相同的训练集文本的特征词的权重;第二比较模块22用于将待分类文本的待处理特征词对与训练集文本的特征词对进行比较,保留与训练集文本的特征词对相同的待分类文本的待处理特征词对得出待分类文本的特征词对;第三生成模块18还用于根据待分类文本的特征词对中的待分类文本的特征词的权重,得出待分类文本的特征词对的原始权重;第四生成模块19还用于根据待分类文本的特征词对中的待分类文本的特征词之间的块间隔数,生成待分类文本的特征词对的权重系数;第五生成模块20还用于根据待分类文本的特征词对的权重系数和待分类文本的特征词对的原始权重,生成待分类文本的特征词对的权重。
[0162] 具体地,划分子模块151还用于对待分类文本的自然段进行划分得出待分类文本块,并为待分类文本块设置块标记;分词子模块152还用于对待分类文本块进行分词处理和去停用词处理,得出待分类文本的待处理特征词。
[0163] 具体地,获取子模块171还用于获取与某一待分类文本的特征词位于同一自然段不同待分类文本块中的权重最大的另一待分类文本的特征词;组合子模块172还用于将某一待分类文本的特征词与权重最大的另一待分类文本的特征词进行组合,形成待分类文本的待处理特征词对。
[0164] 具体地,第三生成模块18具体还用于从待分类文本的特征词对中的待分类文本的特征词的权重中选取较小的权重作为待分类文本的特征词对的原始权重。
[0165] 具体地,第四生成模块19具体还用于通过公式 对待分类文本的特征词之间的块间隔数进行计算处理得出待分类文本的特征词对的权重系数,其中,he为待分类文本的特征词之间的块间隔数,f(he)为待分类文本的特征词对的权重系数,待分类文本的特征词之间的块间隔数为待分类文本的特征词对中待分类文本的特征词所在的待分类文本块之间的最小间隔。
[0166] 具体地,第五生成模块20具体还用于将待分类文本的特征词对的权重系数和待分类文本的特征词对的原始权重相乘,得出待分类文本的特征词对的权重。
[0167] 本实施例提供的文本分类装置可用于实现上述实施例二提供的文本分类方法,对文本分类方法的具体描述可参见上述实施例二,此处不再赘述。
[0168] 本实施例提供的文本分类装置的技术方案中,训练集文本向量是根据训练集文本的特征词对和训练集文本的特征词对的权重得出的,待分类文本向量是根据待分类文本的特征词对和待分类文本的特征词对的权重得出的,使得训练集文本向量以及待分类文本向量中均包括了特征词对和特征词之间的关联信息,丰富了文本向量中携带的信息量,从而提高了文本分类的准确率和召回率。
[0169] 可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

当前第1页 第1页 第2页 第3页
相关技术
文本分类相关技术
方法装置相关技术
黄凯峰发明人的其他相关专利技术