thuctc文本分类系统改写和使用

【12月16日】THUCTC实现基于支持向量机中文文本分类 基于支持向量机实现中文文本分类 摘要 支持向量机(简称可看作一种广义的线性分类器,其基本思想是:通过非线性变换将输入空间变换到一个高维的特征空间,并在新空间中寻找最优的线性分界面。 关键词 文本分类 特征提取 支持向量机 1引言 所谓“数据丰富但知识缺乏”的现状导致了数据挖掘(Data Mining)技术研究的兴起,数据挖掘是从海量的结构化信息中抽取或挖掘隐含信息和知识的重要方法和途径。其 阅读详情

1.官网介绍:

THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理实验室推出的中文文本分类工具包,能够自动高效地实现用户自定义的文本分类语料的训练、评测、分类功能。文本文类通常包括特征选取、特征降维、分类模型学习三个步骤。如何选取合适的文本特征并进行降维,是中文文本分类的挑战性问题。我组根据多年在中文文本分类的研究经验,在THUCTC中选取二字串bigram作为特征单元,特征降维方法为Chi-square,权重计算方法为tfidf,分类模型使用的是LibSVM或LibLinear。THUCTC对于开放领域的长文本具有良好的普适性,不依赖于任何中文分词工具的性能,具有准确率高、测试速度快的优点。

2.使用:

下载thuctc的代码,运行查看效果

程序大体的思路:

1)文本训练,生成训练模型

新建一个 新建分类器对象,设置参数对分类器进行初始化。


然后根据输入参数,运行分类系统 BasicTextClassifier.runAsBigramChineseTextClassifier()

/**
	 * 根据输入参数,运行分类系统
	 */
	public void runAsBigramChineseTextClassifier() {
		TextClassifier classifier = null;
		if(linear)
			classifier = (LinearBigramChineseTextClassifier) this.getTextClassifier();
		else 
			classifier = (BigramChineseTextClassifier) this.getTextClassifier();
		
		String content = "";
//			addfiles(trainingFolder);
		categoryToInt.put("电商", 0);
		categoryToInt.put("战争", 1);
		categoryToInt.put("体育", 2);
		categoryToInt.put("娱乐", 3);
		classifier.addTrainingText("12315将接入电商平台 2017-02-13 16:38:11 来源: 作者: 电商领域工商总局消费环境 电商领域的消费投诉近年来持续攀升,维权难是消费者反映的普遍问题。近日,国家工商总局出台的关于切实加强12315消费者权益保护工作的意见指出,在提高12315专用电话畅通率的基础上,将强化12315互联网及移动互联受理渠道建设,推进12315接入网购平台。意见指出,各地工商和市场监管部门将继续推动社会共治、营造安全放心的消费环境。各地将积极推进12315进网络交易平台、电视购物平台等经营主体工作,引导和督促经营者设立“消费维权服务站”,健全不合格商品退市、消费纠纷和解与消费侵权赔偿等制度,及时受理和处理消费者投诉,并落实经营者首问和赔偿先付制度。在中国电子商务研究中心特约研究员赵占领看来,现在仍有不少消费者尚未养成通过12315进行维权的习惯。“推进12315接入电商、电视购物平台,可以方便更多的消费者在维权受阻时获得帮助。”赵占领表示,如果12315直接嵌入到平台系统中,也将对企业起到督促、约束的作用。不少电商企业与12315平台的互通机制已有先例。去年“3·15”期间,中消协对外宣布,在苏宁易购、京东、淘宝、唯品会等17家电商企业启动电商消费维权绿色通道(直通车)平台。(记者 陈雪柠)", 0);
		classifier.addTrainingText("2016年12月20日,几名俄罗斯士兵在叙利亚阿勒颇街头执勤。埃尔多安出卖了阿勒颇土耳其未遂政变后,总统埃尔多安立马投向俄罗斯。土俄商议的结果:俄罗斯支持土耳其出兵叙利亚!土耳其招募阿勒颇的叙利亚反对派,前往叙利亚北部参加其“幼发拉底之盾”行动。实际结果就是,土耳其出卖了叙利亚反对派在阿勒颇的利益,来换取土耳其在叙利亚北部的势力范围。因为土耳其出更高的薪水,数千叙利亚反对派武装人员离开阿勒颇战场,参加“幼发拉底之盾”行动,让俄叙联军得以轻易攻占阿勒颇反对派控制区。阿萨德政府对土叙边境地区鞭长莫及,与其让库尔德武装坐大,不如拱手让给土耳其,来换取叙利亚最大城市阿勒颇。因急于弥补美土关系,美国也同意让土耳其以打击IS为名进入叙利亚。但6年的叙利亚战争中,土耳其民间有大批伊斯兰主义者公开同情叙反对派。基地组织胜利阵线和叙利亚“自由军”在土耳其享有相当的支持。土耳其政府能够为地缘政治见风使舵,却不能完全控制国内的暗流涌动。刺杀俄大使的土耳其特警,就高喊“不要忘记阿勒颇!”突然被土耳其抛弃的IS,更是与土耳其反目成仇。2016年初土耳其开始炮火支持叙利亚“自由军”进攻IS后,土耳其曾经支持的车臣头目艾哈迈德·沙提叶夫(Akhmed Chatayev)便策划了伊斯坦布尔机场袭击。袭击机场的3名人肉炸弹,分别来自俄罗斯(车臣)、乌兹别克斯坦与吉尔吉斯斯坦。支持叙反对派武装时,土耳其曾大打突厥牌。土情报机构MIT招募大批高加索和中亚人赴叙参战。许多在土避难的车臣和中亚难民,被土耳其“鼓励”前往叙利亚。车臣人组成了胜利阵线和IS的精锐部队;其次就是来自中亚的“圣战者”。土耳其警方刚刚抓获跨年夜袭击伊斯坦布尔夜总会“Reina”的主要嫌犯—乌兹别克斯坦公民阿卜杜拉·卡迪尔。土警方还认为,策划夜店袭击的主谋正是IS车臣头目艾哈迈德·沙提叶夫。与往次不同,这次IS公开宣称了责任。如果上次伊斯坦布尔机场袭击只是一个警告的话,这次IS是与土耳其公开决裂了。为了打击IS,土耳其出动了8000正规军前往叙利亚,加上2000叙利亚“自由军”,以1万兵力开到IS占领的巴卜城下。但让人大跌眼镜的是,号称北约第二大陆军的土耳其军队居然在3个月中毫无进展,反而在IS反扑下丢盔卸甲,失去大批先进的德制豹-2坦克。这是因为,土军所面对的不再是只有AK冲锋枪等轻武器的库尔德工人党游击队,而是武装到牙齿的IS。后者在叙利亚拥有包括美制陶式在内的各种反坦克导弹,土耳其装甲反而成了铁皮靶子。再有,政变后的土耳其军队显然受到了大清洗的影响。土耳其空军的大批飞行员被捕,导致土耳其居然请求俄空军协助轰炸巴卜。眼下,被土耳其视为大敌的库尔德工人党组织,正在伊拉克、叙利亚战场日益壮大。而土耳其国内一大帮“伊斯兰国”和基地组织同情者,又在蠢蠢欲动。土耳其希望通过投向俄罗斯,改善自身不利处境,但这种“背叛”却使得其在国际上更加孤立。随着经济和货币急转直下,土耳其国内短期内只会更加动荡。", 1);
		classifier.addTrainingText(" 2月13日,广州恒大俱乐部召开了新赛季管理会议。恒大老板许家印向球队明确新赛季目标:力争2017年中超、亚冠、足协杯、超级杯四冠王,同时要求球队在2020年实现全华班的目标。每年的新赛季开始之前,许家印都要为球队召开誓师大会进行动员,今年也不例外,并公开在媒体面前召开这次新赛季管理会议,说明了意义与决心。许家印表示,球队去年在主教练斯科拉里的带领下实现三冠,今年要更进一步,力争拿下中超、亚冠、足协杯、超级杯四座冠军奖杯。此外,许家印还在会上再次强调比赛中要狼性十足,血拼对手,要为球迷带来精彩的比赛。同时,许家印还强调:恒大俱乐部在进入中超联赛以来,在7年的时间里已经夺得了13个冠军,实现了第一阶段目标。可以说,在7年前当恒大队提出夺得这样的目标时候并没有多少人认为这是一个可实现的目标,但事实证明,恒大队不仅提前实现了目标,还超额提前实现了目标。完成了第一阶段的目标,许家印说,下一阶段恒大争取实现的目标就是全华班,力争在2020年实现世界级名帅加全华班的阵容构想。或许这样的构想目标外界一样认为难度不小,甚至不可实现。许家印也深知困难所在,也因此,对于第二阶段的规划,许家印也提出了具体措施:就是启用年轻球员。选取俱乐部青训球员与其他俱乐部进行交流,每年硬性要求在恒大足校破格晋升2名球员到二队比赛,在二队晋升2个名额到一队,在4年内完成全华班构想。7年时间,广州恒大队豪夺中超联赛的六冠王。2017赛季恒大目标力争拿下中超、亚冠、足协杯、超级杯四座冠军奖杯。而就在此前恒大亚冠联赛刚刚抽得还算不错的签位,相比亚冠签位,中超联赛一开局恒大队就对阵激烈,将面临国安、鲁能、上港、苏宁、申花、华夏等这样强劲的实力对手。虽然很具有挑战性,但只要开局把握的好,恒大队便可占据先机,可谓是机遇与挑战并存。2017赛季,恒大力争四冠王目标绝非易事,无论成败都应该为恒大的目标鼓掌。(于静)", 2);
		classifier.addTrainingText("邓超被爆料曾在录制《奔跑吧兄弟》时因拒绝搭乘直升机,被网友炮轰耍大牌,但事实上他当时是因为患有幽闭恐惧症而无法上机。邓超主演邓超主演 新浪娱乐讯 据台湾媒体报道,《奔跑吧兄弟》改编自南韩综艺《Running Man》,邓超[微博]、李晨[微博]、王祖蓝[微博]、郑恺[微博]、Angelababy、陈赫[微博]、鹿晗[微博]等固定班底主持,其中队长邓超的逗趣表现更是让网友印象深刻。但是他却曾因在录制时拒绝搭乘直升机,被网友炮轰耍大牌,而事实上当时他是因为患有幽闭恐惧症,才提出下机要求。媒体报导,邓超近日在接受专访时透露,自己过去在演出电影《烈日灼心》中辛小丰一角时,为了可以更加投入角色,他在剧组中几乎是呈现一种不理人的状态,甚至与合作多次的工作人员都是0互动。他称自己在拍完戏之后,感觉自己只剩一具躯壳,最后他在心理上也陷入了一种幽闭恐惧,之后更发现到自己患上了幽闭恐惧症。邓超先前曾经遭到网友爆料,他在录制《奔跑吧兄弟》时因拒绝搭乘直升机,被网友炮轰耍大牌,但事实上他当时是因为患有幽闭恐惧症而无法上机,患病之后的他连带女儿玩游乐设施,也都会因安全带太紧而吓得满身大汗,甚至连去看病做核磁共振时,也无法进入舱内。但是,敬业的他却认为这就是演员的责任,这就是角色的人生,我就爱表演这种独一无二。", 3);
			lexiconSize = classifier.getLexicon().getSize();
			classifier.train();
			modelLoaded = true;
			System.out.println("将模型输出成string=======>");
			System.out.println(classifier.saveToString());
			try {
				Thread.sleep(20000);
			} catch (InterruptedException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
			

		
		
		
	}


这个方法进行的工作是:统计所有分类,将分类从0开始进行编号,然后加载训练文本(将文本和分类编号进行对应),运行训练。生成一个文本或者是生成字符串模型,为了方便后面的文本分类操作我将生成的字符串模型放在数据库中进行保存后续使用。分类训练文本越多越精确。

2)文本分类

新建分类器对象,初始化分类器,设置分类种类,并读取模型,这里从数据库读取上述的字符串即可,然后使用分类器进行分类。

输入文本,设置保留的分类结果个数,输出分类名称和得分。

	
	/**
	 * 如果需要读取已经训练好的模型,再用其进行分类,可以按照本函数的代码调用分类器
	 * 
	 */
	public static void runLoadModelAndUse() {
		
		// 新建分类器对象
		BasicTextClassifier classifier = new BasicTextClassifier();
		// 设置分类种类,并读取模型
		classifier.loadCategoryList();
		
		classifier.setTextClassifier(new LinearBigramChineseTextClassifier(classifier.getCategorySize()));
		classifier.getTextClassifier().loadFromString("rO0ABXNyABdvcmcudGh1bmxwLnRleHQuTGV4aWNvbgAAAAAAAAABAgAFWgAGbG9ja2VkSgAHbnVtRG9jc0wABmlkSGFzaHQAFUxqYXZhL3V0aWwvSGFzaHRhYmxlO0wACG5hbWVIYXNocQB+AAFMAAd0ZXJtU2V0dAAPTGphdmEvdXRpbC9TZXQ7eHABAAAAAAAAAARzcgATamF2YS51dGlsLkhhc2h0YWJsZRO7DyUhSuS4AwACRgAKbG9hZEZhY3RvckkACXRocmVzaG9sZHhwP0AAAAAAAEd3CAAAAF8AAAAsc3IAEWphdmEubGFuZy5JbnRlZ2VyEuKgpPeBhzgCAAFJAAV2YWx1ZXhyABBqYXZhLmxhbmcuTnVtYmVyhqyVHQuU4IsCAAB4cAAAACtzcgAcb3JnLnRodW5scC50ZXh0LkxleGljb24kV29yZAAAAAAAAAABAgAESQACZGZJAAJpZEkAAnRmTAAEbmFtZXQAEkxqYXZhL2xhbmcvU3RyaW5nO3hwAAAAAgAAACsAAAADdAAG55Sa6Iezc3EAfgAGAAAAKnNxAH4ACQAAAAIAAAAqAAAABHQABuS6i+WunnNxAH4ABgAAAClzcQB+AAkAAAACAAAAKQAAAAN0AAbkvYbkuotzcQB+AAYAAAAoc3EAfgAJAAAAAgAAACgAAAACdAAG5Li66L+Zc3EAfgAGAAAAJ3NxAH4ACQAAAAIAAAAnAAAAA3QABuaPkOWHunNxAH4ABgAAACZzcQB+AAkAAAACAAAAJgAAAAN0AAblqpLkvZNzcQB+AAYAAAAlc3EAfgAJAAAAAgAAACUAAAADdAAG6KaB5rGCc3EAfgAGAAAAJHNxAH4ACQAAAAIAAAAkAAAAA3QABuabtOWKoHNxAH4ABgAAACNzcQB+AAkAAAACAAAAIwAAAAJ0AAbov5nnp41zcQB+AAYAAAAic3EAfgAJAAAAAgAAACIAAAACdAAG5ZCO55qEc3EAfgAGAAAAIXNxAH4ACQAAAAIAAAAhAAAABHQABuaYr+WboHNxAH4ABgAAACBzcQB+AAkAAAACAAAAIAAAAAJ0AAbov5nmmK9zcQB+AAYAAAAfc3EAfgAJAAAAAgAAAB8AAAACdAAG56ys5LqMc3EAfgAGAAAAHnNxAH4ACQAAAAIAAAAeAAAAAnQABuS4uuS6hnNxAH4ABgAAAB1zcQB+AAkAAAACAAAAHQAAAAJ0AAbkuIDkuKpzcQB+AAYAAAAcc3EAfgAJAAAAAgAAABwAAAACdAAG5piv5LiAc3EAfgAGAAAAG3NxAH4ACQAAAAIAAAAbAAAAAnQABui0o+S7u3NxAH4ABgAAABpzcQB+AAkAAAACAAAAGgAAAAN0AAbov5nmrKFzcQB+AAYAAAAZc3EAfgAJAAAAAwAAABkAAAAEdAAG6K6k5Li6c3EAfgAGAAAAGHNxAH4ACQAAAAIAAAAYAAAAAnQABuWImuWImnNxAH4ABgAAABdzcQB+AAkAAAACAAAAFwAAAAN0AAbmiJDkuoZzcQB+AAYAAAAWc3EAfgAJAAAAAgAAABYAAAACdAAG5pu+57uPc3EAfgAGAAAAFXNxAH4ACQAAAAIAAAAVAAAAAnQABuW8gOWni3NxAH4ABgAAABRzcQB+AAkAAAACAAAAFAAAAAJ0AAbmm7TmmK9zcQB+AAYAAAATc3EAfgAJAAAAAgAAABMAAAAEdAAG5YWs5byAc3EAfgAGAAAAEnNxAH4ACQAAAAIAAAASAAAAA3QABuW5tOeahHNxAH4ABgAAABFzcQB+AAkAAAADAAAAEQAAAAN0AAbov5vlhaVzcQB+AAYAAAAQc3EAfgAJAAAAAgAAABAAAAACdAAG5LiO5YW2c3EAfgAGAAAAD3NxAH4ACQAAAAIAAAAPAAAAAnQABuS6uuWRmHNxAH4ABgAAAA5zcQB+AAkAAAACAAAADgAAAAV0AAblm6DkuLpzcQB+AAYAAAANc3EAfgAJAAAAAwAAAA0AAAAGdAAG5bCx5pivc3EAfgAGAAAADHNxAH4ACQAAAAIAAAAMAAAAA3QABuihjOWKqHNxAH4ABgAAAAtzcQB+AAkAAAACAAAACwAAAAJ0AAboi4/lroFzcQB+AAYAAAAKc3EAfgAJAAAAAgAAAAoAAAACdAAG5Y675bm0c3EAfgAGAAAACXNxAH4ACQAAAAIAAAAJAAAAAnQABuWmguaenHNxAH4ABgAAAAhzcQB+AAkAAAACAAAACAAAAAJ0AAbooajnpLpzcQB+AAYAAAAHc3EAfgAJAAAAAgAAAAcAAAACdAAG6ICF5Zyoc3EAfgAGAAAABnNxAH4ACQAAAAMAAAAGAAAAA3QABuWPr+S7pXNxAH4ABgAAAAVzcQB+AAkAAAACAAAABQAAAAN0AAbov5vooYxzcQB+AAYAAAAEc3EAfgAJAAAAAgAAAAQAAAACdAAG6YCa6L+Hc3EAfgAGAAAAA3NxAH4ACQAAAAIAAAADAAAAA3QABuWNoOmihnNxAH4ABgAAAAJzcQB+AAkAAAACAAAAAgAAAAJ0AAblronlhahzcQB+AAYAAAABc3EAfgAJAAAAAgAAAAEAAAADdAAG5bel5L2cc3EAfgAGAAAAAHNxAH4ACQAAAAIAAAAAAAAAAnQABui/keaXpXhzcQB+AAQ/QAAAAAAAR3cIAAAAXwAAACxxAH4ATnEAfgBNcQB+AF1xAH4AXHEAfgA8cQB+ADtxAH4AQnEAfgBBcQB+AC1xAH4ALHEAfgAYcQB+ABdxAH4Ah3EAfgCGcQB+AGxxAH4Aa3EAfgAScQB+ABFxAH4AhHEAfgCDcQB+AGBxAH4AX3EAfgAkcQB+ACNxAH4ARXEAfgBEcQB+AFFxAH4AUHEAfgBmcQB+AGVxAH4AVHEAfgBTcQB+ABtxAH4AGnEAfgBXcQB+AFZxAH4AdXEAfgB0cQB+AFpxAH4AWXEAfgBpcQB+AGhxAH4AjXEAfgCMcQB+AH5xAH4AfXEAfgA2cQB+ADVxAH4AinEAfgCJcQB+AAxxAH4AC3EAfgBIcQB+AEdxAH4AFXEAfgAUcQB+AHJxAH4AcXEAfgAzcQB+ADJxAH4AHnEAfgAdcQB+AEtxAH4ASnEAfgA5cQB+ADhxAH4AP3EAfgA+cQB+AIFxAH4AgHEAfgB4cQB+AHdxAH4AKnEAfgApcQB+AHtxAH4AenEAfgAPcQB+AA5xAH4Ab3EAfgBucQB+AGNxAH4AYnEAfgAwcQB+AC9xAH4AIXEAfgAgcQB+ACdxAH4AJnhzcgARamF2YS51dGlsLkhhc2hTZXS6RIWVlri3NAMAAHhwdwwAAAAAP0AAAAAAAAB4c3IAHWRlLmJ3YWxkdm9nZWwubGlibGluZWFyLk1vZGVspmeC7z9HwY4CAAZEAARiaWFzSQAIbnJfY2xhc3NJAApucl9mZWF0dXJlWwAFbGFiZWx0AAJbSUwACnNvbHZlclR5cGV0ACRMZGUvYndhbGR2b2dlbC9saWJsaW5lYXIvU29sdmVyVHlwZTtbAAF3dAACW0R4cAAAAAAAAAAAAAAABAAAACt1cgACW0lNumAmduqypQIAAHhwAAAABAAAAAAAAAABAAAAAgAAAAN+cgAiZGUuYndhbGR2b2dlbC5saWJsaW5lYXIuU29sdmVyVHlwZQAAAAAAAAAAEgAAeHIADmphdmEubGFuZy5FbnVtAAAAAAAAAAASAAB4cHQABkwxUl9MUnVyAAJbRD6mjBSrY1oeAgAAeHAAAACwAAAAAAAAAAC/4bM9RAZyAgAAAAAAAAAAAAAAAAAAAABAG7FoZoqdDL/hfqdo9ZMMwAUABAIWKs0AAAAAAAAAAAAAAAAAAAAAwBZEkInX3LTAHeMep0K5vwAAAAAAAAAAQBOdZNGluv0AAAAAAAAAAMATJa0I2NS2v+a5QkxYLZAAAAAAAAAAAAAAAAAAAAAAv/fpURSIdwjAED2NOXOIdwAAAAAAAAAAwBgn1cxXhpJAAkV/doPmwL/qZmjkxaLkAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAC/0xTtJgJ6YAAAAAAAAAAAwAB9HD9N4P8AAAAAAAAAAL//Y1CdrU22AAAAAAAAAAAAAAAAAAAAAL/z7KA+cR1vwAoHDF+kCsEAAAAAAAAAAMAC8RQT1pO2AAAAAAAAAADAIO7OnNdYVAAAAAAAAAAAwAPbRkBsfkcAAAAAAAAAAAAAAAAAAAAAwBApPSv2ojQ/yy8V5AshSAAAAAAAAAAAwABBzRqjZN2/++mVyCRx1QAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMAZIVxBXTOaQAC+kORHHGLAHOXrMx/i6z/77eRv2wt9AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAC/8ZCeA1xIOgAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAv74tffTHt70AAAAAAAAAAEAMG1nqycybv9IkW8Mj8THAFzGKhJx9xkAjekz0iSAGAAAAAAAAAADAA2k/xzFpGgAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAL/2p1Gzcm84P/sacw/THbkAAAAAAAAAAMAOK09A6UuCAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAv6yxtweM3uwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAL/3FNkKNHvlP8Cgd9JtoIsAAAAAAAAAAMAPd54HxhnDAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAC/+jI11k7RlgAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAL2lLj8dlj3HAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADAF0dZmGkjMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMAKJdDrzymIwAlXlq1jg1gAAAAAAAAAAMAYfwf1ctA0QBY49tUCG/4AAAAAAAAAAD/hQt3LuX0CAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA/4EpHPDGpnMAaXY14eDO1AAAAAAAAAAC/uIrIR4z26L/JTcZr50h6QBHlEj/wiZwAAAAAAAAAAAAAAAAAAAAAv9nE6J21IvwAAAAAAAAAAD/x1VRZ5sQ4wBI7mVZ7JTTAFP+oTqazIEAYsJYAE/DiAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD/jYiVwx3zWwBEkWA2ut63AFfAUdetFdQAAAAAAAAAAQBBqmjitZB/ADvv5Q79IRMAhIskBWoNJAAAAAAAAAAA/0fwEjyIlsg==");
		
		/*
		 * 上面三行代码等价于设置如下参数,然后初始化并运行:
		 *
		   String defaultArguments = ""
		 +  "-l  my_novel_model"  // 设置您的训练好的模型的路径,这里的路径只是给出样例
		 ; 
		 classifier.Init(defaultArguments.split(" "));
		 classifier.runAsLinearBigramChineseTextClassifier();
		 * 
		 */
		
		// 之后就可以使用分类器进行分类
		String text = "北京商报讯 (记者 吴文治 郭白玉)艾媒咨询近日发布的《2016-2017中国跨境电商市场研究报告》称,预计中国2018年跨境电商交易规模将达到8.8万亿元。";
		int topN = 2;  // 保留最有可能的2个结果
		ClassifyResult[] result = classifier.classifyText(text, topN); 
		for (int i = 0; i < topN; ++i) {
			// 输出分类编号,分类名称,以及概率值。
			System.out.println(result[i].label + "\t" + 
								classifier.getCategoryName(result[i].label) + "\t" + 
								result[i].prob); 
		}
	}

thuct中的分词是二字串方式,“上海杨浦”会被分隔成    上海 海杨 杨浦    ,如果想要用其他分词方式可以改写。二字串的好处也许就是不受任何分词方式的影响,虽然这中分词方式对人来说没有什么意义,但是这个客观的计算某个词汇在文本中的重要程度,最终筛选出来的词汇大多还是正常的。



自然语言处理数据集和性能 1. 数据集 THUCNews中文数据集: THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19 GB),均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上,重新整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。使用THUCTC工具包在此数据集上进行评测,准... 阅读详情

相关推荐

NLP中文情感分析模型开源项目及实现代码

情感分析是自然语言处理(NLP)领域中的一个重要任务,它旨在确定文本中表达的情感倾向,例如积极、消极或中性。在中文情感分析任务中,有几个开源项目提供了有效的模型和实现代码,使得我们能够进行情感分析的研究和应用开发。这些开源项目提供了强大的中文情感分析模型和实现代码,使得我们可以轻松地进行中文文本的情感分类。同时,这些开源项目的GitHub存储库中通常提供了更详细的文档和示例,供进一步学习和参考。在本文中,我们将介绍几个值得关注的开源项目,并提供相应的源代码示例,以帮助读者开始构建自己的中文情感分析模型。

DbjkKubernetes的博客 1055

【亲测免费】 THUCTC:一款高效的中文文本分类工具

是由清华大学自然语言处理实验室(ThunLP)开发的一款强大的中文文本分类模型。它基于深度学习的方法,为中文文本分类任务提供了高准确性和易用性的解决方案。该项目的目标是帮助开发者和研究者快速实现对中文文本的自动化分类,例如新闻分类、情感分析等应用场景。 ## 技术分析 THUCTC的核心是利用卷积神经网络(CNN)和长短时记忆网络(LSTM)相结合的架构。这种设计既能捕捉到文本中的局部特征(通...

gitblog_00093的博客 860

基于BERT模型的文本分类研究 TensorFlow2实现(内附源码)【自然语言处理NLP-100例】

🔗 运行环境:python3 🚩 作者:K同学啊 🥇 精选专栏:《深度学习100例》 🔥 推荐专栏:《新手入门深度学习》 📚 选自专栏:《Matplotlib教程》 🧿 优秀专栏:《Python入门100题》 大家好,我是K同学啊! 在上一篇文章中讲解了BERT是什么,这一篇文章中我应用BERT进行一个文本分类的实战,使用的是THUCTC数据集,实现了财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐等10类文本的高效分类,最后的分类准确率达到了83.3%,项目情况如下: 自然语言处理100.

“365天深度学习训练营”报名进行中~ 2124

使用Thuctc进行中文文本分类应用

这几个月一直在做跟机器学习相关的东西用来减轻运营在文章方面的工作量:文章自动审核及分类(单分类与多分类并存情况,及对文章进行标签化) 这里介绍的是使用Thuctc对文章进行分类,根据条件来判断多分类情况的取舍(ps:为什么不使用thuctc对文章进行审核,是因为用来训练审核的样本并不好,可能存在脏数据,而且对于关键词的标识度有所偏差,导致结果不太理想,便改用了其他方法) 首先介绍一下:THUC...

忆浅曦 3394

THUCTC: 一个高效的中文文本分类工具包-数据集

THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理实验室推出的中文文本分类工具包,能够自动高效地实现用户自定义的文本分类语料的训练、评测、分类功能。文本分类通常包括特征选取、特征降维、分类模型学习三个步骤。如何选取合适的文本特征并进行降维,是中文文本分类的挑战性问题。

MACS2软件进行Peak calling

MACS2可以检出ChIP-Seq,ATAC-seq 以及 MeRIP-seq (RNA甲基化测序) 等富集的序列。peaks calling 有不同的方法,MACS2是最常用的call peaks工具。 MACS全称Model-based Analysis of ChIP-Seq,最初的设计是用来鉴定转录因子的结合位点,但是它也可以用于其他类型的富集方式测序。usage: macs2 [-h] [--version] {callpeak,bdgpeakcall,bdgbroadca

qq_27390023的博客 3789

THUCTC 开源项目教程

THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理与社会人文计算实验室开发的中文文本分类工具包。该工具包旨在为研究人员和开发者提供一个高效、准确的中文文本分类解决方案。THUCTC 支持多种分类模型,包括传统的机器学习模型和深度学习模型,能够处理大规模的中文文本数据集。 ## 项目快速启动 ### 环境准备 在开始使用 THUCTC 之前,

gitblog_00228的博客 700

保姆级教程:在STM32CubeIDE上快速部署micro_ros到STM32F407(附常见问题解决)

本文提供了一份详细的保姆级教程,指导开发者如何在STM32CubeIDE上快速部署micro_ros到STM32F407微控制器。内容涵盖从Windows与Ubuntu双环境搭建、micro-ROS静态库编译、STM32CubeIDE工程深度集成,到串口通信联调与常见问题解决的完整流程,旨在帮助读者构建稳定可靠的ROS2与嵌入式设备通信系统。

o4p5q6r7s的博客 324

THUCTC:高效的中文文本分类工具

在当今信息爆炸的时代,文本分类技术已成为处理和组织大量文本数据的关键工具。THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理实验室开发的一款高效的中文文本分类工具包,它能够自动高效地实现用户自定义的文本分类语料的训练、评测和分类功能。本文将详细介绍THUCTC的项目特点、技术分析以及应用场景,帮助您更好地理解和使用这一强大的工具。 ## 项...

gitblog_00689的博客 778

Linux命令行入门:从零掌握服务器运维与Shell脚本基础

在信息化时代,操作系统是数字世界的基石,而终端命令行则是高效驾驭服务器的核心技能。无论是软件部署、服务监控还是故障排查,掌握基于Shell的指令操作都能大幅提升工程效率。从最基础的文件目录管理、文本处理,到权限控制、进程监控与网络调试,命令行提供了一套强大且可自动化的操作范式。尤其对于运维工程师和开发者而言,理解管道、重定向以及脚本化任务,意味着将重复劳动转化为可复用的自动化流程。本文从环境准备讲起,系统梳理常用Linux命令的实际场景与输出验证,并延伸至Shell脚本编写与定时任务,帮助初学者快速建立从操

weixin_30522983的博客 255

开源 AHB不对称半桥反激电路设计(六)死区时间,谐振腔电流,谐振电感函数表达式

电流跌落可以使副边电流峰值和有效值降低,减小损耗,但如果开关管 S2 导通期间,谐振电流谐等于励磁电流,即副边电流A 点降至 0,会在原边变压器内形成环流,产生损耗,同时也不利于副边同步整流管驱动的正常工作,为了保证开关管 S2 导通期。在开关管 S1 和开关管 S2 均关断的死区时间内,谐振电流给原边开关管结电容和副边整流管结电容充放电,因此会引起开关 S1 关断瞬间电流跌落与开关 S2 关断瞬间电流震荡现象,受寄生参数影响原边谐振电流波形和副边电流波形如图。降到最低,变压器以最高效率向副边传递能量。

【Simon】的博客 1229

THUCTC源码解读(一)

THUCTC(THU Chinese Text Classification),是由清华大学自然语言处理实验室推出的中文文本分类工具包,能够自动实现用户自定义的文本分类语料的训练、评测、分类功能。THUCTC中选取二字串bigram作为特征单元,特征降维方法为Chi-square,权重计算方法为tfidf,分类模型使用的是LibSVM或LibLinear。THUCTC对于开放领域的长文本具有良好的普

Multiangle's Notepad 7189

STM32F103C8T6 + GY-906红外测温:手把手教你用CubeMX和HAL库搞定IIC驱动(附完整工程)

本文详细介绍了如何使用STM32F103C8T6和GY-906红外测温传感器(基于MLX90614芯片)实现非接触式温度测量。从STM32CubeMX工程创建、HAL库驱动适配到温度数据采集与处理,提供完整的开发流程和常见问题解决方案,帮助开发者快速掌握红外测温技术。

weixin_29188043的博客 254

【亲测免费】 THUCTC: 一个高效的中文文本分类工具

THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理实验室推出的中文文本分类工具包。该项目主要使用Java语言开发,旨在提供一个高效、准确的中文文本分类解决方案。 ## 项目核心功能 THUCTC的核心功能包括: 1. **文本分类训练**:支持用户自定义的文本分类语料的训练,能够自动高效地实现训练过程。 2. **文本分类评测**:提供评测...

gitblog_07702的博客 515

[最新]MapReduce综合应用案例 — 气象数据清洗

【代码】[最新]MapReduce综合应用案例 — 气象数据清洗。

M_inherit的博客 1017

Android11车机系统海外项目资源包RRO方案优化

本文介绍了汽车设置应用如何通过Android RRO(运行时资源叠加)方案实现多车型差异化资源管理。针对不同车型(国内/海外、轿车/SUV)和配置(方向盘、轮毂等),采用产品变体(productFlavors)构建不同APK版本,并通过JSON配置文件动态启用对应资源包。系统根据车辆下线配置自动匹配适用的资源叠加包,解决了硬编码判断带来的维护问题。该方案实现了资源的高效复用,同时支持灵活配置多种车型组合,为汽车行业多车型共平台开发提供了可扩展的技术实现。

shusuanly的博客 469

【亲测免费】 THUCTC 中文文本分类工具安装与配置指南

### 项目介绍 THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理实验室推出的中文文本分类工具包。该工具包能够自动高效地实现用户自定义的文本分类语料的训练、评测和分类功能。THUCTC 对于开放领域的长文本具有良好的普适性,不依赖于任何中文分词工具的性能,具有准确率高、测试速度快的优点。 ### 主要编程语言 THUCTC 主要使用 Java...

gitblog_07704的博客 763

【雕爷学编程】MicroPython手册之 Teensy 4.1 实时时钟 (RTC)

在类的初始化函数中,定义了用于控制I2C总线的i2c对象和RTC模块的I2C地址。接着,使用该引脚初始化了一个Pin对象。它还提供了8个串口,3个SPI端口,3个I2C端口,2个I2S/TDM数字音频端口,3个CAN总线(其中一个支持CAN FD),以及一个SDIO(4位数据)原生SD卡端口12。2、内存:Teensy 4.1配备了1024 KB的RAM(其中512 KB是紧密耦合的),8 MB的Flash(其中64 KB用于恢复和EEPROM模拟),以及两个位置可以选择添加更多的QSPI内存芯片。

雕爷学编程 575

毕设分享 基于机器学习(深度学习)的文本分类系统

文本分类是自然语言处理 (Natural Language Processing, NLP) 的最经典的领域之一,其主要任务是基于文本内容,在给定的分类体系中,将文本自动分到预先设定的一个或多个类别中,这些类别可以属于不同领域,也可以具有层次结构,常见的类别包括政治、财经、体育、娱乐和艺术等。

m0_12378的博客 3872

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

NLP自然语言处理——文本分类之数据集汇总

文本分类数据集汇总名词解释一、“达观杯”文本智能处理挑战赛数据集1、数据格式2、测试集:test_set.csv数据集二数据集三参考文献 名词解释 (1)脱敏处理 一、“达观杯”文本智能处理挑战赛数据集 “达观杯”文本智能处理挑战赛数据集包含了两个文件,分别是:train_set.csv和test_set.csv。以下是关于这两个数据集的介绍 1、数据格式 2、测试集:test_set.csv 数...

Little_Yu的博客 8518

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

THUCTC:清华大学NLP实验室推出的中文文本分类工具

官方介绍: THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理实验室推出的中文文本分类工具包,能够自动高效地实现用户自定义的文本分类语料的训练、评测、分类功能。 文本文类通常包括特征选取、特征降维、分类模型学习三个步骤。如何选取合适的文本特征并进行降维,是中文文本分类的挑战性问题。该组根据多年在中文文本分类的研究经验,在THUCTC...

happytofly的博客 3663

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

THUCTC源码解读(二)

在通过Demo初步了解了THUCTC的用法以后,开始深入探究THUCTC的结构,了解实现方式。只要了解了代码结构,才能了解背后的原理和优化方法,也方便在此基础上做出自己的改进。THUCTC的主要原理首先,会将训练文本进行分词处理,然后进行词频统计,通过统计词频和包含该词的文档频率,利用卡方(Chi-Square)检验来选择出特征词,并以此为依据构造文档向量(DocumentVector),词向量中的

Multiangle's Notepad 3492

THUCTC: 一个高效的中文文本分类工具包

参考:THUCTC

weixin_42631192的博客 668

人工智能课程设计—新闻文本分类

本文的数据是来自THUCTC(THU Chinese Text Classification),它是由清华大学自然语言处理实验室推出的中文文本分类工具包,能够自动高效地实现用户自定义的文本分类语料的训练、评测、分类功能。它的大小为1.56GB,为14个分类,一共有836075个数据(一个数据为一个txt文件),其中类别对应的数据量可见下图。通过上述的对比,我们可以发现在10中分类模型中,基于卷积神经网络的三个模型评估指标都是最高的,对比可见下图所示。

weixin_47058355的博客 1523

THUCNews新闻文本分类

转https://github.com/gaussic/text-classification-cnn-rnn 数据集 本文采用了清华NLP组提供的THUCNews新闻文本分类数据集的一个子集(原始的数据集大约74万篇文档,训练起来需要花较长的时间)。数据集请自行到THUCTC:一个高效的中文文本分类工具包下载,请遵循数据提供方的开源协议。 本次训练使用了其中的10个分类,每个分类6500条...

wendaoliutou的博客 1万+

NLP--THUCTC: 一个高效的中文文本分类工具包

项目介绍 THUCTC(THU Chinese Text Classification)是由清华大学自然语言处理实验室推出的中文文本分类工具包,能够自动高效地实现用户自定义的文本分类语料的训练、评测、分类功能。文本分类通常包括特征选取、特征降维、分类模型学习三个步骤。如何选取合适的文本特征并进行降维,是中文文本分类的挑战性问题。我组根据多年在中文文本分类的研究经验,在THUCTC中选...

ld326的专栏 1665
上一篇: google-word2vec学习使用
下一篇: saxon-he报错
programmeryu
博客等级 码龄11年 23粉丝 67原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值