1.第一场机器学习竞赛--达观杯”文本智能处理挑战赛

2018年人工智能的发展在运算智能和感知智能已经取得了很大的突破和优于人类的表现。而在以理解人类语言为入口的认知智能上，目前达观数据自然语言处理技术已经可以实现文档自动解析、关键信息提取、文本分类审核、文本智能纠错等一定基础性的文字处理工作，并在各行各业得到充分应用。

自然语言处理一直是人工智能领域的重要话题，而人类语言的复杂性也给 NLP 布下了重重困难等待解决。长文本的智能解析就是颇具挑战性的任务，如何从纷繁多变、信息量庞杂的冗长文本中获取关键信息，一直是文本领域难题。随着深度学习的热潮来临，有许多新方法来到了 NLP 领域，给相关任务带来了更多优秀成果，也给大家带来了更多应用和想象的空间。

此次比赛，达观数据提供了一批长文本数据和分类信息，希望选手动用自己的智慧，结合当下最先进的NLP和人工智能技术，深入分析文本内在结构和语义信息，构建文本分类模型，实现精准分类。未来文本自动化处理的技术突破和应用落地需要人工智能从业者和爱好者的共同努力，相信文本智能处理技术因为你的算法，变得更加智能！

 

实现

 

print("开始...............")

 

import pandas as pd

from sklearn.linear_model import LogisticRegression

from sklearn.feature_extraction.text import CountVectorizer

 

df_train = pd.read_csv('./train_set.csv')

df_test = pd.read_csv('./test_set.csv')

df_train.drop(columns=['article','id'],inplace=True)

df_test.drop(columns=['article'],inplace=True)

 

vectorizer = CountVectorizer(ngram_range=(1,2),min_df=3,max_df=0.9,max_features=100000)

vectorizer.fit(df_train['word_seg'])

x_train = vectorizer.transform(df_train['word_seg'])

x_test = vectorizer.transform(df_test['word_seg'])

y_train = df_train['class']-1

 

lg = LogisticRegression(C=4,dual=True)

lg.fit(x_train,y_train)

 

y_test = lg.predict(x_test)

 

df_test['class']=y_test.tolist()

df_test['class']=df_test['class']+1

df_result = df_test.loc[:,['id','class']]

df_result.to_csv('./result.csv',index=False)

 

print("完成................")

 

代码加数据：

链接：https://pan.baidu.com/s/1xzCXiXxOI66ro4MYlo7Jrg 
提取码：v9an