文本分类竞赛-数据初识

1.下载数据,读取数据,观察数据

数据解压下来放在new_data文件夹中,分为train_set和test_set两个文件

import numpy as np
import pandas as pd

training = pd.read_csv("../new_data/train_set.csv")
print(training.head())

查看训练集的前五行
在这里插入图片描述

print(training.shape)
print(training.columns)
print(training.info())
(102277, 4)
Index(['id', 'article', 'word_seg', 'class'], dtype='object')
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 102277 entries, 0 to 102276
Data columns (total 4 columns):
id          102277 non-null int64
article     102277 non-null object
word_seg    102277 non-null object
class       102277 non-null int64
dtypes: int64(2), object(2)
memory usage: 3.1+ MB
None

有102277条数据,每条数据是一篇文章,数据没有缺失值

官网上的解释:

1.train_set.csv:此数据集用于训练模型,每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列:
第一列是文章的索引(id),第二列是文章正文在“字”级别上的表示,即字符相隔正文(article);第三列是在“词”级别上的表示,即词语相隔正文(word_seg);第四列是这篇文章的标注(class)。
注:每一个数字对应一个“字”,或“词”,或“标点符号”。“字”的编号与“词”的编号是独立的!
2.test_set.csv:此数据用于测试。数据格式同train_set.csv,但不包含class。
注:test_set与train_test中文章id的编号是独立的。

2.将训练集拆分为训练集和验证集

from sklearn.model_selection import train_test_split #to create validation data set
X_train = training.drop("class", axis=1)
y_train = training["class"]
X_training, X_valid, y_training, y_valid = train_test_split(X_train, y_train, test_size=0.2, random_state=0)
print(X_training.shape)
print(X_valid.shape)
print(y_training.shape)
print(y_valid.shape)
(81821, 3)
(20456, 3)
(81821,)
(20456,)
<think>嗯,用户想了解人工智能的基础知识,需要入门介绍。首先,我得确定用户的基础水平,但问题里没有明确说明,可能是个零基础的学习者。所以要从最基础的概念讲起。 根据引用[1],人工智能是模拟人类智能的科学技术,包括学习、推理和自我修正。这部分可以作为定义部分,先解释清楚什么是AI。然后需要分几个主要部分来介绍,比如核心概念、分支领域、学习路径和应用场景。 接下来,引用[4]提到机器学习算法和深度学习框架是基础,可能需要强调这些技术的重要性。同时,引用[3]给出了一些学习资源,比如在线平台和社区,这部分可以作为学习路径的建议,帮助用户进一步学习。 用户可能对如何开始学习AI感兴趣,所以需要列出学习路径,比如数学基础、编程语言、机器学习基础等步骤。引用[2]提到了大模型如GPT-3、BERT,可以介绍当前热门的应用,比如自然语言处理和计算机视觉。 还要注意用户可能不知道需要哪些前置知识,比如数学中的线性代数、概率论,编程中的Python。这些都需要在回答中提及,确保用户有明确的学习方向。 另外,生成的相关问题要覆盖用户可能有的后续疑问,比如数学要求、编程语言选择、应用领域等,这样能帮助他们继续深入学习。需要确保每个部分结构清晰,用简单的语言解释概念,避免过于专业术语,让入门者容易理解。 最后,检查是否符合格式要求,数学公式用$...$,独立公式用$$...$$,确保引用正确添加,比如在定义部分加上[^1],学习路径引用[^2]和[^3]。代码示例可能需要展示一个简单的机器学习代码,比如线性回归,但用户的问题中没有明确是否需要代码,但根据示例中的快速排序,可能可以加入一个简单的示例,比如使用Python的scikit-learn库做一个分类任务,这样更直观。 总结下来,回答的结构应该是:定义、核心概念、分支领域、学习路径、应用场景、学习建议和相关问题。确保每个部分简短明了,重点突出,帮助用户构建完整的知识框架。</think>### 人工智能入门介绍 #### 1. 人工智能的定义 人工智能(Artificial Intelligence, AI)是研究如何使机器模拟人类智能的科学技术,涵盖学习(从数据中获取规则)、推理(基于规则推导结论)和自主修正等能力[^1]。其核心目标是构建能够执行复杂任务的智能系统,例如图像识别、自然语言处理等。 #### 2. 核心概念 - **机器学习(Machine Learning)**:通过算法让机器从数据中学习规律,典型方法包括监督学习(如分类、回归)和无监督学习(如聚类)。 - **深度学习(Deep Learning)**:基于多层神经网络的机器学习方法,擅长处理图像、语音等高维数据,典型模型如卷积神经网络(CNN)和循环神经网络(RNN)[^4]。 - **大模型(Large Language Models)**:如GPT-3、BERT等,通过海量数据预训练实现文本生成和理解能力[^2]。 #### 3. 主要分支领域 | 领域 | 典型应用场景 | |--------------------|---------------------------| | 自然语言处理(NLP)| 机器翻译、聊天机器人 | | 计算机视觉(CV) | 人脸识别、自动驾驶 | | 强化学习(RL) | 游戏AI、机器人控制 | #### 4. 学习路径建议 1. **数学基础**:掌握线性代数(矩阵运算)、概率论(贝叶斯定理)和微积分(梯度计算)。 2. **编程语言**:Python为主,需熟悉NumPy、Pandas等库,例如: ```python # 简单线性回归示例 from sklearn.linear_model import LinearRegression model = LinearRegression() model.fit(X_train, y_train) ``` 3. **机器学习基础**:从经典算法(如决策树、SVM)过渡到深度学习框架(如PyTorch、TensorFlow)。 #### 5. 应用场景与技术关系 $$ \text{AI系统} = \text{数据} + \text{算法} + \text{算力} $$ 例如,人脸识别系统需要标注图像数据数据)、CNN模型(算法)和GPU加速(算力)[^4]。 #### 6. 学习资源推荐 - **理论入门**:吴恩达《机器学习》课程 - **实践平台**:Kaggle竞赛、Google Colab - **动态追踪**:Wired科技专栏[^3]、arXiv论文预印本平台
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值