人生苦短，LET US GO

1算法实战 ## 基础函数库 import numpy as np ## 导入画图库 import matplotlib.pyplot as plt import seaborn as sns ## 导入逻辑回归模型函数 from sklearn import svm ##Demo演示LogisticRegression分类 ## 构造数据集 x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]]

1.决策树 决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。 决策树的主要优点： 具有很好的解释性，模型可以生成可以理解的规则。 可以发现特征的重要程度。 模型的计算复杂度较低。 决策树的主要缺点： 模型容易过拟合，需要采用减枝技术处理。 不能很好利用连续型特征。 预测能力有限，无法达到其他强监督模型效果。 方差较高，数据分布的轻微改变很容易造成树结构完全不同。 2.算法实战 ## 基础函数库 import numpy as np ## 导入画图库 import

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于二分类问题，利用了Logistic函数(或称为Sigmoid函数)，函数形式为: logi(z)=11+e−z log_i(z) = \frac{1}{1+e^{-z}} logi​(z)=1+e−z1​ Step1：库函数导入 ## 基础函数库 import numpy as np ## 导入画图库 import matplotlib.pyplot as plt import seaborn as sns ## 导入逻辑

import logging import random import numpy as np import torch logging.basicConfig(level=logging.INFO, format='%(asctime)-15s %(levelname)s: %(message)s') # set seed seed = 666 random.seed(seed) np.random.seed(seed) torch.cuda.manual_seed(seed) torch.man

FastText FastText通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。 FastText是一个三层的神经网络，输入层、隐藏层和输出层。 # coding: utf-8 from __future__ import unicode_literals from keras.models import Sequential from keras.layers import Embedding from keras.layers

One-hot 这里的One-hot与数据挖掘任务中的操作是一致的，即将每一个单词使用一个离散的向量表示。具体将每个字/词编码一个索引，然后根据索引进行赋值。 One-hot表示方法的例子如下： 句子1：我 爱 北 京 天 安 门 句子2：我 喜 欢 上 海 首先对所有句子的字进行索引，即将每个字确定一个编号： { ‘我’: 1, ‘爱’: 2, ‘北’: 3, ‘京’: 4, ‘天’: 5, ‘安’: 6, ‘门’: 7, ‘喜’: 8, ‘欢’: 9, ‘上’: 10, ‘海’: 11 } 在这里共包括

一、读取训练数据 # sep设置分割符 # nrows设置读取的行数 train_df = pd.read_csv('./data/train_set.csv', sep='\t', nrows=100) train_df.head() 第一列label为新闻的类别，第二列text为新闻的字符。 二、数据分析 计算句子的长度 train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' '))) train_df['text

一、数据集结构： 共14个分类：{‘科技’: 0, ‘股票’: 1, ‘体育’: 2, ‘娱乐’: 3, ‘时政’: 4, ‘社会’: 5, ‘教育’: 6, ‘财经’: 7, ‘家居’: 8, ‘游戏’: 9, ‘房产’: 10, ‘时尚’: 11, ‘彩票’: 12, ‘星座’: 13} 二、评测标准： F1=2∗(precision+recall)(precision∗recall) F_1=2* \frac{(precision+recall)}{(precision∗recall)} F1​=2∗