- 博客(19)
- 收藏
- 关注
RSS订阅原创 2021-10-12
药监局爬取import requestsfrom lxml import etreeimport osimport jsonimport timedef get_page(url, params): headers = { 'User-Agent' : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/
2021-10-12 11:35:08
140
原创 2021-10-11
爬取笔趣阁小说——三寸人间import requestsfrom lxml import etreeimport osimport timedef get_page(url): headers = { 'User-Agent' : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
2021-10-11 17:13:34
93
原创 动手学深度学习--task1
1. softmax的基本概念直接使用输出层的两个问题：a. 一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=103，那么输出值10却又表示图像类别为猫的概率很低。b. 由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。so...
2020-02-14 16:35:41
205
原创 Single Variable Analysis
IEEE-CIS Fraud Dection链接：https://www.kaggle.com/kabure/extensive-eda-and-modeling-xgb-hyperopt代码理解数据融合： train = pd.merge(train_transaction, train_identity, on='TransactionID', how='left') tes...
2019-09-21 09:10:26
314
原创 Introduction to Emsembling/Stacking in Python
泰坦尼克号https://www.kaggle.com/arthurtok/introduction-to-ensembling-stacking-in-python代码理解1. Preprocessing1.库加载import plotly.offline as pypy.init_notebook_mode(connected=True)import plotly.graph_o...
2019-09-19 18:17:53
337
原创 Pytorch_Task_7
用Pytorch实现手写数字识别1. 定义一个CNN网络from torch import nn class CNN(nn.Module): def __init__(self): super(CNN, self).__init__() self.layer1 = nn.Sequential( nn.Conv2d(1, 25,...
2019-04-17 16:05:05
166
原创 Pytorc_Task6
1. 优化方法1. Momentum(冲量)在普通的梯度下降法x += v中，每次x的更新量v为v = - dx * lr，其中dx为目标函数func(x)对x的一阶导数。当使用冲量时，则把每次x的更新量v考虑为本次的梯度下降量- dx * lr与上次x的更新量v乘上一个介于[0, 1]的因子momentum的和，即v = - dx * lr + v * momemtum。从公式上可看出...
2019-04-15 23:04:46
153
原创 Pytorch_Task5
Dropout原理dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout可以在CNN中防止过拟合pytorch实现Dropoutdim_in = 28*28dim_hid = 158dim_out = 10cla...
2019-04-14 17:22:40
231
原创 pytorch_test4
import torchvisionimport torchvision.datasets as datasetsimport torchimport torch.nn.functional as Fimport numpy as np import randomrandom.seed(1)np.random.seed(1)torch.manual_seed(1)train...
2019-04-11 22:38:52
186
原创 用pytorch实现逻辑回归
用pytorch实现逻辑回归import torchfrom torch.autograd import Variabletorch.manual_seed(2)x_data = Variable(torch.Tensor([[1.0], [2.0], [3.0], [4.0]]))y_data = Variable(torch.Tensor([[0.0], [0.0], [1.0],...
2019-04-09 16:13:06
1449
2
原创 PytorchTask_2
numpy实现线性回归import numpy as np x_data = np.array([1, 2, 3])y_data = np.array([2, 4, 6])epochs = 10lr = 0.01w = 0cost = []for epoch in range(epochs): yhat = x_data * w loss = np.average((yha...
2019-04-07 20:10:55
207
原创 Pytorch的基本概念
1. 什么是Pytorch，为什么选择Pytorch近年来随着深度学习的火热，越来越多的人开始研究深度学习。作为一个小白，所只能简单的介绍下。Pytorch作为深度学习的一个框架，是FaceBook出品的，并且他是支持Python的，重点是pytorch是动态图，可以随时打印出中间计算结果，方便调试。2.配置python环境因为我以前就安装过python，所以这里就不重新再叙述了3. 通过...
2019-04-06 13:20:54
372
原创 泰坦尼克
1. 加载数据import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snstrain_df = pd.read_csv("tatannic/train.csv")test_df = pd.read_csv("tatannic/test.csv")2. 特征类型分析...
2019-03-15 18:23:56
553
原创 金融数据6
模型融合这里我用了Stacking进行融合模型from mlxtend.classifier import StackingCVClassifier, StackingClassifier # 构建 Stacking 模型，因为 dt 评分太低了，所以抛弃掉，使用 lr 作为最后的融合模型s_clf = StackingClassifier(classifiers=[rfc, xgb, ...
2019-03-11 22:01:03
431
原创 金融数据5
模型调参网格搜索from sklearn.model_selection import GridSearchCVn_fold = 5 #5折交叉验证scoring = 'accuracy' #评价标准为准确率逻辑回归ltc_param = {'penalty':['l1', 'l2'], 'C':[0.0001, 0.001, 0.01, ...
2019-03-10 20:27:37
328
原创 金融数据4
模型的评价from sklearn.metrics import accuracy_score, recall_score, f1_score, roc_auc_score, roc_curvefrom matplotlib import pyplot as plt# 定义评估函数def model_metrics(clf, X_train, X_test, y_train, y_test...
2019-03-08 17:46:59
408
原创 金融数据3
构建模型并评估这里采用逻辑回归、svm和决策树；随机森林和XGBoost进行模型构建，采取的评价方式是accuracy首先导入我们需要用的库from sklearn.linear_model import LogisticRegressionfrom sklearn.svm import SVCfrom sklearn.tree import DecisionTreeClas...
2019-03-06 13:47:58
386
原创 金融数据2
数据特征筛选通过相关性corrmat = X.corr()f,ax = plt.subplots(figsize=(12, 9))sns.heatmap(corrmat, square=True)从这里可以发现每个特征彼此之间的相关性。k = 10f, ax = plt.subplots(figsize=(12, 9))cols = corrmat.nlargest(k, 's...
2019-03-04 20:05:33
435
原创 金融数据1
自己分析的第一个数据挖掘项目首先导入数据导入相应的库import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsfrom sklearn.preprocessing import LabelEncoder导入数据data = pd.read_csv("...
2019-03-01 20:57:58
725
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人