JerryZengZ的博客

腾讯新闻爬取 from selenium import webdriver from lxml import etree import time url = 'https://news.qq.com/' bro = webdriver.Chrome() bro.get(url) for i in range(5): bro.execute_script('window.scrollTo(0...

本次目标： 了解session和cookie，ip代理知识，selenium的使用，拔高：实现丁香园的模拟登录爬取留言板 session和cookie 因为http是无状态的，就是说这一次请求和上一次请求是没有任何关系的，互不认识的，没有关联的。这种无状态的的好处是快速。坏处是假如我们想要把www.zhihu.com/login.html和www.zhihu.com/index.html关联起来，...

了解http基础 http协议方法： GET 请求指定的页面信息，并返回实体主体。 HEAD 类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头 POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 PUT 从客户端向服务器传送的数据取代指定的文档的内容...

模型融合目标 1、对于多种调参完成的模型进行模型融合。 2、完成对于多种模型的融合，提交融合结果。 导入库和数据 import itertools import matplotlib.gridspec as gridspec from sklearn import datasets from sklearn.linear_model import LogisticRegression from s...

建模调参 特征工程目标 1、了解常用的机器学习模型， 2、掌握机器学习模型的建模与调参流程 （主要通过模型的效果来调参） 线性回归模型 sample_feature=sample_feature.dropna().replace('-',0).reset_index(drop=True) sample_feature['notRepairedDamage']=sample_feature['not...

特征工程 目的 1、对于特征进行进一步分析，并对于数据进行处理 2、完成对于特征工程的分析，并对于数据进行一些图表分析 删除异常值 通过用3/4分为数和1/4分为数划分异常范围，之间删除异常值 #删除异常值函数 def outliers_proc(data,col_name,scale=3): ''' 用于清洗数据 :param data : pandas格式数据 ...

数据分析 前言： EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 载入各种数据科学以及可视化库（都是使用常用的库） 载入数据 #se...

昨天参加牛客的全国模拟考试（三月场），感受了一下考试的紧张，也知道了自己有多菜，本想着刷了不少的代码题，写代码应该没有问题，但是三道题，没有一题写出来，也知道了自己还要继续努力了。 备注：对于选择题，考察的知识点有：数据结构、计算机网络（滑动窗口）、hadoop启动、机器学习、概率论（其他的忘记了） 第一题 题目： 开锁问题，给定一个锁密码和一个目前状态，问最少需要几步可以开锁。 分析： 通过比较...

基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移，一个决策序列就是在变化的状态中产生的，所以这种多阶段最优化决策解决问题的过程就称为动态规划（dynamic programming） 基本思想 与分治法类似，将待求解问题分割成若干子问题，按顺序求解子问题，前一个子问题的解，为后一个子问题的求解提供了有用的信息。 由于动态规划解决的问题多数存在重叠的子问题，为了减少重复计算，...