JerryZengZ的博客

腾讯新闻爬取from selenium import webdriverfrom lxml import etreeimport timeurl = 'https://news.qq.com/'bro = webdriver.Chrome()bro.get(url)for i in range(5): bro.execute_script('window.scrollTo(0...

本次目标：了解session和cookie，ip代理知识，selenium的使用，拔高：实现丁香园的模拟登录爬取留言板session和cookie因为http是无状态的，就是说这一次请求和上一次请求是没有任何关系的，互不认识的，没有关联的。这种无状态的的好处是快速。坏处是假如我们想要把www.zhihu.com/login.html和www.zhihu.com/index.html关联起来，...

本次需要了解bs4库的使用，xpath，正则表达式并实现案例bs4库的使用Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。 它基于HTML DOM 的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、...

了解http基础http协议方法：GET 请求指定的页面信息，并返回实体主体。 HEAD 类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。PUT 从客户端向服务器传送的数据取代指定的文档的内容...

模型融合目标1、对于多种调参完成的模型进行模型融合。2、完成对于多种模型的融合，提交融合结果。导入库和数据import itertoolsimport matplotlib.gridspec as gridspecfrom sklearn import datasetsfrom sklearn.linear_model import LogisticRegressionfrom s...

建模调参特征工程目标1、了解常用的机器学习模型，2、掌握机器学习模型的建模与调参流程（主要通过模型的效果来调参）线性回归模型sample_feature=sample_feature.dropna().replace('-',0).reset_index(drop=True)sample_feature['notRepairedDamage']=sample_feature['not...

位运算与操作（&）：0&0=0 0&1=0 1&1=1异或操作（^）:或操作（|）取反操作（~）左移（<<）右移（>>）

extend与append的区别extend：把序列seq的内容添加到列表中（是在列表中加入别人的元素，别人有多少个单元，就加入多少个单元）append：向列表中添加一个对象object（是把别人的所有元素当成自己的一个元素，然后加入，不管别人有多少个单元，都当成一个单元加入）...