- 博客(12)
- 收藏
- 关注
RSS订阅转载 Scrapy中使用fake_useragent
pip install fake-useragent middlewares.py: from fake_useragent import UserAgent ua = UserAgent() from fake_useragent import UserAgent class RandomUAMiddleware(object): def process_request(self,re...
2020-04-18 19:18:29
784
1
原创 Matplotlib基础操作
直方图 plt.hist(df.life,bins=50,rwidth=0.9) # bins 设置区间数，rwidth设置柱子相对宽度 plt.show() plt.rcParams[] pylot使用rc配置文件来自定义图形的各种默认属性，称之为rc配置或rc参数。通过rc参数可以修改默认的属性，包括窗体大小、每英寸的点数、线条宽度、颜色、样式、坐标轴、坐标和网络属性、文本、字体等。 r...
2019-12-31 15:08:20
306
转载 数据分析EXCEL常用
转自：https://mp.weixin.qq.com/s?__biz=MjM5NjEyMDI2MQ==&mid=2455946747&idx=1&sn=667693f99cc34ca357719cc459fba183&chksm=b1787651860fff47f24645579fe956e952360ddc597b1fd5be43f90df2212103434d...
2019-12-05 17:10:52
453
原创 特征工程
sklearn.datasets.load_数据集名() 获取数据集 sklearn.datasets.fetch_数据集名() 获取大规模数据集 特征工程处理方法： 原始数据–>数据处理–> 特征提取 --> 特征选择和特征降维 -->模型构建 3类特征提取方式： 1.数值类型 -->直接使用 2.时间序列 --> 转成单独 年、月、日 3.分类数据 --...
2019-11-27 14:52:38
274
原创 MySQL基础操作
Python操作MySQL import pymql #导入pymql包 连接 conn = pymysql.connect ( host='localhost', port=3306, user='root', passwd='密码', db='database name' ) cur...
2019-11-12 17:19:34
257
原创 pandas常见基础操作
import pandas as pd 导入 创建 data = {' 列名' : [' ', ' ', ' ']} df_data = pd.DataFrame(data) 创建pandas，相当于字典 取 pd.read_csv(' .csv') 读取csv文件 df.head(6) 读取前6行 df.info() 返回当前信息 df.columns() 返回列名 df.in...
2019-11-12 11:27:53
235
原创 模拟登录
请求时携带Cookies def start_requests(self): # 请求时携带Cookies cookies = '_uuid=AF1BDDAC-262D-B735-E263-8B18B08AA29127233infoc; buvid3=4AF29BB0-2171-4B3D-ABCC-9B3CE12D3CA9190968infoc; LIVE_BUVID=AUTO72156...
2019-11-12 11:00:58
709
原创 selenium常用
selenium实用方法 from selenium import webdriver from selenium.webdriver.chrome.options import Options #无头浏览器 def __init__(self)： self.options = Options() self.options.add_argument('-headless') # 无头参数...
2019-11-12 10:58:52
425
原创 numpy常用基础操作
np.intersectld(arr1,arr2) 找出公有值 np.setdiffld(arr1,arr2) 去重 np.where(arr1=arr2) 找出匹配元素的索引号 np.exp(arr1) 求幂次方 np.sqrt(arr1) 开方 np.floor(arr1) 向下取整 np.linspace( 起始点,结束点,元素个数） 生成等差数列 np.identity(...
2019-11-12 10:57:33
523
转载 Scrapy setting详解
settings.py配置文件中： 本文转载自: https://blog.youkuaiyun.com/fenglei0415/article/details/80438110 # -*- coding: utf-8 -*- # Scrapy settings for demo1 project # # For simplicity, this file contains only set...
2019-09-30 11:24:24
215
原创 Python学习笔记之——封装
Python学习笔记之——封装 封装是指： 1、将不需要对外提供的细节都隐藏起来。 2、把属性都隐藏，提供公共方法对其访问。 私有变量和私有方法，在python中用双下划线来将其隐藏。 封装在于明确区分内外，使得类实现者可以修改封装内的东西而不影响外部使用者的代码。而外部使用者只知道一个接口，只要接口名和参数不变， 使用者的代码永远无需改变。提供了一个良好的合作基础 ...
2019-09-30 10:40:31
309
原创 初次运用scrapy爬取Ajax异步加载数据(陕西)
1.运用scrapy写爬虫 ①创建scrapy目录 ②设置setting ③写items ④写爬虫 scrapy.Request()参数： url: 需要请求，并进行下一步处理的url callback: 指定该请求返回的Response，由那个函数来处理。 method: 一般不需要指定，使用默认GET方法请求即可 headers: 请求时，包含的头文件。一般不需要。 Host: media.r...
2019-09-20 17:26:15
821
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人