<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[起风了]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Light__1024</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Light__1024]]></copyright><item><title><![CDATA[列表和元组（更新后）]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/84404473</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/84404473</guid><author>Light__1024</author><pubDate>Mon, 01 Jul 2019 22:19:54 +0800</pubDate><description><![CDATA[Day2.1、变量的创建与id2、浮点数的精确度3、列表列表的操作列表枚举：enumerate判断输入是否为数字
1、变量的创建与id
当我们定义了一个变量name = ‘oldboy’的时候，在内存中其实是程序开辟了一块内存空间，将‘oldboy’存储进去，再让变量名name指向‘oldboy’所在的内存地址。

当我执行下面这段代码的时候，程序是怎么处理的呢？
name1 = ‘oldboy’...]]></description><category></category></item><item><title><![CDATA[反思]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/89735368</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/89735368</guid><author>Light__1024</author><pubDate>Wed, 01 May 2019 08:14:31 +0800</pubDate><description><![CDATA[接触编程是从python开始的，一开始觉得好玩，工作与此也不沾边。此后找了课程和书，一股脑的学了下来之后写在了优快云上，逐渐忘了玩的初衷。此刻暂时搁置学习数据结构，算法，操作系统等，慕课上的课程也暂时搁置。因为这段时间发现自己贪多，玩的小项目比较少，没有多少成就感而且比较累，所以系统性学习放在之后，这段业余时间想办法实现自己的小想法，找几个好玩的小项目。

...]]></description><category></category></item><item><title><![CDATA[某网站销售数据分析]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/89097195</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/89097195</guid><author>Light__1024</author><pubDate>Mon, 08 Apr 2019 17:14:20 +0800</pubDate><description><![CDATA[补充： 


]]></description><category></category></item><item><title><![CDATA[mysql用到的查询语句补充]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/89057869</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/89057869</guid><author>Light__1024</author><pubDate>Sat, 06 Apr 2019 17:12:13 +0800</pubDate><description><![CDATA[部分数据内容如下：

括号划分优先级
：找出上海本科的职位信息和北京硕士的职位信息
select * from DataAnalyst
where (city = '上海' and education= '本科') 
   or (city = '北京' and education = '硕士')

去重计数
：找出每个城市的职位数
select city,count(distinct posit...]]></description><category></category></item><item><title><![CDATA[pandas链接mysql数据库读取和存入]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/89056746</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/89056746</guid><author>Light__1024</author><pubDate>Sat, 06 Apr 2019 15:56:18 +0800</pubDate><description><![CDATA[步骤：

导入包
写sql语句
编写引擎：engine=sqlalchemy.create_engine('mysql+pymysql://root:123@localhost:3306/db1')
root是用户名，123是密码，@是本地地址，3306是端口，db1是库名
读取是pd.read_sql(sql,engine,)
写入是to_sql('mydf2',engine,index=Fal...]]></description><category></category></item><item><title><![CDATA[爬虫——基于RedisSpider分布式爬取网易新闻：代理池，ua池，selenium加载动态数据，分布式]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88800365</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88800365</guid><author>Light__1024</author><pubDate>Mon, 25 Mar 2019 17:30:18 +0800</pubDate><description><![CDATA[总结：
先编写普通工程代码再改写。
selenium使用
1、在爬虫文件中，用selenium创建浏览器对象，
2、然后改写下载中间件的process_response方法，通过该方法对下载中间件获取的页面响应内容进行更改，更改成浏览器对象去模拟浏览器获取全部页面之后的内容。

3、进一步发现页面下拉的时候数据还会不断加载，因此在让浏览器再执行一段js代码移动到浏览器底部。
4、settings里...]]></description><category></category></item><item><title><![CDATA[爬虫——分布式爬虫爬取糗事百科所有页面的趣图链接]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88777142</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88777142</guid><author>Light__1024</author><pubDate>Sun, 24 Mar 2019 15:12:21 +0800</pubDate><description><![CDATA[文章目录分布式爬取的流程：代码：
实质上就是在多个机器上运行爬虫文件，调用组件scrapy_redis实现共享调度器和管道，写入redis数据库的过程。
分布式爬取的流程：
https://www.cnblogs.com/foremostxl/p/10095663.html#_label1


安装scrapy-redis组件，pip install scrapy-redis


redis配置文...]]></description><category></category></item><item><title><![CDATA[爬虫——scrapy框架爬取多个页面电影的二级子页面的详细信息]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88763541</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88763541</guid><author>Light__1024</author><pubDate>Sat, 23 Mar 2019 16:36:13 +0800</pubDate><description><![CDATA[文章目录需求：总结：代码：movieinfo.pyitems.pymiddleware.pypipelines.py结果：附加：
需求：

scrapy框架，爬取某电影网页面的每个电影的一级页面的名字
爬取每部电影二级页面的详细信息
使用代理ip
保存日志文件
存为csv文件

总结：
1、xpath解析使用extract()的各种情况分析
https://blog.youkuaiyun.com/nzjdsd...]]></description><category></category></item><item><title><![CDATA[scrapy-日志种类]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88743131</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88743131</guid><author>Light__1024</author><pubDate>Fri, 22 Mar 2019 15:50:14 +0800</pubDate><description><![CDATA[日志等级
(种类)：

	CRITICAL：严重
    ERROR：错误
    WARNING：警告
    INFO：一般信息
    DEBUG：调试信息（默认）
指定输入某一日志信息：
    settings:LOG_LEVEL = ‘ERROR’
将日志信息存储到制定文件中，而并非显示在终端里：
    settings：LOG_FILE = ‘log.txt’

学习：
https...]]></description><category></category></item><item><title><![CDATA[爬虫——post请求，代理，cookie]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88742234</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88742234</guid><author>Light__1024</author><pubDate>Fri, 22 Mar 2019 15:21:34 +0800</pubDate><description><![CDATA[发起post请求

改写def start_requests(self):
封装参数字典格式
回调函数yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse)




    class PostdemoSpider(scrapy.Spider):
        name = 'postDemo'
        ...]]></description><category></category></item><item><title><![CDATA[爬虫——scrapy框架核心组件流程]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88734712</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88734712</guid><author>Light__1024</author><pubDate>Fri, 22 Mar 2019 10:33:44 +0800</pubDate><description><![CDATA[流程：

引擎检测起始列表的url,调用start_request方法对列表里的url发起请求
start_urls = [‘https://www.qiushibaike.com/text/’]
Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler（调度器）。
Scheduler（排序，入队）处理后，经ScrapyEngine...]]></description><category></category></item><item><title><![CDATA[爬虫——多个url数据爬取]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88733828</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88733828</guid><author>Light__1024</author><pubDate>Fri, 22 Mar 2019 10:05:47 +0800</pubDate><description><![CDATA[请求的手动发送
pipelines.py
class SecondPipeline(object):
    f = None

    def open_spider(self,spider):
        print('start')
        self.f = open('./qiubai.text','w',encoding='utf-8')

    def process_i...]]></description><category></category></item><item><title><![CDATA[scrapy框架——持久化存储]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88719082</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88719082</guid><author>Light__1024</author><pubDate>Fri, 22 Mar 2019 08:43:00 +0800</pubDate><description><![CDATA[文章目录磁盘文件基于终端指令流程总结基于管道流程总结：数据库mysql:流程总结：redis:流程总结：
磁盘文件
基于终端指令
class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    #allowed_domains = ['www.qiushibaike.com/text']
    start_urls = ['https://w...]]></description><category></category></item><item><title><![CDATA[爬虫——scrapy框架基础]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88711523</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88711523</guid><author>Light__1024</author><pubDate>Thu, 21 Mar 2019 12:04:26 +0800</pubDate><description><![CDATA[学习：https://www.cnblogs.com/foremostxl/p/10078543.html
基础语法：
在命令行下创建工程：
scrapy startproject 项目名称

在命令行下创建项目：
cd 进入工程所在文件夹
scrapy genspider 爬虫文件的名称 起始url

再执行命令:
项目文件下执行 ：scrapy crawl 爬虫文件的名称   --nolog(...]]></description><category></category></item><item><title><![CDATA[爬虫——需求：获取豆瓣电影中动态加载出更多电影详情数据]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88700025</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88700025</guid><author>Light__1024</author><pubDate>Wed, 20 Mar 2019 21:15:02 +0800</pubDate><description><![CDATA[# 需求：获取豆瓣电影中动态加载出更多电影详情数据
# 思路：喜剧排行榜，ajax请求，20条，页面滚动加载
# 
# 浏览器打开网址--模拟浏览器滚动--怎么滚动页面？执行js代码。怎么抓取？不用重新发请求
from selenium import webdriver as wd
from time import sleep

bro = wd.PhantomJS(executable_path...]]></description><category></category></item><item><title><![CDATA[爬虫——phantomJs]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88699694</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88699694</guid><author>Light__1024</author><pubDate>Wed, 20 Mar 2019 21:02:22 +0800</pubDate><description><![CDATA[PhantomJS是一款无界面的浏览器,
驱动下载：
http://phantomjs.org/download.html
流程与selenium一致，只是改了webdriver 的浏览器类型和驱动目录，增加了截屏功能bro.save_screenshot('./1.png')
from selenium import webdriver as wd

bro = wd.PhantomJS(exe...]]></description><category></category></item><item><title><![CDATA[爬虫——selenium]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88694963</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88694963</guid><author>Light__1024</author><pubDate>Wed, 20 Mar 2019 17:44:43 +0800</pubDate><description><![CDATA[让谷歌浏览器自动启动并百度自动搜索关键词
思路：下载浏览器驱动，创建浏览器对象，让浏览器get请求打开一个页面，定位到搜索框，输入值，定位到按钮，执行点击操作。
环境搭建
安装selenum：pip install selenium
获取某一款浏览器的驱动程序（以谷歌浏览器为例）
谷歌浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/inde...]]></description><category></category></item><item><title><![CDATA[爬虫——beautiful演练及语法]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88693678</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88693678</guid><author>Light__1024</author><pubDate>Wed, 20 Mar 2019 17:05:59 +0800</pubDate><description><![CDATA[将html文档转换成beautiful对象，然后调用属性和方法进行定位解析
主要语法：


创建Beatiful对象：
本地：BeautifulSoup(open('本地文件'), 'lxml')
网络:Beatiful('网络请求到的页面数据','lxml')


获取a标签属性：soup.a['href']


获取文本内容：
soup.a.string 相当于xpath中的 /text()
...]]></description><category></category></item><item><title><![CDATA[爬虫——利用xpath插件爬取段子]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88691349</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88691349</guid><author>Light__1024</author><pubDate>Wed, 20 Mar 2019 16:02:49 +0800</pubDate><description><![CDATA[# 项目需求：利用Xpath 获取段子的内容和作者  https://ishuo.cn/joke 
import requests
from lxml import etree

# 指定url
url='https://ishuo.cn/joke'
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/5...]]></description><category></category></item><item><title><![CDATA[爬虫——练习分页爬取糗事百科热图，保存图片到本地]]></title><link>https://blog.youkuaiyun.com/Light__1024/article/details/88685932</link><guid>https://blog.youkuaiyun.com/Light__1024/article/details/88685932</guid><author>Light__1024</author><pubDate>Wed, 20 Mar 2019 12:48:39 +0800</pubDate><description><![CDATA[os模块操作
re模块操作
requests操作
缺点是有点慢
import requests
import re
import os

if not os.path.exists('./img2'):
    os.mkdir('./img2')

start_page = int(input("输入起始页码"))
end_page = int(input("输入终止页码"))

proxies...]]></description><category></category></item></channel></rss>