code_space

Python笔记之根据相对路径的网址链接提取并补充完整的网址链接参数说明：- response_url，需要补充的相对路径，例如/index/news1.html、./index/news2.html、//index/news1.html- href，当前网址所属主页网址，例如http://www.abc.com/news_list- return_href，补充完成后传回的完整网址链接，例如http://www.abc.com/news_list/index/news1.html

Scrapy中使用Selenium+Firefox浏览器爬取国债逆回购并发送QQ邮件通知。每到年底国债逆回购的利息都会来一波高涨，利息会比银行的T+0的理财产品的利息高，所以可以考虑写个脚本每天定时启动爬取逆回购数据，实时查看利息，然后在利息高位及时去下单。

python常用清除字符串中的各种空格、换行的代码记录

爬虫常用请求头笔记

Firefox浏览器驱动文档以及对应config设置 记录

Python:Scrapy+Selenium相关依赖包记录，存到txt文件中，在python环境中运行 pip install -r xxx.txt安装

目前很多股票网站的行情信息都是动态数据，我们可以用Scrapy+selenium对股票进行实时采集并持久化，再进行数据分析、邮件通知等操作。

接着上一篇的笔记，Scrapy爬取普通无反爬、静态页面的网页时可以顺利爬取我们要的信息。但是大部分情况下我们要的数据所在的网页它是动态加载出来的（ajax请求后传回前端页面渲染、js调用function等）。这种情况下需要使用selenium进行模拟人工操作浏览器行为，实现自动化采集动态网页数据。

写程序时经常能遇到读写文件的需求，有时会忘了各种读写模式的参数设置。这里做个记录，主要内容是：- 打开模式的参数设置- 打开文件- 读写文件- 复制文件

接着上篇记录的爬虫应用，这次来试下百度搜索的爬虫应用。百度的很多搜索结果可以为我们的行业挣得信息差，并且统计数据后可以发现规律，根据规律寻找盈利点。所以我们先来试下小demo来尝试爬取百度的搜索结果。

Python项目对MySQL数据库进行增、删、改操作时，有时会出现执行sql异常的情况。在批量提交数据的时候，如果其中一个事务提交错误，往往导致预期的整个数据链不完整。

python项目连接MySQL数据库时，需要第三方库的支持。这篇文章使用的是PyMySQL库，适用于python3.x。

python爬虫进阶篇：利用Scrapy爬取同花顺个股行情并发送邮件通知，来结合现实场景利用scrapy给我们带来便利

上篇我们记录了Scrapy的各个组件功能，这篇我们来动手scrapy爬虫框架的依赖库搭建和项目创建，开始进入进阶实战。

在日常业务中，经常会遇到需要程序发邮件提醒自己的情况。例如数据异常、工作任务进度完成情况、今日天气、今日股票行情等各种场景。如果引入发送邮箱以推进预期进度的功能，那将大大优化我们的日常。我也是近期在写国债逆回购的监控脚本时想起来用邮箱来提醒我去交易，以免错过了白嫖利息的时间，同时提高自己闲钱的利用率。

Python MySQL数据库连接与基本使用

Python json转换之其它数据类型与json的互转

Python 开发中常用又容易忘的十种代码，建议收藏

python爬虫入门篇：保姆级教程手把手教你实现网络爬虫

由于Markdown的轻量化、易读易写特性，并且对于图片，图表、数学式都有支持，许多网站都广泛使用Markdown来撰写帮助文档或是用于论坛上发表消息。如GitHub、Reddit、Diaspora、Stack Exchange、OpenStreetMap 、SourceForge、简书等，甚至还能被使用来撰写电子书。所以Markdown是一个优秀的开发者必备的工具。

python爬虫入门篇：设计一个可复用、通俗易懂、实用性强的爬虫框架

上篇文章我们已经了解了爬虫的请求和解析基础，今天我将为大家讲解一个简单的爬虫的框架设计架构，将爬虫运用到的中间件进行功能解析

Beautiful Soup，简称bs4，是Python的一个HTML或XML的解析库，一般用它来从网页中提取数据。

程序在运行的时候，如果python解释器遇到非语法错误时，会停止程序的执行，并且抛出一些错误的信息进行提示，这就是异常。

当我们挪用别人的项目、换一台设备重新部署项目时，需要把原本项目使用到的包记录下来并在新的环境中安装对应的包，并且包的版本要一致，避免版本冲突。这时我们可以使用pip的导入/导出命令，实现快速对接。

在日常业务开发中常常会碰到需要从一段文字中提取时间的情况。例如从文字中提取发布时间、创建时间等。针对不同的文字情况、不同的时间格式，这里整理一份关于提取大部分文字段落中日期时间的代码。有需要的直接调用即可。

for循环的使用很简单，重点在于掌握节省代码、优化代码的细节，从小细节做起培养习惯，形成代码洁癖。

整理下日常工作常用的python随机函数。random.randint()random.randint(1,100)随机产生a到b的整数，包括ab；前后ab的值，a必须小于等于brandom.random()random.random()生成一个0到1之间的随机浮点数，包括0但不包括1，也就是[0.0, 1.0]random.uniform(a,b)random.uniform(1.5,0.5)生成一个a到b之间的随机浮点数，ab的大小没有限制，a可以大于brando