Dahlin哥's 博客

总结了一些VsCode常用的操作和相关命令及快捷键，包括光标移动，文本编辑，跳转，搜索替换，鼠标操作，和一些相关的命令使用。

最近我在整理我拍的照片，我的照片全都存在了七牛云里，数量比较多，如果我要一个个从网页上下载比较麻烦，所以我就学习了一下七牛云官方网站提供的SDK和api接口，发现用七牛SDK批量下载比较麻烦，所以我自己想出了一种好办法。

JsonPath是解析Json字符串用的，类似于Xpath，使用JsonPath可以根据语法提取Json串中的关键信息和相关键值，无论嵌套了多少层，都能提取出来，省去了先反序列化成对象再取值的麻烦，堪称一项伟大的发明。

我之前用Django框架搭博客网站的时候，一开始图省事，用的自带的sqlite数据库，后来自己买了云服务器，就迁移到了mysql上，当时记得查了很久的文档，才试出来，就记下来了，因为django的版本升级很快，命令有时会有变化，不熟悉文档很容易陷入各种坑中。

XPath是一门在XML文档中查找信息的语言，在网络爬虫应用中十分常用，我们经常用Xpath表达式在网页脚本中过滤提取需要的关键信息，而且Xpath是一门通用的标准语言，除了在python中使用，在其他语言中也有相应的类库可以使用，例如C#中的HtmlAgilityPack库，所以比较通用，我一般写爬虫提取数据都喜欢用XPath，通用好改，毕竟有时候原始数据的格式会经常变化。

在前两节中我们已经了解了怎么下载html，发起请求，获取响应字符串了，那么剩下的就当然是从html中提取我们需要的数据了，在python中提取数据有几种方式，其中一种是最原始的正则表达式提取，这种方式比较麻烦，维护起来费劲，因为正则表达式不是很容易被理解，但我们还是能经常用到它，比如，在提取完大段数据后，有时候我们需要用正则来提取其中更简短的信息，总之肯定会经常用到，无论大型项目还是小的爬虫脚本。

提到python爬虫，不得不提起大名鼎鼎的requests库，它的作者是K神( kennethreitz)，号称全球最顶尖的Python程序员之一，requests库设计的十分人性化，用着非常舒服，但不支持异步，不知道现在支持不支持，我前些年玩python的时候，requests还不支持异步，当然咱们自己玩，绝大部分场景requests库还是可以满足需求的。

python比较基础的应用之一就是写爬虫了，写爬虫抓取数据无外乎就几个步骤，先把html等数据下载下来，再从下载得到的数据之中的利用各种字符串解析的方法提取解析我们所需要的的数据，当然也包括数据清洗，最后就是把我们辛苦提取出来的数据保存下来。然后再用这些数据进行分析预测什么的，总之爬虫是基础，没有数据，巧妇难为无米之炊。

httpbin是大神kennethreitz为搭建测试用的http服务而写的项目，httpbin 这个服务应用能测试HTTP请求及响应的各种信息，比如 cookie、ip、headers 和登录验证等，且支持 GET、POST 等多种方法，对 web 开发和测试具有很大的帮助，它是用 Python + Flask 编写的，是一个开源项目，我汇总了一些使用docker搭建部署httpbin服务的详细步骤。

对Http接口进行压力测试，作为一个码农，我十分喜欢自己写脚本来压测接口，这是我之前写的用来压测http接口的python脚本，用了一个生产者消费者模式，和一个并发队列，用生产者方法来攒接口参数压入并发队列，消费者从队列中取数据执行调用接口，可以准确的记录调取接口的次数，还是比较有用的。

这是我之前写的用来测试http接口的python脚本，测试接口的工具有很多，比如Jmeter,Postman等等，但作为一个码农，还是觉得自己写脚本测比较方便，尤其是接口的各种参数配置及加密什么，编写脚本程序来测，简直不要太爽。

这是我汇总的一些关于pip和virtualenv的配置及使用的详细步骤说明，总所周知，pip是python类库的安装工具，而virtualenv是创建不同python版本的虚拟环境用的，二者基本是python基础入门的标配。

这是之前听大神讲异步的时候看到的一篇教程，后来又查了一些资料，汇总了一下，先记下来，后续用到了再深入研究。

aiohttp是一个异步的请求库，类似于requests库的异步版本，asyncio是一个python标准库自带的协程框架，可以用于高并发异步编程，两者结合使用效果十分理想，可以用于编写测试接口的高并发脚本。

本实例只能识别简单的图片字符验证码，可以用于执行简单的自动化测试场景。

这是我以前写的一个基于Chrome浏览器的京东爬虫，使用了selenium库和Chrome浏览器，实验性质的脚本，可以根据不同的商品名称，抓取京东商城上的商品明细列表，并存入MySQL数据库。