jiayoudangdang的博客

xpath解析：最常用且最便捷高效的一种解析方式。通用性。xpath解析原理：1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。环境的安装：pip install lxml如何实例化一个etree对象:from lxml import etree1.将本地的html文档中的源码数据加载到etree对象中：etree.parse(filePath)2.可以将从互

需求：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据http://scxk.nmpa.gov.cn:81/xk/但是我们要爬取详情数据，不是首页中直接显示的东西；思考，直接对当前的url发起请求，会不会得到包含企业名称，发证机关等数据，最麻烦的办法是，对这个url发起请求，然后看相应数据中是不是包含这些信息。为什么想要在首页中获取这些数据？因为点击企业的时候发现，每一个企业的名称对应一个超链接，最终想获得详情页所对应的页面，详情页对应的页面，应该由首页中每家企业所对应的超链接A

不是给肯德基打广告，就是凑巧想爬取这个QAQ目标网址：http://www.kfc.com.cn/kfccda/storelist/index.aspx通过观察文本框中输入文字后点击查询，并没有改变url说明这是一个阿贾克斯请求（AJAX）。需要的打开抓取工具，并选到XHR，再次点击进行抓包，通过查看抓到的Headers能知道URL是：http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword；是一个POST请求，有五个参数，

写笔记当然要插图~对吧~~打开pycharm，安装Markdown和Paste images into MarkDown但是只支持相对路径的图片QAQ

碎碎念：本来是学深度学习，但是一直都想看看爬虫是啥，于是开始学爬虫打发无聊时间，希望三天能听完100节课QAQ。之前一直在pycharm中使用markdown突然脑抽想直接打开md文件，于是下载了MarkdownPad2，但是并不能显示预览（还是pycharm舒服啊）这肯定忍不了啊。在http://markdownpad.com/faq.html#livepreview-directx这里发现了一些信息：LivePreview is not working - it displa..

查看chrome的UserAgent打开浏览器控制台，输入javascript:alert(navigator.userAgent)即可