
爬虫
weixin_@0989
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
selenium 爬取数据结果 编程类工作要求(六)
前期代码网址:https://blog.youkuaiyun.com/weixin_42550496/article/details/106155783爬取结果:15职位诱惑:六险一金 免费三餐职位描述:项目背景:今日头条,介意慎投职位描述:1、负责教育中台服务端的算法与工程的设计和研发工作;2、运用工程及算法能力实现教育领域的产品落地3、主要实现语言为Python / Golang。职位要求:1、大学本科(统招)及以上学历,计算机、通信等相关专业;2、有...原创 2020-05-16 10:56:05 · 3121 阅读 · 0 评论 -
selenium 爬虫实例笔记(五)
以往文章:https://blog.youkuaiyun.com/weixin_42550496/article/details/106147955#爬取拉钩网数据from selenium.webdriver import Chrome# from selenium import webdriver# from selenium.webdriver.common.keys import Keys#导入Time 库import time#1 创建浏览器web=Ch...原创 2020-05-16 10:50:42 · 318 阅读 · 0 评论 -
selenium 爬虫 (四)
注——知识点:pip指令使用 '-t' 来指定安装路径。例如: pip install -t D:\python\binselenium学习网址:https://www.cnblogs.com/csj2018/p/9249700.html文章衔接 :由于篇幅问题 所以 分开写了https://blog.youkuaiyun.com/weixin_42550496/article/details/106147038这里边输入了 Keys.ENT...原创 2020-05-16 10:45:25 · 165 阅读 · 0 评论 -
selenium 三
文章衔接 上一篇https://blog.youkuaiyun.com/weixin_42550496/article/details/106146075文字较少 尽量看图理解 疑问留言自动执行的话 接下来的操作就是 点击叉子 (按照人们进入网站后的操作进行编写)原理就是 用户点击 叉号时网站有反馈 所以 找到点击叉号的触动器 让程序自动执行鼠标放在叉子上 点击右键 点击 【检查】打开了 还不一定能找得...原创 2020-05-15 18:52:21 · 222 阅读 · 0 评论 -
selenium driver笔记二
当没有添加驱动时 出现了报错的结果添加后的结果直接打开界面后来测试 保存文件后 双击执行文件应该也是可以的可以看到结果同时可以有许多网址 进行自动打开 按照顺序依次进行...原创 2020-05-15 17:54:12 · 161 阅读 · 0 评论 -
selenium 安装技巧笔记
在python中安装方法pip install selenium方法可以 但是容易出错 下载滴慢 易出现TimeOut一下这种方法是 后边的 —i 意思是换下下载地址下一行是更换的地址pip inistall seleniumSelenium]是一个用于Web应用程序测试的工具。Selenium 测试直接在浏览器中运行,就像真实用户所做的一样。Selenium 测试可以在 Windows、Linux 和 Maci...原创 2020-05-15 17:14:17 · 137 阅读 · 0 评论 -
爬虫 Fiddler应用笔记
Fiddler:是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件)。 Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露http通讯还提供了一个用户友好的格式。...原创 2020-05-11 23:32:34 · 179 阅读 · 0 评论 -
Python BeautifulSoup
原创 2020-05-08 22:33:39 · 149 阅读 · 1 评论 -
Python 爬虫
解释:导入库添加代码状态:503 而非200 错误查看编码 更改编码如图是更改后爬取的网页代码查看访问服务器时的程序 是浏览器还是爬虫 此时访问用户已经改变 Mozilla/5.0 是大部分浏览器访问服务器是的用户这里算是取代 诱骗...原创 2020-05-07 22:56:33 · 192 阅读 · 0 评论 -
Python爬虫笔记
https://blog.youkuaiyun.com/weixin_42550496/article/details/105939492https://blog.youkuaiyun.com/weixin_42550496/article/details/105939492...原创 2020-05-05 23:45:10 · 113 阅读 · 0 评论 -
Python爬虫 robots协议案例
http://news.sina.com.cn/robots.txt 新浪网User-agent: * //*代表任何用户都拦截 通配符Disallow: /wap/ //Disallow 不允许 中间含有 /wap/ 来爬取数据Disallow: /iframe/Disallow: /temp/https://www.qq.com...原创 2020-05-05 23:43:36 · 678 阅读 · 0 评论