- 博客(12)
- 收藏
- 关注
RSS订阅原创 C#----String,List,Dictionary和HashTable属性方法大全
C#中String,List,Dictionary和Hashtable方法大全
2022-12-21 16:54:49
232
1
原创 爬虫面试日记----2
安装并调用12306抢票助手（github）:Linux环境下安装1 .touch requirements.txt 创建依赖库文件， python3 -m pip install -r requirements.txtLinux常用指令：top:sudo:管理者身份调用指令 意味着root权限剪切/移动 : mv mv file ./dicmkdir:创建目录rm 删除文件 rm...
2019-09-30 11:10:30
179
原创 scrapy面试相关问题
1. scrapy的基本结构？调度器（请求队列）， 下载器（下载网页），spider（解析提取数据），pipeline（验证和持久化，一般用于存储数据库），引擎（核心）==>resquests 分析接口，构造请求 =》 发送请求 =》数据清洗解析提取=>入库存储2.scrapy的中间件？下载中间件：爬虫中间件： ...
2019-09-29 06:29:28
4653
原创 爬虫面试日记---1
MongoDB远程连接？直接修改MongoDB.exe目录下mongod.cfg 文件的端口 ，改BindIP0.0.0.0 所有的计算机都可以直接连接然后重新启动MongoDB服务 首次启动需要指定数据存放的路径， mongo -dbpath C:\DB\MongoDB\Server\4.0\data 这样启动的是mongoDB的服务器 然后通过再次启动mongo 连接服务端的操作客...
2019-09-29 06:21:57
110
原创 Windows 连接VM虚拟机 Linux中的Redis的坑和注意事项
首先安装并启动对应的Redis服务器注意Redis中配置文件，bind所对应的IP，绑定的IP是多少，就只允许该IP连接，故在更改IP测试中应当注意IP 对应其次最重要的是虚拟机的IP，虚拟机对应的IP并不是xshell中IP，而是查看ipconfig中有一个vm ip其中Linux的安装软件流程：1.wget url 下载软件2.tar -zxvf 压缩包 解压3. c...
2019-09-18 18:30:59
468
原创 Python中函数和生成器
函数有三个相关属性：ID， type， valuedef 函数名：均会分配一个ID名，类型都属于 class function， value: return value ,无的话则属于Nonetype函数不加括号表示的是函数体，加括号表示函数的调用：这就是def关键字的作用>>>a=10>>>type(a)>>><class ...
2019-07-17 16:32:16
105
原创 Python生成器generator中的next（）和send（）的实现流程通俗详解
刚开始学习Python的时候，生成器的原理一直很懵逼，这到底是个撒玩意儿，从定义上来看，嗯，没错，是个函数，加了一个yield，怎么就变成了生成器了，这定义不是一个函数嘛？一看就不是什么正经函数！话说回来，生成器本身就是一个特殊的函数，特殊在哪？生成器本身可以实现next（）函数def consumer(): r = "here" for i in range(3): ...
2019-07-16 20:17:44
482
转载 优快云怎么转载别人的博客
在参考“如何快速转载优快云中的博客”后，由于自己不懂html以及markdown相关知识，所以花了一些时间来弄明白怎么转载博客，以下为转载优快云博客步骤和一些知识小笔记。 参考博客原址：http://blog.youkuaiyun.com/bolu1234/article/details/5186...
2019-07-15 00:20:28
100
转载 淘宝爬虫之强行登录如何解决Selenium被检测到的问题？
最近遇上一些反Selenium爬虫的情况，爬虫都会碰到某些网站刚刚打开页面就被判定为：非人类行为。因为不少大网站有对selenium...
2019-07-15 00:14:40
3810
2
转载 selenium爬取 如何被淘宝检测到
爬虫都会碰到某些网站刚刚打开页面就被判定为：非人类行为因为很多网站有对selenium的js监测机制。比如：navigator.webdriver，navigator.languages，navigator.plugins.length……美团，大众，淘宝这些大站点都有这种技术能力。。对window.navigator.webdriver的检测机制。正常情况下 window.navigato...
2019-07-15 00:03:47
1370
原创 Python中的生成器和迭代器的本质
1. list中null和none不是一回事，null 代表是内容为空，len(list) = 0, none代表list不存在， list= = False2. 列表可以直接相加 [1]+[1] 输出[1, 1]
2019-07-11 01:07:15
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人