- 博客(11)
- 收藏
- 关注
RSS订阅原创 爬虫开发日记（第三天）
数据提取1 爬虫中数据的分类结构化数据：json，xml等处理方式：直接转化为python类型非结构化数据：HTML处理方式：正则表达式、xpathjson的数据提取JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交...
2019-07-26 21:18:41
281
原创 爬虫开发日记（第二天）
1.requests模块–发送POST请求用法：response = requests.post("http://www.baidu.com/", data = data, headers=headers)data 的形式：字典练习：使用POST请求爬取必应翻译import jsonimport requestsclass BingTransSpider(object): ...
2019-07-21 21:53:45
504
原创 爬虫开发日记（第一天）
爬虫开发日记--第一天概念知识分类工作原理robots协议编解码HTTP相关知识浏览器发送http请求的过程url形式：HTTP请求报文格式HTTP常见请求头GET和POST的区别requests模块安装基本使用常用属性带header的请求user_agent池请求传递参数练习：使用面向对象的写法爬取百度贴吧1-5页的数据概念知识爬虫的实质：就是模拟浏览器客户端发送网络请求，接收请求对应的响应...
2019-07-20 23:42:11
349
原创 关于多模块之间使用import和from导入模块时共享数据的问题
(1)使用importmodule1:a = Truemodule2:import module1 def test(): module1.a = Falsemain:import module1, module2test()print(module1.a) # False起先，module1中的变量a指向True在模块2中，使用import mo...
2019-04-30 23:50:58
971
原创 SQL语句中select...as...的特殊用法
我们都知道，在sql语句中，使用as可以对字段、表等取别名，像对一些英文的字段取中文名称，使可读性更高。比如：现在我的表如下所示:select * from goods;使用as 将字段变为中文：select id as 序号, name as 名称, cate_id as 分类序号, brand_id as 品牌序号, price as 价格, is_show as 是否上架, is...
2019-04-28 21:54:42
43854
1
原创 如何快速的打乱一个列表内的数据
快速的打乱一个列表内的数据import randoma = [1, 2, 3, 4, 5, 6]random.shuffle(a) # shuffleprint(a)random.shuffle(self, x, random=None)对一个列表x进行重新洗牌，返回值为None。可选随机参数是一个0参数的函数，返回一个随机浮点数在[0.0,1.0];如果默认为None，使用标准...
2019-04-09 23:40:55
1423
原创 如何实现"1,2,3"变成["1", "2", "3"]
如何实现"1,2,3"变成[“1”, “2”, “3”]（1）通过使用split函数，以逗号分割拆分，并组织成列表返回str1 = "1,2,3"print(str1.split(","))（2）将str中的逗号用空取代，循环str，并将其添加入一个空的列表中str1 = "1, 2, 3"list1 = []for data in str1.replace(",", "") ...
2019-04-09 23:34:39
3833
原创 从两个列表中取出重复和不重复的数据
1，使用 & ^ | 的快速取值A = [1, 2, 3, 4, 5, 6]B = [4, 5, 6, 7, 8, 9, 10]c = set(A)d = set(B)print(c & d) # 与print(c ^ d) # 异或print(c | d) # 或2，使用set（）方法A = [1, 2, 3, 4, 5, 6]B = [4, ...
2019-04-09 23:32:06
2815
原创 两个变量交换数据的方法
两个变量交换数据的方法1，python独有的方法a = 1b = 2a, b = b, a 2，使用第三个变量进行交换a = 1b = 2 c = a a = bb = c3，自身相加减a = 1b = 2a = a + bb = a - b a = a - b...
2019-04-09 22:55:14
552
原创 Ubuntu16.04设置静态IP和DNS
Ubuntu16.04设置静态IP和DNS1.查看网卡名称ifconfig -a # 查看网卡名称2.设置静态IPsudo vi /etc/network/interfacesauto 网卡名称 iface 网卡名称 inet staticaddress x.x.x.x # ip地址netmask x.x.x.x # 子网掩码gateway x.x.x.x # ...
2019-03-26 10:58:49
3573
原创 Linux命令学习之su su- sudo 的区别及su认证失败
Linux命令学习之su su- sudo 的区别在学习Linux命令时，发现su su- sudo都能使用到超级权限不同的是：su 是切换到root用户，但是环境用的依然是当前用户本身的环境su - 是切换到root用户，并转到root的家目录环境（在首次使用 su- 的时候会遇到su 认证失败，此时只需要执行sudo passwd修改一次root密码即可 ）sudo 是在需要使用超级...
2019-03-18 12:21:21
944
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人