- 博客(63)
- 收藏
- 关注
RSS订阅转载 爬取淘宝商品信息selenium+pyquery+mongodb
'''爬取淘宝商品信息,通过selenium获得渲染后的源码,pyquery解析,mongodb存储'''from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as E...
2018-08-01 14:37:00
231
转载 requests库+ajax数据分析+多线程爬取头条图集
'''根据关键字获取今日头条图集'''import osimport requestsfrom urllib.parse import quotefrom hashlib import md5from multiprocessing.pool import Poolbaseurl = 'https://www.toutiao.com/search_content/?...
2018-07-29 09:12:00
191
转载 requests微博爬取Ajax数据+mongoDB存储
import requestsfrom pyquery import PyQuery as pqfrom pymongo import MongoClientheaders = { 'Referer': 'https://m.weibo.cn/u/2830678474', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64)...
2018-07-28 15:04:00
236
转载 redis存储
目录 redis存储 安装,链接与配置 edis python库redis RedisDump redis和StrictRedis 连接Redis 键操作 字符串操作 列表操...
2018-07-28 08:58:00
220
转载 pymongo操作MongoDB
目录 pymongo操作MongoDB 安装,启动及链接 MongoDB pymongo 连接MongoDB,指定数据库,指定集合 插入数据 查询 普通查询 条件查询 计数...
2018-07-26 15:04:00
224
转载 用pymongo连接mongodb,操作时报错:pymongo.errors.OperationFailure: not authorized on test to execute command...
创建连接对象时,用client = pymongo.MongoClient('mongodb://user:password@localhost:27017/')这样的方式,增加权限认证转载于:https://www.cnblogs.com/Wang-Y/p/9371143.html
2018-07-26 12:50:00
1833
转载 Ubuntu16.04下安装mongodb运行失败解决
原答案:<https://askubuntu.com/questions/770054/mongodb-3-2-doesnt-start-on-lubuntu-16-04-lts-as-a-service/770133#770133亲测有效,2018.7.25创建mongodb.service文件:sudo nano /etc/systemd/system/mongodb.s...
2018-07-25 19:44:00
704
转载 pymysql操作mysql
目录 pymysql操作mysql 安装,启动及链接 MySQL pymysql 链接数据库 创建表 事务性ACID 插入数据 更新数据 删除数据 查询操作...
2018-07-25 16:47:00
177
转载 ubuntu重装mysql
目录 重装mysql 首先删除mysql: 默认安装： 安装5.6（因为5.7版本据说经常出错） 安装完成后查看mysql状态： 重装mysql首先删除mysql:sudo apt-get remove mysql-*...
2018-07-25 15:01:00
161
转载 文件存储
目录 文件存储 TXT文本存储 文件打开模式 JSON文件存储 对象和数组构成的json形式 读写操作 CSV文件存储 写入 读取 ...
2018-07-25 12:24:00
119
转载 CSV转化为markdown表格形式
符号分割文本转化为markdown表格形式写博客,做笔记的时候,有时需要复制表格到markdown文档,数量一多一个个添加格式还是很麻烦,然后就写了一个小工具,先将表格复制粘贴到文本,用工具转换,再复制粘贴到markdown文档..def to_table(filename='test', rept=':'): '''将符号分割文本转化为markdown表格形式 ...
2018-07-24 17:29:00
792
转载 爬取知乎发现页面pyquery+文件存储
# 爬取知乎发现页面,用文件存储import requestsfrom pyquery import PyQuery as pqdef get_html(url): '''根据网址获取html页面 parameter:url目标网址 return:html页面 ''' headers = { ...
2018-07-24 16:44:00
167
转载 pyquery库
目录 pyquery库 初始化 基本CSS选择器 函数操作 查找节点 获取信息 DOM节点操作 伪类选择器 pyquery库侧重于css选择器,JQuery...
2018-07-24 14:09:00
183
转载 BeautifulSoup库
目录 Beautiful Soup库 解析器 基本用法 节点选择器(速度快) 方法选择器 find_all() 其他方法 CSS选择器 Beautiful...
2018-07-24 10:15:00
133
转载 xpath和lxml库
目录 XPath及lxml解析 xpath语法 1.XPath常用路径表达式 2.xpath谓词 3.选取未知节点 4.选取若干路径 5.XPath 轴 lxml 1.实例引入 ...
2018-07-24 08:14:00
172
转载 pipenv和autoenv
目录 pipenv 安装 创建环境 常用命令 换源 pipenv官方文档:https://docs.pipenv.org/#pipenv-usage安装pip3 install pipenv创建环境创建环境:...
2018-07-23 10:24:00
161
转载 正则表达式
正则表达式在线正则表达式测试工具:http://tool.oschina.net/regex/1.常见匹配模式模式描述\w匹配字母数字及下划线\W匹配非字母数字下划线\s匹配任意空白字符，等价于 [\t\n\r\f]....
2018-07-22 17:25:00
89
转载 requests库
目录 request库 1.七个主要方法 2.Request对象（其它方法参数，用法差不多） 3.Response对象的属性 4.requests异常 5.requests其他方法和属性 requests.codes req...
2018-07-22 14:59:00
100
转载 返回码和相应的查询条件
# 信息性状态码100: ('continue',),101: ('switching_protocols',),102: ('processing',),103: ('checkpoint',),122: ('uri_too_long', 'request_uri_too_long'),# 成功状态码200: ('ok', 'okay', 'all_ok', 'all_...
2018-07-22 10:42:00
122
转载 格式化文件转对象
格式化文件转对象爬虫构造请求头时,需要用到字典,在浏览器F12查看请求头,发现是类字典冒号分割文本,将其直接复制到本地文件,转化为字典对象,可拿来直接使用.代码是具有可扩展性的,需要其他格式转化为对象时,只用增加转化函数,自动提供文件名处理,持久化导入导出功能.代码如下:'''文本格式化转换,并提供将其持久化的导入导出功能.将 (键:值/n 键/值/n)类型文本转化为字典对象'...
2018-07-21 13:05:00
133
转载 网页相关查询
目录 在线工具 菜鸟教程 HTTP请求方法 http头信息 Content-Type(Mime-Type) HTML转义字符 RGB颜色参考 ASCII对照表 HTTP状态码详解 运算符优先级...
2018-07-20 09:00:00
175
转载 django-5.Django 管理后台
目录 Django 管理后台 创建管理员用户 将模型添加到管理后台 通过模型层对管理界面设置 自定义ModelAdmin类对管理界面设置 Django 管理后台创建管理员用户python manage.py create...
2018-07-17 10:43:00
128
转载 django-4.django模型
目录 django模型 配置数据库 Django应用 定义模型 基本的数据访问 添加模型的字符串表现形式 查询对象 删除对象 django模型配置数据库s...
2018-07-17 10:43:00
96
转载 django-3.模板引擎
目录 模板引擎DTL(django template language) 模板系统 使用模板系统 字典和上下文 基本的模板标签和过滤器 标签 过滤器 模板加载机制 render() ...
2018-07-17 10:40:00
322
转载 django-2.视图与url配置
目录 视图与url配置 视图函数 url配置 动态url 其他注意 视图与url配置Django 中指定两个信息:页面的内容由视图函数(view function)生成URL 在 URL 配置(URLconf)中指...
2018-07-17 10:39:00
248
转载 django- 1.环境与初始化项目
目录 环境与初始化 安装 建立项目 Django设置 运行开发服务器 MVC架构 环境与初始化安装virtualenv --python=/usr/bin/python3.5 env # 指定pytho...
2018-07-17 10:38:00
95
转载 css层叠样式表
目录 css层叠样式表 样式声明方式:优先级由高到低 css语法 基于css和div的页面布局 css层叠样式表样式声明方式:优先级由高到低元素内联样式: 通过元素内style属性,用冒好分割键和值,用分号分割不同样式 ...
2018-07-07 17:04:00
169
转载 python2的cgi程序
python2的cgi程序CGIHTTPServer 是 Python 标准模块中的 Web 服务器,它可以运行 CGI 程序。用 CGIHTTPServer 运行 CGI 程序时,待运行文件必须位于 cgi-bin 目录下:mkdir cgi-bin将 python文件放进去:mv hello.py cgi-bin/赋予文件运行权限:chmod u+x cgi-bin/hell...
2018-07-07 15:33:00
158
转载 开发环境和工具
目录 开发环境和工具 python工具 安装python 包管理:pip 虚拟环境:virtualenv,virtualenvwrapper python版本管理:pyenv 远程部署工具:fabric Python分布式任...
2018-07-07 10:45:00
657
转载 github入门
目录 安装 初始配置 1.设置姓名和邮箱地址 2.提高命令输出可读性 3.查看配置 4.配置默认推送 github账户 创建账户 设置SSH Key 添加公开秘钥 ...
2018-07-03 14:04:00
106
转载 Markdown
` 兼容html 1. 段落:空行 换行:两个空格后回车 2. 标题:#(1到6个) 3. 区块:> 4. 倾斜:*内容*,_内容_ 重点强调:**内容**,__内容__ 删除线:~~内容~~ 5. 无序列表:*,+,- 6. 有序列表:1. ,2. ,3. 7. 项中的多个段落:四个空格或tab...
2018-07-01 16:47:00
89
转载 2.6对一个整数中的各个数字求和.py
# -*- coding: utf-8 -*-"""Created on Sun Apr 22 16:27:35 2018@author: MyPC"""def main(): ''' 对一个整数中的各个数字求和. input:number output:sum ''' ...
2018-04-22 17:09:00
375
转载 2.5计算小费.py
# -*- coding: utf-8 -*-"""Created on Sun Apr 22 16:27:37 2018@author: MyPC"""def main(): ''' 计算小费. 公式： gratuity = subtotal * gratuity_rate total = g...
2018-04-22 17:08:00
486
转载 2.1摄氏温度转为华氏温度.py
# -*- coding: utf-8 -*-"""Created on Sun Apr 22 14:57:48 2018@author: MyPC"""def main(): ''' 摄氏温度转为华氏温度. 公式：fathrenheiit=(9 / 5) * celsius + 32 input:celsi...
2018-04-22 17:07:00
181
转载 2.3将英尺转化为米数.py
# -*- coding: utf-8 -*-"""Created on Sun Apr 22 16:20:42 2018@author: MyPC"""def main(): ''' 将英尺转化为米数. 公式： 一英尺等于0.305米 ''' feet = eval(in...
2018-04-22 17:06:00
324
转载 2.2计算圆柱体的体积.py
# -*- coding: utf-8 -*-"""Created on Sun Apr 22 15:55:56 2018@author: MyPC"""def main(): ''' 计算圆柱体的体积. 公式： area = radius * radius * π volume = area ...
2018-04-22 17:06:00
4469
转载 turtle更多函数 难度0
import turtleturtle.screensize(3024,2768)#屏幕turtle.write("hello天朝",font=("华文琥珀",20,"normal"))#设定字体大小turtle.showturtle()#显示turtle.begin_fill() #开始填充turtle.circle(100,steps=5)#多变...
2018-04-21 15:23:00
98
转载 turtle库画超立方体 难度1
#turtle库画超立方体import turtle#初始化起点turtle.penup( )turtle.goto( -50 , 25 )turtle.pendown( )#画一部分，重复8次for i in range(8): turtle.color("purple") turtle.forward( 100 ) ...
2018-04-20 23:02:00
200
转载 turtle库画四点的时钟 难度0
#turtle库画四点的时钟import turtle#画时钟外形turtle.penup( )turtle.goto( 0 , -100 )turtle.pendown( )turtle.circle( 100 )#画显示数字turtle.penup( )turtle.goto( 0 , -90 )turtle.write( " ...
2018-04-20 21:52:00
200
转载 Ubuntu16.04下锐捷上网若干问题
一.锐捷连成功后上不了网,未找到dns修改域名:sudo nano /etc/resolv.cong把127.0.0.1改为223.5.5.5(阿里的域名服务器)重启网路服务:service network-namager restart更改后的resolv.conf会自动恢复:修改 /etc/network/interfaces文件，sudo vim /e...
2018-04-09 13:58:00
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人