- 博客(15)
- 资源 (13)
- 收藏
- 关注

原创 爬取京东商品详情页信息
之前写过爬取京东商品导航信息,现在献上爬取京东商品详情页信息。#爬取京东商品详情页信息#2017/7/30import requestsfrom bs4 import BeautifulSoupimport osimport csvimport reimport jsonimport time#爬取页面链接def make_a_link(keyword,page):
2017-07-30 19:55:15
10857
4

原创 python爬虫爬取网页表格数据
用python爬取网页表格数据from bs4 import BeautifulSoupimport requestsimport csvimport bs4#检查url地址def check_link(url): try: r = requests.get(url) r.raise_for_status()
2017-07-16 20:49:00
52405
7
原创 python之函数式编程
介于编辑器的局限,可能有些markdown语法正确起作用,读者可以查看我的博客网站:[www.bestyblog.top](http://www.bestblog.top) 函数是Python内建支持的一种封装,我们通过把大段代码拆成函数,通过一层一层的函数调用,就可以把复杂任务分解成简单的任务,这种分解可以称之为面向过程的程序设计。函数就是面向过程的程序设
2018-01-28 22:35:47
439
原创 Android之xml
# 测试相关概念好的软件不是开发出来的,是不断测试出来的。# 根据是否知道源码黑盒白盒# 根据测试粒度方法测试单元测试集成测试系统测试# 根据测试暴力程度压力 12306冒烟monkey# 单元测试定义一个类继承AndroidTestCase在清单文件配置uses-l
2018-01-19 18:14:02
300
原创 Android发送数据到服务器和多线程断点下载
# 使用httpUrlconnection方式把数据提交到服务器基于http协议get方式:组拼url 地址把数据组拼到url上 有大小限制 1kb(浏览器) 4kb(http协议)post方式:post方式提交安全,没有大小限制get方式提交数据代码:```// 点击按钮 进行get方式提交数据 public void click1(View v) { new
2018-01-19 18:08:05
365
原创 Android Studio 常用快捷键
Android studio 一些常用快捷键。# Android studio 常用快捷键`Alt+回车` 导入包,自动修正`Ctrl+N` 查找类`Ctrl+Shift+N` 查找文件`Ctrl+Alt+L` 格式化代码`Ctrl+Alt+O` 优化导入的类和包`Alt+Insert` 生成代码(如get,set方法,构造函数等)`Ctrl+E或者Alt+Shift+C` 最近更改的代码
2018-01-19 17:42:41
281
原创 Scrapy第一战—爬取智联招聘
Scrapy是专业级T_T爬虫框架,在研究爬虫领域颇负盛名,是当今世界最流行的爬虫框架,没有之一。不过如此强大的爬虫框架,学习成本却比较高,作为一个新手,我对此感同身受,希望我的学习心得,避免大家入坑。 ## 安装Scrapy 打开命令行,输入 : `pip install scrapy `就是这么简单,安装完成。项目### 创建项目 通过命令行进入你要放置项目的文件,输入:
2017-08-29 22:30:27
907
原创 携程网旅游信息爬取
最近手又有点闲,闲着无聊就爬取了携程的信息,这个爬虫是我随手写的,各位可以看看。# -*- encoding=utf-8 -*-#爬取携程旅游信息#2017/8/14from bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElemen
2017-08-14 22:40:47
4823
1
原创 selenium+python+BeautifulSoup爬取知乎文章信息
本文通过selenium+python+BeautifulSoup来爬取知乎文章信息。#知乎推荐文章爬取#2017/8/6# -*- encoding = utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui
2017-08-06 18:18:29
1134
原创 爬取猫眼电影专业版实时数据排行榜
这是一个爬取猫眼电影专业版实时排行榜的代码。#猫眼电影实时爬取#2017/8/1import osimport requestsimport jsonimport time import csv#链接urldef get_to_link(): try: r = requests.get("https://box.maoyan.com/promovi
2017-08-02 20:37:34
6142
原创 震惊!!!excel竟然能当爬虫用!!!
1.首先点击‘数据’:2.点击自网站:3.输入要爬取的网址点击转到4.点击网页中的表格,点击导入5.导入数据6。完成爬取
2017-07-29 10:06:39
12249
2
原创 京东商品信息爬虫
本文实现一个京东商品信息爬虫,通过python实现,可以交互式的输入要查询的商品,查询信息保存到csv文件中。#京东商品信息爬虫#爬取京东商品信息并保存到csv格式文件中#2017-7-23import osimport requestsimport csvfrom bs4 import BeautifulSoup#获取url请求def gethtml(kind,page):
2017-07-24 11:32:05
1301
原创 爬取大众点评南京美食
爬取大众点评南京美食的数据,保存在‘D:\\数据\大众点评南京美食.csv'中import requestsfrom bs4 import BeautifulSoupimport csvimport os# 链接urldef gethtml(num): try: number = num + 1 print('{:<2d}{:<}{:<}'
2017-07-21 22:01:29
1140
原创 c++的运算符重载
C++中的加号重载:如何实现复数的相加:#includeusing namespace std;class Complex{ public: Complex(double r=0.0,double i=0.0):real(r),imag(i){} Complex operator+(const Complex &c2)const;
2017-06-21 10:50:40
353
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人