harden007-优快云博客

转载利用Python爬取彩票信息

在爬取一些简单的（没有反爬机制的）静态网页时，一般采取的策略是：选中目标（所谓的url链接），观察结构（链接结构，网页结构），构思动手（选用什么HTML下载器，解析器等）。在爬虫过程中，都会涉及到三种利器：HTML下载器：下载HTML网页HTML解析器：解析出有效数据数据存储器：将有效数据通过文件或者数据库的形式存储起来今天，我们将利用requests库和BeautifulSoup...

2018-07-17 20:53:36 8775 2

原创正则表达式——search与match的区别

#match的使用 p141'''import redef lizi1(): nihao="nihao 123 4567 world_this a regex demo" a=re.match("^nihao\s\d{3}\s\d{4}\s\w{10}\s\w\s\w{5}\s\w{4}",nihao) print(a) print(a.group()) ...

2018-05-14 09:49:28 1822

原创爬虫之urllib库以及requests库的使用说明

import urllib.request#######一 urllib库的使用###### 里面有三个常用的模板，分别是requeat，error，parse.,其中resqust里面就有urlopen，以及Resqust'''#课本p103，最简单的通过get方式爬取网页的方法，就是使用urlopen方法response=urllib.request.urlopen('https:/...

2018-05-14 09:45:39 2826

转载数据库（二）1月7号数据类型

一，MYSQL数据类型之整型二，MySQL数据类型之浮点型三，MySQL数据类型之日期时间型四，mysql数据类型之字符型

2018-01-09 18:06:09 363

转载 MySQL知识（一） 1月7号基本操作命令

一、默认端口号：3306二、超级用户：root三、创建数据库：create database+新建数据库的名字;1.语法：CREATE {DATABASE | SCHEMA} [IF NOT EXISTS] db_name [DEFAULT] CHARACTER SET [=] charset_name.2.【PS：{} 必选项； [] 可选项； | 在其中选择】3.DATABA

2018-01-07 19:43:02 254

转载字符编码笔记：ASCII，Unicode 和 UTF-8

原文地址：http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html今天中午，我突然想搞清楚 Unicode 和 UTF-8 之间的关系，就开始查资料。这个问题比我想象的复杂，午饭后一直看到晚上9点，才算初步搞清楚。下面就是我的笔记，主要用来整理自己的思路。我尽量写得通俗易懂，希望能对其他朋友有

2018-01-07 19:16:29 198

转载爬虫—实战之小实验

1，首先来一个最基础的爬虫，抓取一个静态网页的代码（1） # 导入urllib2 库import urllib2# 向指定的url发送请求，并返回服务器响应的类文件对象，**注意的是com后面要加上一个/**response = urllib2.urlopen("http://www.baidu.com/")# 类文件对象支持文件对象的操作方法，如read()方法读取文件全部内容，

2017-12-24 20:03:30 1030

转载爬虫—基础部分之简介（python2.7）

大数据时代”，数据获取的方式：企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然优势的，有数据意识的中小型企业，也开始积累的数据。数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测，和各行各业的公司进行合作、专家对话（数据积累很多年了，最后得出科研结果）来采集数据。政府/机构提供的公开数据：政府通过各地政府统计上报的数据进

2017-12-24 18:29:34 428

harden007的博客