光明~~~

Urlparse这个第三方模块中包含的函数有urljoin、urlsplit、urlunsplit、urlparse等。  1.urlparse.urlparse(urlstring[, scheme[, allow_fragments]])     urlparse将urlstring解析成6个部分，它从urlstring中取得URL，并返回元组 (scheme, netloc, path,...

在解析网页的过程中往往会遇到网页乱码的情况，自己去看网页源代码往往不太准确，这时候就需要用代码去判断网页源代码的编码方式，一共介绍三种方式：（推荐第二种） 这里以百度首页为例 url = 'http://www.baidu.com' 一， 使用urllib模块的getparam方法 import urllib #获取网页信息 data =urllib.urlopen(url).info...

因为爬虫爬到的字段不是很全，需要去解析PDF来获取一部分字段，于是就有了这篇博客 一.环境配置 因为之前的工程是在py2的基础上，本次打算使用py3，于是自己先把py3的环境配置好，个人比较喜欢anaconda，因为内置了很多需要的第三方包，在装一些其他包的时候难免会用到一些依赖包，而anaconda中恰好自带了一部分。（win，mac，linux都有，需要的自行下载安装），安装anacond...

问题：本地有一大堆CSV文件需要导入到MySQL中 要求：一个CSV文件创建一张表，并以CSV文件名（去掉.csv后缀）命名MySQL表名，CSV文件的字段名作为MySQL中的字段名。 因为本地的csv文件大约有1-2k个手动去MySQL中建表然后倒入完全不现实。于是就用Python写了一个脚本，自动读取本地文件夹下的csv文件，导入到MySQL中。 准备工作： 语言：python 2  ...