李御风的博客

import pandas as pda = ['a','b','c']b = [1,2,3]dit = {'char':a, 'num':b}file_path = r'./output.xlsx'writer = pd.ExcelWriter(file_path)df = pd.DataFrame(dit)#columns参数用于指定生成的excel中列的顺序df.to_exce

代码部分：import matplotlibmatplotlib.use('Agg')import numpy as npimport matplotlib.pyplot as pltx = [15, 20, 30]text_tag_lst = ['blue','green', 'black']myfont = matplotlib.font_manager.FontProperties(

文本格式形如：tips_lst = []lst = page.xpath('//div/div')#提取 1、荷兰豆汆烫变色即可，千万不要过火，时间也就是几秒钟。print lst[0].text#依次提取 2， 3， 4lst = page.xpath('//div/div[@class="tip"]/br')for ll in lst: print ll.tail

dit = {1:’a’, -1:’b’, 2:’c’, -2:’d’} 直接使用sorted方法， 只能根据key进行排序 sorted(dit) Out[6]: [-2, -1, 1, 2]如果需要根据value排序，可以 sorted(dit.items(),key = lambda x:x[1],reverse = True) Out[7]: [(-2, ‘d’), (2, ‘

import pandas as pdimport MySQLdbhandle = MySQLdb.connect(host="xxx.xxx..xxx.xxx",user="root",port=xxxx, passwd="xxxxxx",db="xxxxx",charset="utf8")sql = xxxxx #查询语句df = pd.read_sql(sql, con=han

1，日期转成绝对秒数time.mktime(time.strptime(‘2018-02-12’, ‘%Y-%m-%d’)) 1518364800.02，绝对秒数转日期time.strftime(“%Y-%m-%d”, time.localtime(1518364800)) 2018-02-113，获取当天日期time.strftime(“%Y-%m-%d %H:%M:...

直接贴代码import matplotlibmatplotlib.use('Agg')import numpy as npimport matplotlib.pyplot as plt myfont = matplotlib.font_manager.FontProperties(fname="/usr/share/fonts/truetype/arphic/uming.ttc")...

import numpy as np>>>a = ([3,2, 4, 5.0])npa = np.array(a)>>>array([ 3., 2., 4., 5.])npa.tolist()>>>[3.0, 2.0, 4.0, 5.0]

在上一家公司写了一年的爬虫，这里做个总结。爬虫构成爬虫主要包含采集模块，解析模块，存储模块还有清洗模块。有些抓取整个网页的爬虫可能没有清洗模块，但解析模块是一定会有的，因为需要对网页解析提取出有用的url，放到url列表中。采集模块主要功能是访问url网页，下载网页，然后交给解析模块，进行解析，提取其中符合条件的url，如果要在线清洗，还需要调用清洗模块，提取网页中特定的数据，最后将...