optics's blog

# coding=gbk from pip._vendor.pyparsing import Each movies = ["The Holy Grail","The Life of Brain","The Meaning of Life"] print(movies[0])print(movies) movies.pop() print(movies) movies.append("The app

#coding: gbk ''' Created on 2017年8月13日@author: Administrator ''' from builtins import str from _functools import reduce from _ast import Str from _sre import getlower from _overlapped import NULL from

使用的是Python3+reqeusts 源码如下 #encoding:gbk import requests import re import time def get_pages(url):#拼凑每一页的url pages = [] for i in range(1,50,1):#爬取第1到50页的帖子 new_url=url+'-'+str(i)

环境:python3 相关包:requests , json , pymysql 思路:1.通过chrome F12找到拉钩请求接口,分析request的各项参数 2.模拟浏览器请求拉钩接口 3.默认返回的json不是标准格式 , 对返回的json数据进行处理转换为标准格式 4.利用pymysql模块进行db操作 #coding:utf-8 import random

出处：http://www.lining0806.com/spark与pandas中dataframe对比/ Pandas Spark 工作方式 单机single machine tool，没有并行机制parallelism 不支持Hadoop，处理大量数据有瓶颈 分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并...