Scnu_wang的博客

1、数据类型：整数、浮点数、字符串、布尔值、空值（用None表示）、常量、变量（可以是任意数据类型，变量名必须是大小写英文、数字和_的组合，且不能用数字开头），对bytes类型的数据用带b前缀的单引号或双引号表示）、列表（包括list、tuple）、字典（dict类似Java中的Map）、set(和dict类似，也是一组key的集合，但不存储value) 2、编码问题：UTF-8编码把一个Unic

之前写了一篇小米的众筹产品数据抓取，今天分享一下Indiegogo的众筹产品的数据抓取，两个网站的请求方式不一样，但是Indiegogo对数据抓取更加严格，请求头还需要添加Cookie属性，发现这个一点，花了我不少的时间，好在后面还是发现了这个问题。 这次没有用到新的东西，好了，废话不多说，直接上源码：import requestsimport json#请求头里面要添加Cookiehead

本来一直使用的python3.X的，之前一直弄的Python3.6.1，不知道为啥，搭建了好几次都没有成功，不知道是什么地方的问题，后面再打一下。还有就是在Windows上搭建Pyspider环境，会出现各种各样的意想不到的问题，之前不知道这个，一步一个坑啊，浪费了很多时间，所以建议大家尽量使用Linux服务器来操作学习! 为了搭建Pyspider的环境也是浪费了很多时间，下面分享一下成功的步骤，

在这篇文章中，我们将分析一个网络爬虫。网络爬虫是一个扫描网络内容并记录其有用信息的工具。它能打开一大堆网页，分析每个页面的内容以便寻找所有感兴趣的数据，并将这些数据存储在一个数据库中，然后对其他网页进行同样的操作。如果爬虫正在分析的网页中有一些链接，那么爬虫将会根据这些链接分析更多的页面。搜索引擎就是基于这样的原理实现的。这篇文章中，我特别选了一个稳定的、”年轻”的开源项目pyspider，它是由

WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采用

这是自己写的第一个使用Pyspider完成数据抓取，也算是小有收获，最近这几天一直都在折腾这个Pyspider，算是有点入门吧。感觉还行，能感觉出国人写的框架，还有点熟悉的味道，觉得使用习惯有点接近吧，个人感觉，不喜勿喷。有问题还是得多看官方文档，对于刚刚入门的同学来说，官方文档能帮你解决很多问题。有问题时先去官方文档上找，找不到再去Google，这样应该会好一点。#!/usr/bin/env py

安装步骤如下： 1、wget http://sourceforge.net/projects/mysql-python/files/mysql-python/1.2.3/MySQL-python-1.2.3.tar.gz 2、tar zxvf MySQL-python-1.2.3.tar.gz 3、cd MySQL-python-1.2.3 4、python setup.py build （

python使用代理访问服务器主要有一下3个步骤：1.创建一个代理处理器ProxyHandler：proxy_support = urllib.request.ProxyHandler()，ProxyHandler是一个类，其参数是一个字典：{ ‘类型’:’代理ip:端口号’}什么是Handler？Handler也叫作处理器，每个handlers知道如何通过特定协议打开URLs，或者如何处理URL打

刚学习Python不久，这应该是学Python以来的第一个实战，总体来说感觉还行，应为之前用Java写过一个，现在用Python写，单论这个简单的功能，Python确实要比Java轻便很多。当然肯定是各有千秋，不能简单的说谁好谁坏，所以求不喷，毕竟我还是个新手。 好了，下面直接上源码，以下源码可以直接拷贝运行。# encoding: utf-8"""@author: jason@contac

1、作用域 正常的函数和变量名是公开的（public），可以被直接引用，比如：abc，x123，PI等；类似xxx这样的变量是特殊变量，可以被直接引用，我们自己的变量一般不要用这种变量名；类似_xxx和__xxx这样的函数或变量就是非公开的（private），不应该被直接引用，比如_abc，__abc等；之所以我们说，private函数和变量“不应该”被直接引用，而不是“不能”被直接引用，是因为P

在Python中，所有数据类型都可以视为对象，当然也可以自定义对象。自定义的对象数据类型就是面向对象中的类（Class）的概念。class Student(object): def __init__(self, name, score): self.name = name self.score = score def print_score(self)

1、概念 函数式编程就是一种抽象程度很高的编程范式，纯粹的函数式编程语言编写的函数没有变量，因此，任意一个函数，只要输入是确定的，输出就是确定的，这种纯函数我们称之为没有副作用。而允许使用变量的程序设计语言，由于函数内部的变量状态不确定，同样的输入，可能得到不同的输出，因此，这种函数是有副作用的。 函数式编程的一个特点就是，允许把函数本身作为参数传入另一个函数，还允许返回一个函数！ Pytho

1、切片：主要用于取集合的一部分元素。 L[0:3]表示，从索引0开始取，直到索引3为止，但不包括索引3。即索引0，1，2，正好是3个元素。 2、迭代：在Python中，迭代是通过for … in来完成的。默认情况下，dict迭代的是key。如果要迭代value，可以用for value in d.values()，如果要同时迭代key和value，可以用for k, v in d.items(

1、使用slots Python允许在定义class的时候，定义一个特殊的slots变量，来限制该class实例能添加的属性，使用slots要注意，slots定义的属性仅对当前类实例起作用，对继承的子类是不起作用的，除非在子类中也定义slots，这样，子类实例允许定义的属性就是自身的slots加上父类的slots。 class Student(object): slots = (‘na

近几年在数据科学行业获得了人们的极大青睐，各种资源也层出不穷。数据科学解决方案公司 ActiveWizards 近日根据他们自己的应用开发经验，总结了数据科学家和工程师将在 2017 年最常使用的 Python 库。核心库1）NumPy地址：http://www.numpy.org当使用 Python 开始处理科学任务时，不可避免地需要求助 Python 的 SciPy Stack，它是专门为 Py

Silva是一套基于python的CMS（内容管理系统），类似于php168 cms，dede cms,phpcms等,只是所使用的语言不通。它可用来管理多个或者是复杂的Web网站，内容存储在纯 XML 文档中，独立的布局和表现层。主要功能包括版本化管理、多站点管理、可扩展的导入和导出、模板化、支持图片存储和操作等。Silva CMS 3 是一个主要的版本，使用全新的架构，完全 Ajax 驱动以及一

Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它究竟怎样的人性化呢？相信如果你之前用过urllib之类的模块的话，对比下就会发现它确实很人性化。一、导入下载完成后，导入模块很简单

一、先让Django工程跑起来 1、直接使用pip安装：pip install django 这种方式前提已经正确安装了Python和pip，如果是没有VPN的情况下的话，下载文件时过慢，很容易安装失败。 2、创建一个工程： django-admin startproject 工程名（用myproject举例） 3、启动服务器： （在manage.py文件所在的目录下执行） python

注意Python3 中，bytes 和 str 的区别：Traceback (most recent call last): File "C:/Python/projects/test.py", line 10, in <module> result = Image.open(StringIO(r.content))TypeError: initial_value must be st