我写爬虫-优快云博客

原创记录下spring cloud gateway + nacos做服务注册发现的一点小问题

spring cloud gateway 路由配置中：uri: lb后面的服务名中不能使用 _ ，例如 "uri": "lb:demo_server_py" gateway就会报主机解析异常，因此，服务在注册到注册中心时，服务名不能包含 _注：对java了解不多，因此只能看到表象，如果解释理解有误，请及时纠正我python 使用nacos注册服务，需要定时发送心跳：服务注册方法：import nacosclient = nacos.NacosClient(se...

2021-04-02 18:27:03 881 1

转载 from future import unicode_literals

当你在查看一些python源码或者其他人的代码的时候，经常会在.py 的文件里看到 from __future__ import unicode_literals 在Python中有些库的接口要求参数必须是str类型字符串，有些接口要求参数必须是unicode类型字符串。对于str类型的字符串，调用len()和遍历时，其实都是以字节为单位的，这个太坑爹了，同一个字符使用不同的编码格式，长度往...

2018-11-21 10:24:12 259

原创 Django+rest_framework+drf_yasg 生成swaggers在线API文档

Django+rest_framework+drf_yasg 生成swaggers在线API文档背景技术路线相关版本第一步：新建一个Django项目第二步：新建一个APP第三步：修改settings.py第四步：修改news/下修改views.py第五步：news/下新建urls.py并添加以下内容第六步：修改DjangoDrfTest/urls.py第七步：运行managy.py一些配置项参数...

2018-11-20 18:28:38 12943 8

转载 Windows下单机安装Spark开发环境

Windows下单机安装Spark开发环境机器：windows 7 64位。因Spark支持java、python等语言，所以尝试安装了两种语言环境下的spark开发环境。1、Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\

2016-09-23 15:06:23 506

原创 selenium2.x python 虚拟浏览器搭建与使用

1.python 安装不做赘述。2.selenium2.x 安装方法。　　下载setuptools 【python 的基础包工具】　　http://pypi.python.org/pypi/setuptools　　下载pip 【python 的安装包管理工具】　　https://pypi.python.org/pypi/pip　　1、python 的

2015-12-02 17:01:47 824

原创 ubuntu 12.04 hadoop 单机模式平台搭建

一，hadoop 需要java 支持，所以，java jdk 是必须要装的，因为我是ubuntu 12.04 64位，所以在http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载linux x64版本（164兆那个）二，在Ubuntu下创建hadoop用户组和用户

2015-06-29 15:09:46 457

原创爬虫过程中经常遇到的一些棘手问题

先写一些已经遇到，并已解决的，后面慢慢增添：1.中文字符串前面加u,让字符串可以正常输出为中文：有时候我们从其它地方接受的字符串经过艰难跋涉，它变了个样。比如收到的是'\u6253\u602a\u8005'而不是u'\u6253\u602a\u8005'。明明肉眼看起来只需要加个u，但是怎么加呢？>>s = '\u6253\u602a\u8005'>>s'\\u6253\

2015-06-25 16:50:55 4794

转载【转帖】使用python爬虫抓站的一些技巧总结：进阶篇

一、gzip/deflate支持现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本247K，压缩了以后45K，为原来的1/5。这就意味着抓取速度会快5倍。然而python的urllib/urllib2默认都不支持压缩，要返回压缩格式，必须在request的header里面写明’accept-encoding’，然后读取response后更要检

2015-06-12 14:23:26 1865

原创 python 百度地图信息采集实例（包含经纬度）

通过搜索关键词：如佛山市高明市写字楼，获取该区写字楼信息，由于百度地图搜索最多只能见750条，所以采用了细化搜索词的方法，，

2015-05-13 10:31:26 5171

转载 python 爬虫完美伪装

#coding:utf-8'''Created on 2012-6-25@author: lzs''' import randomimport socketimport urllib2import cookielibERROR = { '0':'Can not open the url,checck you net',

2015-03-17 16:51:29 677

原创调用火狐浏览器模拟天猫搜索并遍历一百页商品（速度较慢，但不会遇到反爬机制和验证码）

# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport hashlibimport randomimport urllibfrom time import ctime,sleepclass ScrapyPage

2015-03-04 17:27:50 1061

原创简单的模拟天猫搜索并遍历一百页商品（会遇到反爬机制）

#coding=utf-8import reimport urllibimport urllib2import stringimport Queueimport sysfrom pybloomfilter import BloomFilterfurl1=BloomFilter(capacity=100000,error_rate=0.0001)class Tia

2015-03-04 17:24:24 1635

原创模拟天猫搜索，并遍历一百页商品代码（会遇到反爬链）

#coding=utf-8import reimport urllibimport urllib2import stringimport Queueimport sysfrom pybloomfilter import BloomFilterfurl1=BloomFilter(capacity=100000,error_rate=0.0001)class Tia

2015-03-04 17:20:52 876

转载 ubuntu安装Scrapy

Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。官网网站http://www.scrapy.org/1、安装如下软件sudo apt-get install build-essential;sudo apt-get install py

2014-10-18 17:32:35 583

转载 Ubuntu 13.04 解决 QQ 问题：pidgin-lwqq 亲测可用

好吧，虽然我并不喜欢 QQ，事实上，当年之所以申请一个 QQ 帐号还是因为同学们都在用他…我很希望大家都不怎么使用他，用邮箱多好，但是没办法，腾讯成功的抓住了我身边的人们，他们离不开 QQ，于是乎，我也离不开 QQ 了… 之前一直在想，怎么解决 linux 中使用 QQ 的问题，老是用 webQQ 也不是一个办法，太麻烦了，总是开着一个网页，就是觉得不爽。在 wine 中使用 QQ 就不说

2014-10-12 11:00:53 583

u012328712的专栏