lunhui951229的博客

原创 linux下搭建svn

linux（centos7）下SVN服务器如何搭建linux（centos）下SVN服务器如何搭建?说到SVN服务器,想必大家都知道,可以是在LINUX下如何搭建SVN服务器呢?那么今天给大家分享一下linux（centos）搭建SVN服务器的思路！虽然在windows上搭建SVN很简单,但是效能却不高,这当然是和linux相比了.然而在linux上搭建SVN却非常繁琐,所以今天这篇文章就来...

原创 scrapy遇到的坑关于 scrapy发起请求和requests发起请求返回的数据不一样的问题 (发起的是request payload)

在抓取携程的时候遇到一个问题 刚开始因为公司是内网的原因scrapy无法访问网站 已启动就是超时重连后来决定用requests来对携程进行采集刚开始用requests进行采集的时候一点没有问题采集回来的数据如下返回的数据一切正常但是使用scrapy就出现了问题出现的问题和如下:可以看到返回的是聚是类似html类似的东西 解析起来比较麻烦后来找到问题所在:在请求头中加入...

原创 天天快报遇到的一些问题

在抓取天天快报是抓到他的url地址为http://kuaibao.qq.com/getRcmNewsList?refer=h5_aggr&req_num=15&qq=o1308186437&openid=&devid=ukey_152455177386834774&_=1524806904148&callback=jsonp1其中自增为jsonp后边...

转载 svn迁移到git

gitblit 下载以及搭建参考:https://www.cnblogs.com/phpper/p/8041010.html(gitblit版本对应 java-8)1、登录gitblit，创建版本库，例如：JszxProject2、在本地找一个目录，右键git bash，执行以下命名：git svn clone https://***.**.**.***//{svn项目地址} --n...

转载 windows下给docker设置代理

因为公司网络是内网需要添加代理才能联网所以在网上搜了一下在这里做个记录首先打开环境变量设置输入：变量名：HTTP_PROXY变量值：公司的代理ip:prot完成之后重启docker就可以了 ...

原创 scrapy运行越来越慢的问题 大神们帮我看下是什么原因，怎么优化求各位大神给一些建议

# -*- coding: utf-8 -*-import scrapyimport jsonfrom pymysql import *from Kuaibao_json.items import KuaibaoJsonItemclass KuaibaoSpider(scrapy.Spider): conn = connect(host="10.16.0.116", ...

原创 fiddler抓包遇到的一些问题