<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[_feiji的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u011796949</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u011796949]]></copyright><item><title><![CDATA[python 携程航班信息查询]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/112222492</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/112222492</guid><author>u011796949</author><pubDate>Tue, 05 Jan 2021 15:21:44 +0800</pubDate><description><![CDATA[查询页面
携程链接

第一步找到数据怎么来的


发现航班信息在返回 json 的 routeList 里

看传递的参数

然后只要找到token是怎么来的就好了

可以确定token 是由 app.js 生成的，可以看到这个请求只调用过app.js

到 app.js 里去搜索，在可疑的地方打断点
然后回到页面重新搜索航班

调用了p.getProductToken 函数，传递了三个参数 can  bjs  Oneway  ，分别是出发城市 、到达城市、单程。执行下一步

继续执行

后面就不分析了，.]]></description><category></category></item><item><title><![CDATA[python 汽车之家爬取]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/110846511</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/110846511</guid><author>u011796949</author><pubDate>Mon, 07 Dec 2020 23:37:14 +0800</pubDate><description><![CDATA[# 汽车之家字体反爬

from lxml import html
from  fontTools.ttLib import TTFont
import requests
import re

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 Q]]></description><category></category></item><item><title><![CDATA[python 爬取taptap热门榜]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/110453955</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/110453955</guid><author>u011796949</author><pubDate>Tue, 01 Dec 2020 23:02:31 +0800</pubDate><description><![CDATA[用到工具有mitmproxy 、appium
热门榜页面

3.抓取到的数据


from appium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import threading
import csv
import json
import time

def appium():
    desired_caps = {}
    desired_caps['platformName'] = 'An.]]></description><category></category></item><item><title><![CDATA[python 验证码字符分割]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/110226346</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/110226346</guid><author>u011796949</author><pubDate>Fri, 27 Nov 2020 13:08:04 +0800</pubDate><description><![CDATA[用tesseract-ocr 识别率不高，想要自己训练字体
这里用的是中国知网注册页面的验证码

中国知网注册页
验证码



实现思路，图片二值化后，遍历每一个像素点找到起始像素，向上下左右寻找相邻像素直至结束。有个问题就是若两个字符挨着就会把全部相邻的字符都找到

加了个简单的判断，限制字体长度

然而效果不是很好，如果是两个长度较短的字符相邻还是没有用，w字符容易丢失像素，没有太好的解决办法。另一个解决方法把像素点过多的图片去除，剩下的图片可以用来训练字体

# 下载验证码
import reques]]></description><category></category></item><item><title><![CDATA[python 异步爬虫和普通爬虫对比]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/109498883</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/109498883</guid><author>u011796949</author><pubDate>Wed, 04 Nov 2020 21:00:46 +0800</pubDate><description><![CDATA[效率对比
异步爬虫
# 协程方式 爬取非小号数据
# https://www.feixiaohao.com/list_1.html

import time
import json
import asyncio
import csv
import aiohttp

start_time = time.time()
writer = csv.writer(open('非小号.csv','w',encoding='utf-8',newline=''))
writer.writerow(['current_pri]]></description><category></category></item><item><title><![CDATA[python selenium 注册 filfox 钱包]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/109410061</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/109410061</guid><author>u011796949</author><pubDate>Sun, 01 Nov 2020 00:19:59 +0800</pubDate><description><![CDATA[注册 filfox 钱包

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import threading
import csv
from multiprocessing import Queue

fw = open('data.csv','a',encoding='utf-8',newline='')
writer = csv.writer(fw)
#writer.writ]]></description><category></category></item><item><title><![CDATA[Docker splash web页面加载 错误]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/109124825</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/109124825</guid><author>u011796949</author><pubDate>Fri, 16 Oct 2020 21:23:08 +0800</pubDate><description><![CDATA[创建容器登陆http://192.168.99.100:8050/ ，页面加载错误

jquery加载失败，原因是国外的网址访问不了。
解决方法：

到官网下载代码
https://github.com/scrapinghub/splash
修改splash-master/splash/resources.py 文件


&lt;script src="//code.jquery.com/jquery-1.11.1.min.js"&gt;&lt;/script&gt;

修改
&lt;script src=]]></description><category></category></item><item><title><![CDATA[docker This computer doesn’t have VT-X/AMD-v enabled .Enabling 错误]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/109084093</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/109084093</guid><author>u011796949</author><pubDate>Wed, 14 Oct 2020 21:28:29 +0800</pubDate><description><![CDATA[启动Docker Quickstart Terminal出现错误：
This computer doesn’t have VT-X/AMD-v enabled. Enabling it in the BIOS is mandatory"!
检查了电脑已经开了vt，还是报这个错。

打开C:\Program Files\Docker Toolbox\start.sh 文件
第69行

"${DOCKER_MACHINE}" create -d virtualbox $PROXY_ENV "${VM}"

替换]]></description><category></category></item><item><title><![CDATA[scrapy 爬取麦田二手房信息]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/108931763</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/108931763</guid><author>u011796949</author><pubDate>Tue, 06 Oct 2020 13:03:06 +0800</pubDate><description><![CDATA[用scrapy写了个爬虫，爬取麦田北京二手房信息，一共爬取了11718条，也遇到了一些问题

页数限制
访问北京市二手房只显示100页的数据，

各地区售房数量





index_id
district
count




1
朝阳
6139


2
海淀
1822


3
丰台
828


4
东城
727


5
大兴
672


6
昌平
624


7
西城
445


8
石景山
168


9
通州
150


10
顺义
140


11
门头沟
3



...]]></description><category></category></item><item><title><![CDATA[pyecharts qq聊天记录数据可视化]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/108402408</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/108402408</guid><author>u011796949</author><pubDate>Fri, 04 Sep 2020 14:27:49 +0800</pubDate><description><![CDATA[数据说明
1.本次数据来源于qq群聊天记录
2.一共3123条数据，可以直接用qq导出聊天记录
3.使用到的库有pyecharts jieba
发言排行





index_id
name
count




1
闰土
739


2
天天
495


3
温柔少女豆瓣酱β
308


4
7酱
296


5
逢考必过
271


6
土猹
265


7
辞
187


8
不吃香菜
125


9
予
89


10
靓仔飞机
66


时间段统计

词频分析





index_id
Word
]]></description><category></category></item><item><title><![CDATA[python Django 搭建博客]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/108222537</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/108222537</guid><author>u011796949</author><pubDate>Wed, 26 Aug 2020 12:16:42 +0800</pubDate><description><![CDATA[创建项目
django-admin startproject 项目名
创建应用
python manage.py startapp 应用名
在 settings.py 文件 INSTALLED_APPS 里添加app


]]></description><category></category></item><item><title><![CDATA[selenium  爬取网易音乐评论]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/108090144</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/108090144</guid><author>u011796949</author><pubDate>Wed, 19 Aug 2020 00:30:40 +0800</pubDate><description><![CDATA[最近网抑云很火，就想爬取上面热门的评论，也遇到不少问题，记录一下。
问题
1.网站是javascript动态渲染页面，直接用request爬取不到数据
上网查了许多信息，用request也可以获取到数据，比较复杂，有兴趣可以看下面一位大佬的分析。网易云音乐评论爬虫 params encSecKey逆向分析
还有就是使用Selenium，网上对 Selenium的介绍：
Selenium是一个 自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作， 同时还可以获取浏览器当前呈现的页面的源代码]]></description><category></category></item><item><title><![CDATA[攻防世界 upload1 Writeup]]></title><link>https://blog.youkuaiyun.com/u011796949/article/details/107795167</link><guid>https://blog.youkuaiyun.com/u011796949/article/details/107795167</guid><author>u011796949</author><pubDate>Tue, 04 Aug 2020 19:00:06 +0800</pubDate><description><![CDATA[攻防世界 upload1 Writeup进入界面查看源码编写上传文件绕过验证获取flag
进入界面
只有一个上传功能。

查看源码

发现前端对文件类型进行了过滤，不是jpg，png文件就把上传按钮禁用。
编写上传文件
php一句话 &lt;?php eval($_GET['cmd']);?&gt;

绕过验证



这里可以在前端把上传按钮删了，然后在控制台用document.getElementById(“aa”).submit() 提交进行绕过。

上传成功
获取flag
访问上传的文件获取文件目录
]]></description><category></category></item></channel></rss>