<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[CorGi_8456的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/CorGi_8456</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; CorGi_8456]]></copyright><item><title><![CDATA[简谈异步爬虫aiohttp]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/126389504</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/126389504</guid><author>CorGi_8456</author><pubDate>Fri, 19 Aug 2022 17:51:46 +0800</pubDate><description><![CDATA[之前涉及到的爬虫，都基本上使用的requests库进行爬取。但是request获取网站内容的话，是有相应时间的，要不然也不会设置timeout了。但是，响应时间内，程序也在等待，响应时间越长等待时间就相对变长。因为python的自身原因多线程就不做最优选了（但是我很喜欢用=）），多进程则是利用cpu的多核在同一时间内进行多个任务。因此就该引出一个概念——协程coroutine。]]></description><category></category></item><item><title><![CDATA[数据可视化matplotlib(一)---亚马逊销售飙升榜]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/126171044</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/126171044</guid><author>CorGi_8456</author><pubDate>Fri, 05 Aug 2022 11:06:50 +0800</pubDate><description><![CDATA[数据可视化是数据分析的重要任务之一。之前有获取到亚马逊销售飙升榜的数据，但是排名只是按列表顺序排序，销售排名上升的幅度只有数字的变化，体现的不是很直观。所以使用python的实现对数据的可视化，能直观的看出来数据的对比和变化。............]]></description><category></category></item><item><title><![CDATA[亚马逊Movers & Shakers榜单获取]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/126016113</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/126016113</guid><author>CorGi_8456</author><pubDate>Wed, 27 Jul 2022 17:50:47 +0800</pubDate><description><![CDATA[今天还是亚马逊。突然发现亚马逊深挖还是有很多东西可以水的。在英语语境里指的是。但是在亚马逊商城中，这个榜单就是过去的24小时中销量最高的产品榜单，而且每小时更新。我称之为是亚马逊的销售势力排行。从这个排行榜中的数据，能分析什么商品时下最热门，甚至能找到一点点未来市场走向的蛛丝马迹。（我瞎编的）虽然不是市场从业人员，但是把这些数据收集起来，做一个数据分析，还是有一点点必要的。...............]]></description><category></category></item><item><title><![CDATA[Amazoncaptcha 95%成功率绕过亚马逊IP验证码]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/125926477</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/125926477</guid><author>CorGi_8456</author><pubDate>Fri, 22 Jul 2022 16:45:37 +0800</pubDate><description><![CDATA[这次又来折腾亚马逊了。之前有介绍亚马逊的商品获取和评论获取。但是在批量获取和多次访问的情况下出现了需要验证码的情况当然，出现这种情况你是肯定获取不到数据的。但是，你离你想要的数据，真的很近了。所以本次的目的就是绕过这个验证码，获取验证码背后的数据。...]]></description><category></category></item><item><title><![CDATA[Python中Scrapy框架的代理使用]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/125737024</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/125737024</guid><author>CorGi_8456</author><pubDate>Tue, 12 Jul 2022 17:00:52 +0800</pubDate><description><![CDATA[scrapy框架，熟悉python爬虫的朋友们应该知道甚至有所了解，scrapy是一个爬虫框架，模块化程度高，可拓展性强]]></description><category></category></item><item><title><![CDATA[【电商系列？】日本某美食攻略网站数据获取及Json文件保存]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/124799804</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/124799804</guid><author>CorGi_8456</author><pubDate>Mon, 16 May 2022 17:49:20 +0800</pubDate><description><![CDATA[今天上班摸鱼的时候发现了一个比较新鲜的网站，日本的大众点评：食べログ



左边呢是各个店家的基本信息，右边也集成了地图 。
    反正疫情也出不去，这个网站的地图卫星图像也能云旅游，而左边的这些店铺的数据呢，就可以拿下来给未来做做旅游攻略了。

一、网站分析

进入首页，可以看到各个地区的分类，而下面是按食品的分类，人数等等。



这次就按地区来获取数据。随便进入一个地区，点开地区排行榜，就进入列表页了，点击列表就...]]></description><category></category></item><item><title><![CDATA[【电商系列】Python之Ebay超值特价的获取]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/124629372</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/124629372</guid><author>CorGi_8456</author><pubDate>Sat, 07 May 2022 17:25:26 +0800</pubDate><description><![CDATA[好久没有更新了。最近看了下数据好像电商平台的文章点击量还是蛮高的，那我就投其所好，水一篇Ebay的数据获取！



ebay的超值特惠价是分好几个板块的，这里我就直接用智能手机这一分区做一个演示。

其实它的每一个板块都是用class为ebayui-dne-item-pattern-card的div组成的，每一个最后都有一个选购全部的链接，倒是后有需求的朋友可以自行for循环即可。

一、请求分析

    点击智能手机分区的选购全部。

...]]></description><category></category></item><item><title><![CDATA[【电商系列】shopee的数据获取]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/124338631</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/124338631</guid><author>CorGi_8456</author><pubDate>Fri, 22 Apr 2022 16:38:42 +0800</pubDate><description><![CDATA[在Amazon，Aliexpress之后，又一个海外电商出现在我的视野里——shopee，在东南亚很火的电商平台。


​


这战略布局都到南美跟欧洲了

这网站有意思的是啊，每个国家的商品虽然大同小异，但是也能凸显各个国家的风格的，比如印度的shopee，一股阿三的气息。


​


对味儿了



一、请求分析：

    地址：https://xxxxxx.tw/daily_discover?pageNumber=1，这次就以台湾站为例。

   ...]]></description><category></category></item><item><title><![CDATA[Python获取Amazon限时特惠信息]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/124324328</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/124324328</guid><author>CorGi_8456</author><pubDate>Thu, 21 Apr 2022 17:56:32 +0800</pubDate><description><![CDATA[又来折腾亚马逊了......

从最近的几次爬取亚马逊的情况来看，数据获取难度还算是一般，恶心的就在数据处理方面，一堆的JS，HTML等等罗列在一起。不怎么费脑子，但是费眼。





正文开始。

一、请求分析

特惠信息页面：/gp/goldbox



    照例，打开开发者模式，清除cookie，然后再次请求：



就直接查看这个当前页的请求，预览的时候发现并没有数据：



为了避嫌该打码的地方都打了，...]]></description><category></category></item><item><title><![CDATA[【FaceBook系列完结篇】获取FaceBook搜索结果]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/124299893</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/124299893</guid><author>CorGi_8456</author><pubDate>Wed, 20 Apr 2022 17:38:18 +0800</pubDate><description><![CDATA[在我写这篇文章的时候，我的Facebook账号已经封了。



真的给我封了，还在申诉中

原因就是我没有及时换cookie而且操作的确实有些频繁，这个FaceBook系列只能草草收尾，作为我的一个遗憾了。



我哭了，我装的



虽然我的账户被封了，但是我还有facebook_scraper啊，还不用登陆账户，也不需要cookie。真香！（香个P，还是要的，还好提前测试好了有素材）账号被封了也没有其他的账号，导致没有素材图，将就看吧各位，对不住了。

...]]></description><category></category></item><item><title><![CDATA[【FaceBook系列二】再见了，Facebook_scraper？Python的session请求获取Facebook的群组数据。]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123989049</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123989049</guid><author>CorGi_8456</author><pubDate>Wed, 06 Apr 2022 15:43:41 +0800</pubDate><description><![CDATA[书接上回，上次说了分析一下Facebook_scraper源码的其他方法，其中的一个方法叫做get_group_info，是专门获取组群信息的一个方法：



而调用这个方法，只需要把相关组群的id传入方法就可以了，之后它会自动拼凑请求的链接获取数据。但是，我顺藤摸瓜，发现了一点有趣的东西。

get_group_info的工作原理

    首先，传入小组的id，拼凑好url，进入到self.get的方法内。



进入到get方法之后，又进行了一次...]]></description><category></category></item><item><title><![CDATA[复盘：FaceBook的坑、总结、疑问【FaceBook系列番外篇】]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123895687</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123895687</guid><author>CorGi_8456</author><pubDate>Fri, 01 Apr 2022 16:06:39 +0800</pubDate><description><![CDATA[昨天写了Facebook_scraper的文章。

在用这个包之前，尝试了很多的方法，但是不是请求失败就是获取的内容有问题。所以接下来我要把踩过的坑和我自己的问题总结一下，相当于我的个人笔记了。

1、splash

splash请求的时候出现了登录的问题，跟浏览器直接打开网页一样，直接跳转登录界面。进因为没有深究splash的cookie登陆问题这个方法就放弃了。



之后splash的cookie登录方法还可以接着尝试......

2、selenium...]]></description><category></category></item><item><title><![CDATA[Facebook_scraper:Python获取FB用户的公开发帖【FaceBook系列 一】]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123872635</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123872635</guid><author>CorGi_8456</author><pubDate>Thu, 31 Mar 2022 17:43:15 +0800</pubDate><description><![CDATA[明辨是非，勿迷失自我]]></description><category></category></item><item><title><![CDATA[还是比Selenium好用？Python使用Splash访问谷歌获取相应内容。]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123712515</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123712515</guid><author>CorGi_8456</author><pubDate>Thu, 24 Mar 2022 17:13:26 +0800</pubDate><description><![CDATA[上次讲了一下playwright获取网站的数据。但是吧这个playwright，他终究是一个自动化调试工具，多多少少会占一点本地的资源。

这次的Splash可不一样了，他是部署在服务器上的，可以把负载的资源放在一个甚至多个服务器上，实现在服务器上将想要请求的网站，请求加渲染，把最后的HTML返回给你，让你解析数据。

一、Splash和Splash配置

Splash是一个JavaScript的渲染服务，这是一款带有HTTP API的轻量级web浏览器，同时...]]></description><category></category></item><item><title><![CDATA[比Selenium好用？Python使用playwright获取S站在线游戏排名]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123401026</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123401026</guid><author>CorGi_8456</author><pubDate>Thu, 10 Mar 2022 16:43:56 +0800</pubDate><description><![CDATA[不懂，我什么都不知道。]]></description><category></category></item><item><title><![CDATA[Python多进程——进程池的开启和多进程操作同一个List]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123249438</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123249438</guid><author>CorGi_8456</author><pubDate>Mon, 07 Mar 2022 11:51:56 +0800</pubDate><description><![CDATA[目标网站数据量多，想赶时间多获取点东西？
	数据库大批量的数据需要操作？
	单纯的想要节省时间，早早下班？
	............
肯定会有人说【多线程】。Python的多线程为了数据安全设置了GIL全局解释器锁，而Python的多线程是靠并发的方式实现的，即Python只会在一个进程里永远执行一个线程。

    这就导致Python多线程的多线程效率低下。举个例子，这就相当于一个人在左右横跳的吃两包薯片。只不过这个人啊，他速度很快，只要左右横跳的速度足够快，他的残影就像两个人...]]></description><category></category></item><item><title><![CDATA[使用Python获取国际版淘宝AliExpress的商品信息]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123213313</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123213313</guid><author>CorGi_8456</author><pubDate>Tue, 01 Mar 2022 20:05:01 +0800</pubDate><description><![CDATA[AliExpress全球速卖通，又称国际版淘宝，是一款面向海外的购物网站。

之前有获取过Amazon的信息，偶然间发现了这个网站，所以今天看看这个国际版淘宝上面有没有我想要的东西。



不知道这上面能不能买到原价的XboxSerisX

网站分析



为了找到上面有没有原价的Xbox，首先在首页，搜一下PS5 ，再查看一下请求：



嗯，很直白的get请求，所有的参数链接上都写得清清楚楚。下面尝试一下翻页。

    点击下一...]]></description><category></category></item><item><title><![CDATA[Go语言学习笔记：Http请求--Gorequest使用]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/123149046</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/123149046</guid><author>CorGi_8456</author><pubDate>Sat, 26 Feb 2022 15:31:07 +0800</pubDate><description><![CDATA[最近几天部署代理池的时候，用Python写了requests请求测试IP地址检测连通性的脚本。但是发现了一个问题，requests.get带代理请求有时候请求不通。

我初步认为代理的问题，但是之后我用了curl请求发现代理是正常的，用Go写了测试发现还是正常的。难道是requests的问题？目前不知道是什么原因，之后我用Go写了代理的测试，由此我发现了一个Go语言比较好用的Http请求的包——Gorequest

Go语言中net/http的代理请求

    net/http请求...]]></description><category></category></item><item><title><![CDATA[利用Python获取某游戏网站热销商品并用pands进行Excel数据存储]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/122943443</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/122943443</guid><author>CorGi_8456</author><pubDate>Tue, 15 Feb 2022 16:51:59 +0800</pubDate><description><![CDATA[不知道，不明白，不敢说]]></description><category></category></item><item><title><![CDATA[基于Python通过cookie对某芯片网站信息的获取]]></title><link>https://blog.youkuaiyun.com/CorGi_8456/article/details/122679368</link><guid>https://blog.youkuaiyun.com/CorGi_8456/article/details/122679368</guid><author>CorGi_8456</author><pubDate>Tue, 25 Jan 2022 15:54:09 +0800</pubDate><description><![CDATA[T网站的信息获取。]]></description><category></category></item></channel></rss>