- 博客(6)
- 收藏
- 关注
RSS订阅原创 Airflow时区导致程序运行时间异常的问题
2025-07-08 05:00运行的程序,使用"""{{ ds_nodash }}"""获取日期时,获取到是2025-07-07,准确来说是2025-07-07 21:00。使用"""{{ macros.datetime.fromisoformat(ts).astimezone().strftime("%Y%m%d") }}"""2. 因为"""{{ ds_nodash }}"""默认不会转换成本地时区,默认使用UTC时区,所以获取到的时间值会出现8小时偏差。不懂Jinja模板看着还是有点累的。
2025-07-09 10:43:59
237
原创 Scrapy的中间件是单线程的吗？是同步的吗？
中间件和管道可以使用异步的方式是我刚刚发现的，不知道为什么，没见过scrapy框架的教学/教程里有教，我在两年的时间里一直以为Scrapy中间件只能单线程同步，所以使用了很久了多线程爬虫和非常原始的asyncio那种爬虫，当了这么久原始人真是难受死了。因为下载中间件那里经常要使用代理，如果使用同步的方式，取代理要消耗太多时间，因为我用的是那种便宜量大质量低的代理，这里对性能的影响非常大。管道中间件用来保存数据，如果使用同步的方式，必须使用批量保存，否则性能影响也是很大的。
2024-10-20 01:19:12
290
1
原创 aiohttp请求https页面异常，报错Cannot connect to host wuzhou.fang.anjuke.com:443 ssl:False [None]
近日使用爬虫采集数据的时候，发现aiohttp无法请求一些https的url，用requests是可以的，用同事的隧道代理是可以的，但是自己的代理就是不好使，不清楚是不是aiohttp的问题，不过我通过更换httpx库解决了这个问题。网上搜索的解决方案都是类似这种的，使用ssl=False，对我来说并没有用。修改成httpx后，可以正常使用。
2024-08-15 18:54:23
714
原创 Ubuntu24.04修改光标后系统出错并无法恢复
4. 在/etc/alternatives文件夹下有个x-cursor-theme文件，里面是Inherits=DMZ-White，我给改成Yaru了，不过重启后他又变成DMZ-White了，可能不是这个的问题。3. 进到用户文件夹下的.config文件夹下，按修改时间排序，查看最新的几个文件，如果可能和gnome/gtk有关，看情况删除。5. 推测是删除/home/dong/.config/dconf/usr文件修好的，但是这是个二进制文件，所以我也不能确定。
2024-07-22 01:52:08
1109
2
原创 windows11设置默认应用无效，每次都要选择（Excel、WPS、XLSX）
最近发现每次双击打开xlsx文件都要选择打开方式，设置了默认使用WPS打开，但是没有效果。最后发现是右键设置的问题，这个关了就出现上面的情况。
2023-09-14 15:44:20
8114
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人