students33的博客

摘要：本文解决了Python使用PyExecJS时出现的GBK编码错误问题。报错原因是subprocess.py默认使用系统编码导致Unicode字符处理异常。提供了两种解决方案：1) 在外部环境运行时，通过修改subprocess.Popen的默认编码为UTF-8；2) 在本地环境运行时，直接修改subprocess.py文件编码设置。文中包含详细代码示例和操作截图，并附有参考链接。两种方法均可有效解决该编码错误问题。

Scrapy是Python生态中成熟的异步爬虫框架，采用模块化组件设计，核心组件包括引擎（调度中心）、调度器（URL管理）、下载器（获取网页）、爬虫（解析数据）和项目管道（数据处理）。框架通过下载中间件和爬虫中间件提供扩展能力，工作流程为引擎驱动的7步闭环循环：从爬虫起始URL开始，经过调度、下载、解析，再到新URL或数据存储的循环处理，直至任务完成。Scrapy的高效异步机制和灵活架构使其成为爬虫工程师必备技能和面试高频考点。

本文介绍了TLS指纹校验的原理及绕过方法。TLS指纹通过分析TLS握手时的特征（如加密套件、协议版本等）识别设备类型，常见于反爬虫机制。文章详细解析了ja3指纹的组成，并提供了三种Python绕过方案：使用curl_cffi模拟浏览器指纹、requests-go自定义ja3指纹，以及修改requests的TLS配置（不推荐）。测试网站为例，展示了具体实现代码。这些方法可有效应对网站对TLS指纹的校验，解决爬虫被403拦截的问题。

摘要：Python使用requests包发起请求时若设置verify=False参数，控制台会输出安全警告干扰日志查看。解决方法是在代码文件头部添加两行代码：先导入urllib3模块，然后调用urllib3.disable_warnings()方法禁用InsecureRequestWarning警告，即可消除控制台的不必要警告信息。

Celery的基础使用和常见问题解决办法，看这一篇就够了！