sleeping with 同学寄来的围巾...

最新推荐文章于 2023-06-07 09:49:00 发布
原创 最新推荐文章于 2023-06-07 09:49:00 发布 · 689 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

搂着同学寄来的围巾睡觉，别样的滋味，真舒服，好久没有如此深沉的睡眠了
linux用多线程同步方法解决睡眠理发师问题(Sleeping-Barber_Problem).pdf
12-10
linux用多线程同步方法解决睡眠理发师问题(Sleeping-Barber_Problem).pdf
WSN.zip_CoCMA_Energy-Coverage_energy efficient_sink wsn_sleeping
07-15
It also used the wake-up scheme to awaken some sensor nodes in a sleeping mode through an optimization strategy to preserve the sensing coverage of the CWSN. The experimental results show that the ...
kotlinx.coroutines 使用
XTC博客
05-22 2041
协程是轻量级的线程。 fun main(args: Array<String>) { GlobalScope.launch { delay(1000L) print("Coroutines") } print("Hello, ") Thread.sleep(2000L) } //输出Hello, Coroutines 这里我们用到...
hive-site.xml 参数设置
遥望......
03-26 4064
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agre...
IEEE802.11 学习笔记
热门推荐
Will.Guo
06-06 1万+
一、概论 1.1.简介 IEEE802家族是由一系列局域网络(Local Area Network,LAN)技术规格所组成，802.11属于其中一员。 载波检测多重访问／碰撞检测（Carrier Sense Multiple Access network with Collision Detection，简称CSMA/CD）规格，与（通常误称的）Ethernet有
re.S、re.I、re.M简介
Dzf_Ljy的博客
10-07 2560
re模块的修饰符：re.S、re.I、re.M s_0 = """ I close my eyes and even when I’m sleeping I’m alright: Cause you are in my life love me love your love her ...
【Vue 插件篇】粘贴板插件 clipboard.js 与 原生JS中的复制、剪切、粘贴
前端知识分享喵
06-07 1万+
Vue插件粘贴板 clipboard 使用介绍
Chart.js报表制作
刘鹏的技术宅
08-04 4982
需要引入Chart.js 报表 发货趋势 var barChartData = { labels : [ "7月20日", "7月21日", "7月22日", "7月23日", "7月24日", "7月25日", "7月26日" ], datasets : [ { fillColor : "rgba(220,220,220,0.5)",
Registration with the server failed.
xxidaojia的博客
09-23 2271
这是我遇到的同样问题。 安装Ambari到Confirm Hosts这步过不去了！ 点击红色“Failed”，查看详细错误： VerifyingPythonversioncompatibility... Usingpython/usr/bin/python2.6 Foundambari-agentPID:17547 Stoppingambari-agent ...
java.lang.InterruptedException: sleep interrupted
wusb5的博客
01-12 4280
sleep interrupted
Java Thread.sleep的InterruptedException 线程阻塞 线程中断
喝烧酒的兔子
04-01 6724
1.1.1 Thread.sleep抛异常 当某线程A处于Sleep状态时，另一个线程B调用了B.interrupt()方法，打断了A的Sleep过程，则A的Sleep会抛出异常。使用Catch后，线程不会等待Sleep时间，而是会立即执行。 下面的例子中，线程1的Sleep会被线程2打断，所以线程1的Sleep会抛异常。 public class SleepException { pu...
中班英语教案《sleeping so tight》润新教育.txt
05-29
中班英语教案《sleeping so tight》润新教育.txt
中班短语sleeping so tight.doc
09-12
本文档“中班短语sleeping so tight.doc”旨在通过一系列精心设计的教育活动，帮助中班儿童在轻松愉快的氛围中掌握并理解英语短语“sleeping so tight”，同时复习和加深对一系列相关词汇的认识，包括“lion（狮子）...
with复合结构练习.doc
12-04
下面我们就通过题目中的例子来详细讲解with复合结构的用法。 1. John received an invitation to dinner, and with his work ________, he gladly accepted it. 此题考察的是with复合结构中用现在分词作宾补的情况...
当一切烟消云散...
国王游舞密传
03-10 1232
曾经在深渊火宅中徘徊，于喜马拉雅高台上蹉跎着岁月，而今，当一切炙热与严寒如流水般消逝与远方无尽的沙漠中，我才看到了这个本净世界的真相：我看到了处处闪耀的光明，听到了遥远天际传来的低语，嗅到了脚下泥土溢出的芬芳...可是这一切确无法驱散我心头的凝云...也许历史总要在我们心灵的某个角落留下点什么，你看到了，却无法拿走它....
即将质变的玻璃瓶
国王游舞密传
03-13 1132
现在还是比较薄的玻璃瓶，马上就要变成水晶瓶了，呵呵...
前进匍匐中...
国王游舞密传
03-07 1092
虽然痛苦，但是已经看到了泉水....爬啊！爬啊！
旧的结束，意味着新的开始...
国王游舞密传
11-14 1089
旧有之因缘，所障不思议，成办究竟事业，暂离宿世父母....
根----恶根
国王游舞密传
12-10 1085
原来没有任何东西可以附加在自己的心上
Error fetching page: 403 Client Error: Forbidden for url: https://www.fatf-gafi.org/en/search-page.html Sleeping for 2.84 seconds... Process finished with exit code 0
最新发布
08-20
你遇到的错误是 `403 Forbidden`，这意味着服务器拒绝响应你的请求。这通常是因为服务器检测到你的请求行为异常（如爬虫行为），并进行了拦截。 在这种情况下，仅仅设置 `User-Agent` 是不够的，因为目标网站可能使用了更复杂的反爬虫机制，例如： - **IP 封锁** - **JavaScript 渲染内容** - **Cookie 或 Session 验证** - **请求头验证（Accept、Referer 等）** - **验证码（CAPTCHA）** --- ## ✅ 解决方案：使用 Selenium 模拟浏览器访问 为了绕过这些反爬机制，我们可以使用 `Selenium` 模拟真实浏览器行为，加载完整的网页内容。这样可以绕过大部分基于请求头和 IP 的检测。 --- ### ✅ 所需安装包 ```bash pip install selenium beautifulsoup4 ``` 同时，你需要下载与你浏览器版本匹配的 WebDriver，例如： - Chrome 浏览器：[ChromeDriver](https://sites.google.com/chromium.org/driver/) - Firefox 浏览器：[GeckoDriver](https://github.com/mozilla/geckodriver) --- ### ✅ 使用 Selenium 的完整代码如下： ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from bs4 import BeautifulSoup import time import random # 随机延迟函数 def random_delay(min_delay=1, max_delay=3): delay = random.uniform(min_delay, max_delay) print(f"Sleeping for {delay:.2f} seconds...") time.sleep(delay) # 初始化浏览器驱动（以 Chrome 为例） def init_browser(): options = webdriver.ChromeOptions() options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36') options.add_argument('--disable-blink-features=AutomationControlled') # 隐藏自动化特征 options.add_argument('--disable-gpu') options.add_argument('--no-sandbox') options.add_argument('--disable-dev-shm-usage') # 使用本地 WebDriver 路径 service = Service(executable_path='/path/to/chromedriver') # 替换为你的 chromedriver 路径 driver = webdriver.Chrome(service=service, options=options) return driver # 抓取页面内容 def fetch_page_with_selenium(url, driver): driver.get(url) time.sleep(5) # 等待 JavaScript 加载 return driver.page_source # 解析页面内容 def parse_page(html): soup = BeautifulSoup(html, 'html.parser') results = [] for item in soup.find_all('div', class_='cmp-search-results__result'): title_div = item.find('h3', class_='cmp-search-results__result__title') title = title_div.get_text(strip=True) if title_div else 'No title' link = title_div.find('a')['href'] if title_div and title_div.find('a') else '#' description_p = item.find('p', class_='cmp-search-results__result__description') description = description_p.get_text(strip=True) if description_p else 'No description' date_p = item.find('p', class_='cmp-search-results__result__date') date = date_p.get_text(strip=True).replace('Publication date :', '').strip() if date_p else 'No date' results.append({ 'title': title, 'link': 'https://www.fatf-gafi.org' + link, 'description': description, 'date': date }) return results # 主函数 def main(): url = 'https://www.fatf-gafi.org/en/search-page.html' driver = init_browser() try: html = fetch_page_with_selenium(url, driver) data = parse_page(html) for item in data: print(f"Title: {item['title']}") print(f"Link: {item['link']}") print(f"Description: {item['description']}") print(f"Date: {item['date']}") print('-' * 80) random_delay() finally: driver.quit() if __name__ == '__main__': main() ``` --- ### ✅ 代码说明 | 功能 | 描述 | |------|------| | `init_browser()` | 初始化 Selenium 浏览器，模拟用户行为 | | `fetch_page_with_selenium()` | 使用 Selenium 打开网页并获取完整 HTML | | `parse_page()` | 使用 BeautifulSoup 解析 HTML 内容 | | `random_delay()` | 随机延迟，防止请求频率过高 | | `--disable-blink-features=AutomationControlled` | 隐藏自动化特征，防止被识别为爬虫 | --- ### ✅ 增加的反爬机制 | 反爬机制 | 实现方式 | |----------|----------| | 模拟浏览器行为 | 使用 Selenium | | 隐藏自动化特征 | 添加 `--disable-blink-features=AutomationControlled` | | 设置 User-Agent | 在浏览器启动参数中设置 | | 随机延迟 | 控制请求频率 | --- ### ✅ 注意事项 1. **ChromeDriver 路径**：请将代码中的 `/path/to/chromedriver` 替换为你本地的 `chromedriver` 路径。 2. **浏览器版本匹配**：确保你的浏览器和 WebDriver 版本一致。 3. **等待时间**：根据页面加载速度，适当调整 `time.sleep(5)`。 4. **异常处理**：建议增加 `try-except` 处理浏览器异常。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值