【python】实现某个网页的链接获取与实现本地的文件目录创建与移动

最新推荐文章于 2024-05-21 02:22:39 发布

原创

最新推荐文章于 2024-05-21 02:22:39 发布 · 1.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#脚本

本文分享了两个Python脚本：1. 如何不使用爬虫框架获取网页上的所有链接，主要涉及requests和BeautifulSoup库的使用；2. 如何创建本地文件目录并移动文件。通过修改脚本中的特定部分，可以轻松适应不同的网页链接抓取和文件操作需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本次主要分享两个小脚本操作，使用python语言实现。

1.网页链接获取

其中有个就是常用的你想要获取到某个网页当中的全部所需的链接，但是又对于爬虫等框架知识不清楚，其实没有必要搞那么复杂，只要简单几步，便可以实现了，并且将做些简单的介绍。

Talk is cheep,show me the Code!

直接上代码！

"""
实现内容：
实现了将微信公众号当中的网页中的符合要求的网页链接爬取下来
并且存入到txt文件当中

"""
from bs4 import BeautifulSoup#用于解析网页
import requests

def main():
    #改这里
    url='https://mp.weixin.qq.com/s/ZqLPc2ja72qyfV2n-0mYSA' 

    web_data = requests.get(url)
    soup=BeautifulSoup(web_data.text,'lxml')

    #改这里
    links_file=open('G:/Desktop/link.txt','a')#自定义，你也可以不写入文本文件当中，或者设计链表存储也可以

    print("begin!")
    for i in range(1,11):
    
        #改这里
        links = soup.select('#js_content > section:nth-of-type('+str(i)+') a')
    
        for href in links:
            b = href.text#获得网页链接对应的标题头
            c = href.attrs['href']#获得网页链