python爬取任意内容图片

本次选取静态图片网站,新手上路,小心翻车。
代码如下:

import re
import urllib.request
def find(url,sum):
    html=urllib.request.urlopen(url).read()
    html=str(html)
    pat1='<div class="left">.*<div class="right">'
    result1=re.compile(pat1).findall(html)
    result1=result1[0]
    pat2 = 'http://img.ivsky.com/.*?jpg'
    result2 = re.compile(pat2).findall(result1)
    x=1
    for url2 in result2:
        url2name=room+str(sum)+'页'+str(x)+'个'+'.jpg'
        try:
            urllib.request.urlretrieve(url2, filename=url2name)
            print('已输出第',sum,'页第', x, '个')
        except urllib.error.URLError as e:
            if hasattr(e, 'code'):
                x += 1
            if hasattr(e, 'reason'):
                x += 1
        x += 1

if __name__ =='__main__':
    name= input('请输入名称:')
    page=int(input('请输入页数:'))
    room = input('请输入地址:(确保文件夹存在比如F:/pachong/)')
    name = urllib.request.quote(name)
    for sum in range(1,page+1):
        url='http://www.ivsky.com/search.php?q='+str(name)+'&PageNo='+str(sum)
        find(url,sum)

本来想爬下图片名字,发现文字转码还没学,因此待实现。
仅供参考
#新手上路,多多理解

使用Python爬取东方财富网业绩数据可借助Selenium库实现,具体方法如下: 1. **环境准备**:安装配置好Selenium运行的相关环境,浏览器可选用Chrome、Firefox、PhantomJS等,这里以Chrome为例。 2. **确定爬取思路**:东方财富网的业绩数据无需登录即可获取,利用Selenium的“可见即可爬”特性方便爬取。先以单个网页中的业绩表格为例,表格数据结构简单,可直接定位到整个表格,然后一次性获取所有td节点对应的表格单元内容。接着循环分页爬取所有上市公司的数据,并保存为csv文件。重新构造灵活的url,实现可以爬取任意时期、任意一张业绩报表的数据 [^1]。 3. **编码实现**:以下是一个简单示例框架: ```python from selenium import webdriver from selenium.webdriver.common.by import By import pandas as pd # 设置Chrome浏览器驱动路径 driver = webdriver.Chrome() # 打开东方财富网业绩数据页面 url = '具体东方财富网业绩数据页面URL' driver.get(url) # 定位表格 table = driver.find_element(By.TAG_NAME, 'table') # 获取表格所有td节点内容 tds = table.find_elements(By.TAG_NAME, 'td') data_list = [] for td in tds: data_list.append(td.text) # 将list转换为DataFrame以便存储 # 这里需要根据实际表格列数分割大的list为多行多列的子list # 假设表格有n列 n = 具体列数 data = [data_list[i:i + n] for i in range(0, len(data_list), n)] df = pd.DataFrame(data) # 保存为csv文件 df.to_csv('业绩数据.csv', index=False) # 关闭浏览器 driver.quit() ``` 需要注意的是,以上代码中的“具体东方财富网业绩数据页面URL”和“具体列数”需要根据实际情况进行替换。同时,为了实现循环分页爬取和灵活构造url,还需要进一步完善代码逻辑。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值