python3 urllib读取网页写法

最新推荐文章于 2024-07-10 18:54:06 发布
最新推荐文章于 2024-07-10 18:54:06 发布
阅读量1.6k 收藏
点赞数
分类专栏： python爬虫
本文介绍了如何在Python中解决因SSL证书验证失败导致的问题。通过禁用全局证书验证的方法，可以避免因自签名证书引发的URL错误。适用于Python3中使用urllib.request模块的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考了http://bookshadow.com/weblog/2015/04/22/sae-python-weibo-sdk-certificate-verify-failed/

#coding=utf-8
import urllib.request
import ssl

ssl._create_default_https_context = ssl._create_unverified_context

def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

html = getHtml("https://www.baidu.com")

print(html)















1⃣️python3里url模块已发生变化，urllib需改成urllib.request

2⃣️urllib打开一个http链接时会验证一次ssl证书，如果网站使用的是自签名的证书会抛出一个URL_Error，可以直接全局取消证书验证












                

        

    

    
  



    



                



	

		

			

				
					
【Python】Python3网络爬虫实战-16、Web网页基础

				
			

			

				

					Python8年程序员教程分享
				

				

					07-26
					
					834
					
				

			

		

		

			
				
我们平时用浏览器访问网站的时候，一个个站点形形色色，页面也各不相同，但有没有想过它是为何才能呈现出这个样子的？
那么本节我们就来了解一下网页的基本组成、结构、节点等内容。
1. 网页的组成
网页可以分为三大部分，HTML、CSS、JavaScript，我们把网页比作一个人的话，HTML 相当于骨架，JavaScript 则相当于肌肉，CSS 则相当于皮肤，三者结合起来才能形成一个完善的网页，下面我...

			
		

	



                

            
              



	

		

			

				
					
python3 打开网页方法

				
			

			

				

					run bird 的专栏
				

				

					02-10
					
					7566
					
				

			

		

		

			
				
目前已知有两种方法自动打开网页，selenium webdriver 和webbrowser。selenium webdriver首先需要安装selenium和webdriverpip install selenium安装相应浏览器的driver.exe，以chrome为例。下载chromedriver.exe文件，放到chrome的application目录下，与chrome.exe相同的目录，...

			
		

	



              


  
              

                


	

		

			

				
					
Python3使用urllib访问网页

				
			

			

				

					weixin_30662849的博客
				

				

					12-29
					
					315
					
				

			

		

		

			
				
介绍
改教程翻译自python官网的一篇文档。
urllib.request是一个用于访问URL(统一资源定位符)的Python模块。它以urlopen函数的形式提供了一个非常简单的接口，可以访问使用多种不同协议的URL。它也提供了一个稍微复杂一些的接口，用来处理常用的情况——如基本的认证，cookies，代理等等。这些服务由叫做handlers和openers的对象提供。
urllib.requ...

			
		

	





	

		

			

				
					
Python3 使用urllib 爬取网页

				
			

			

				

					walk on the road of linux
				

				

					10-14
					
					284
					
				

			

		

		

			
				
from urllib import request

def down_html(url, fname):
  r = request.urlopen(url=url)
  with open(fname, 'wb') as fobj:
    while True:
      data = r.read(1024)
      if not data:...

			
		

	



		

			
		



	

		

			

				
					
python3读取网页内容_Python3爬虫04（其他例子，如处理获取网页的内容）

				
			

			

				

					weixin_36342356的博客
				

				

					12-23
					
					142
					
				

			

		

		

			
				
#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport reimport requestsfrom bs4 import NavigableStringfrom bs4 import BeautifulSoupres=requests.get("https://www.qiushibaike.com/")qiushi=res.conte...

			
		

	





	

		

			

				
					
LINUX命令行curl指令与python内置urllib模块

					
最新发布

				
			

			

				

					m0_57158496的博客
				

				

					07-10
					
					1452
					
				

			

		

		

			
				
函数可以用来创建一个实例，并且可以添加自定义的处理器。# 创建一个自定义的处理器# 使用build_opener添加自定义处理器# 发送请求try:# 创建一个Request对象，设置自定义的请求头# 发送请求这些是urllib提供的一些高级功能，它们可以帮助你处理更复杂的网络请求场景。不过，如果您需要频繁进行网络请求或者处理更复杂的逻辑，那么使用requests库可能会更加方便和高效。回页目录curl和**urllib**都是好用的参与WebWebWeb。

			
		

	





	

		

			

				
					
Python3爬虫（一）抓取网页的html

				
			

			

				

					恶人
				

				

					03-07
					
					1725
					
				

			

		

		

			
				
因为代码只有几行，所以可以先贴代码：


import  urllib.request
url = r'http://douban.com'
res = urllib.request.urlopen(url)
html = res.read().decode('utf-8')
print(html)


第一行，导入 urllib库的request模块
第二行，指定要抓取的网页url，必须以htt...

			
		

	





	

		

			

				
					
详解Python爬虫的基本写法

				
			

			

				

					12-23
				

			

		

		

			
				
比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。 1.最基本的抓站 ...

			
		

	





	

		

			

				
					
python网页爬虫循环获取_【超详细】使用python3做一个爬虫，监控网站信息上篇（获取网页信息）...

				
			

			

				

					weixin_39540271的博客
				

				

					11-23
					
					1568
					
				

			

		

		

			
				
由于朋友需要监视几个网页，来获取网页的更新信息。之前使用人工刷新的方法，不仅耗时耗力，效率低，而且时效性很差。于是委托我做一个程序，可以监控这几个网页的更新信息，如果页面更新了东西的话，可以直接通过邮件/微信发送给他。作为一个python还未入门的选手，对我而言这是个不小的挑战，首先感谢@wkm（博客:https://www.xiaoweigod.cn），node大佬的倾情帮助，对于程序的逻辑改进...

			
		

	





	

		

			

				
					
pythonurllib库获取yahoo财经数据_金融数据的获取——一个爬虫的简单例子

				
			

			

				

					weixin_39834281的博客
				

				

					01-14
					
					434
					
				

			

		

		

			
				
对量化投资策略进行研究，第一步就是获取我们需要的数据。使用历史数据能够对策略进行回测，以验证策略的有效性和可信性。另一方面，量化投资本身也是一种对数据的研究，因此它也必须遵循数据分析的相关步骤。作为一个业余的量化投资爱好者，免费的数据来源主要有以下几种途径：Yahoo、Sina 财经的APIPython的Tushare包自己手工爬取Tushare是一个免费、开源的Python财经数据接口包，它对数...

			
		

	





	

		

			

				
					
Python3访问并下载网页内容的方法

				
			

			

				

					09-21
				

			

		

		

			
				
主要介绍了Python3访问并下载网页内容的方法,实例分析了Python页面抓取及写入文件的实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下

			
		

	





	

		

			

				
					
python打开网页

				
			

			

				

					04-29
				

			

		

		

			
				
#coding:utf-8
import time
import webbrowser as web
import os
import random
#随机选择一个浏览器打开网页
def open_url_use_random_browser():
    #定义要访问的地址
    url='http://www.baidu.com'
    #定义浏览器路径
    browser_paths=[r'C:\Program Files (x86)\Mozilla Firefox\firefox.exe',
                            #r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe',
                            #r'C:\Program Files (x86)\Opera\launcher.exe',
                            #r'C:\Users\Administrator\AppData\Roaming\qianying\qianying.exe',
                            #r'C:\Users\Administrator\AppData\Local\115Chrome\Application\115chrome.exe',
                            #r'C:\Program Files (x86)\Internet Explorer\iexplore.exe',
                            #r'D:\Program Files(x86)\SouExplorer\SogouExplorer\SogouExplorer.exe'
                            ]
    #选择一个浏览器
    def chose_a_browser_open_url(browser_path,url):
        #如果传入的浏览器位置不存在，使用默认的浏览器打开
        if not browser_path:
            print ('using default browser to open')
            web.open_new_tab(url)#使用默认浏览器，就不再结束进程
        else:
            #判断浏览器路径是否存在
            if not os.path.exists(browser_path):
                print ('current browser path not exists,using default browser')
                #浏览器位置不存在就使用默认的浏览器打开
                browser_path=''
                chose_a_browser_open_url(chose_a_browser_open_url,url)
            else:
                browser_task_name=browser_path.split('\\')[-1]#结束任务的名字
                browser_name=browser_task_name.split('.')[0]#自定义的浏览器代号
                print (browser_name)
                web.register(browser_name, None,web.BackgroundBrowser(browser_path))
                web.get(browser_name).open_new_tab(url)#使用新注册的浏览器打开网页
                print ('using %s browser open url successful' % browser_name)
                time.sleep(5)#等待打开浏览器
#              kill_cmd='taskkill /f /IM '+browser_task_name#拼接结束浏览器进程的命令

#             os.system(kill_cmd) #终结浏览器
    browser_path=random.choice(browser_paths)#随机从浏览器中选择一个路径
    chose_a_browser_open_url(browser_path,url)
if __name__ == '__main__': 
    print (''''' 
   ***************************************** 
   ** Welcome to python of browser  ** 
   **  Created on 2019-04-28   ** 
   **  @author: Louise_ZOU   ** 
   ***************************************** 
    ''')
    open_url_use_random_browser()

			
		

	





	

		

			

				
					
urllib获取网页

				
			

			

				

					Roger_may的博客
				

				

					03-23
					
					701
					
				

			

		

		

			
				
urllib是python一个内置库，功能是用来HTTP请求
urllib主要有下面几个函数

urllib.request打开并读取url的内容
urllib.error异常处理
url.parse解析，将获取的内容转码
url.robotparser 解析robot.txt

先看urllib.request
常用函数urllib.request.urlopen
 urllib.request...

			
		

	





	

		

			

				
					
使用urllib获取网络页面

				
			

			

				

					叶清逸的博客
				

				

					05-03
					
					875
					
				

			

		

		

			
				
这篇文章讲述的是使用urllib库来获取网络页面资源，如有错误或不当之处，还望各大神批评指正。
一、基本用法

使用urllib.request.urlopen()方法发送请求

# 基本用法
response = urllib.request.urlopen(request)

二、发送请求

例子：获取百度首页

import urllib.request


def get_page():
...

			
		

	





	

		

			

				
					
python爬取网页urlib_Python3网络爬虫（1）：利用urllib进行简单的网页抓取

				
			

			

				

					weixin_39666782的博客
				

				

					12-03
					
					289
					
				

			

		

		

			
				
1.开发环境pycharm2017.3.3python3.52.网络爬虫的定义网络爬虫，也叫网络蜘蛛(web spider)，如果把互联网比喻成一个蜘蛛网，spider就是一只在网上爬来爬去的蜘蛛，网络爬虫就是根据网页的地址来寻找网页的，也就是URL。举一个简单的例子，我们在浏览器的地址栏中输入的字符串就是URL，例如：https://www.baidu.com/URL就是统一资源定位符(unif...

			
		

	





	

		

			

				
					
Python3 urllib 获取网页 操作笔记

				
			

			

				

					飞翔的派生
				

				

					02-27
					
					369
					
				

			

		

		

			
				
import urllib.request# 打开URL并保存为指定文件
urllib.request.urlretrieve('http://www.baidu.com','test.html')
未完成，个人学习，仅供参考

			
		

	





	

		

			

				
					
python3模拟点击打开网页，登录网页

				
			

			

				

					qq_53915944的博客
				

				

					08-11
					
					2284
					
				

			

		

		

			
				
但是我们的driver不知道要点击哪里，这时候就需要告诉driver聊天框的位置，聊天框其实就是网页中的某个元素，在网页中所有控件都叫元素，我们需要先找到元素的位置，然后告诉driver是哪个元素，然后driver才可以模拟人为点击。那么要怎么找到元素呢，首先要打开网页https://www.baidu.com后打开网页的控制台，找到元素一栏如图。这样输入就完成了，最后只用点击搜索按钮即可，重复第四步获取搜索按钮元素的位置ID='su'或。这里元素比较简单，也可以用ID为kw表示，所以也可以这样。

			
		

	





	

		

			

				
					
python3之后版本读取网页的内容

				
			

			

				

					CHYabc123456hh的博客
				

				

					02-27
					
					223
					
				

			

		

		

			
				
import urllib.request
url = "http://helloworldbook2.com/data/message.txt"
#直接通过url来获取网页数据
print('第一种')
response = urllib.request.urlopen(url)
code = response.getcode()
html = response.read()
mystr = ...

			
		

	





	

		

			

				
					
python3-1.打开指定网页

				
			

			

				

					嗑盐工作室
				

				

					12-09
					
					345
					
				

			

		

		

			
				
import webbrowser
from pathlib import Path

print("打开浏览器指定网页")

chromePath = r"D:\Program Files\Tencent\QQBrowser\QQBrowser.exe"
filename = Path("E:\\自动化测试框架\\自动化平台测试开发-Python测试开发实战.pdf")

#这里的'chrom...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值