访问网页

python 实现自动访问网页 python 实现自动访问网页 完整代码如下: import time from urllib import request # 文章的URL url_list = ['108668971', '108620289', '108605091', '108601340', '108569697'] url = 'https://blog.youkuaiyun.com/qq_43618698/article/details/' data = '' # 将GET方法中待发送的数据设置为空 # 请求头 heade 阅读详情

http://fex.baidu.com/blog/2014/05/what-happen/
http://blog.youkuaiyun.com/xiao__gui/article/details/17298437
http://www.cnblogs.com/dolphinX/p/3460545.html
http://blog.youkuaiyun.com/cxm_hwj/article/details/6690058
http://blog.youkuaiyun.com/xiaotian15/article/details/8625302
http://blog.youkuaiyun.com/world_hello_100/article/details/18601715

0.输入url,回车。浏览器会先查看缓存,接着调用不同平台下网络请求的方法。

1.發送請求時需要建立一個socket連接,建立連接需要ip和端口號,所以之前要經過一次DNS解析获得ip。
DNS查询是基于UDP来实现的。chrome使用QUIC协议,是UDP转发HTTP请求

2.連接建立成功後,開始向服務器發送請求(GET或者POST方式)
GET方式的格式:GET / 路徑(即所訪問的文件名)/ HTTP/1.0(即瀏覽器使用的HTTP版本)。例如:GET/mytest/index.html HTTP/1.0

3.服務器收到請求後,進行處理。比如瀏覽器需要訪問 mytest文件下的index.html,服務器找到該文件後,把該文件內容傳送給相應的瀏覽器。
為了回應瀏覽器,服務器首先傳送一些HTTP頭信息,然后传送HTTP体信息(即具体内容),头信息与体信息之间用一个空格隔开。
常用的HTTP头信息有:
HTTP 1.0 200 OK 这是服务器回应的第一行,即服务器正在运行的HTTP版本号 和 应答代码 (200 OK表示请求完成)
MIME_Version:1.0 这是指MIME类型的版本
CONTENT_TYPE: 这是指HTTP体信息的MIME类型。例如CONTENT_TYPE:text/html 表示传送的数据是HTML文档
CONTENT_LENGTH: 这是指HTTP体信息的长度(字节)。

4.当应答结束后,浏览器和服务器的socket连接断开。(不是session连接断开,session会在无任何操作的情况下生存20分钟。)

既然浏览器Http协议是基于TCP的,为什么还要Session?
最近看到不少同学在问这样的一个问题:经常用的浏览器应用层采用的是http的协议,传输层是基于TCP的,我们都知道TCP是基于链接的协议,也就是说,在向服务器发送数据之前,必须先和服务器建立链接,这一点很重要,这是TCP协议所规定了的。那么有人就开始问了,既然浏览器是的本质上还是采用了基于链接的传输协议,那么为啥还要去开辟一个Session对象来存放一些临时数据呢?我们都知道开辟Session的目的就是为了解决客户端(浏览器)和服务器端断开的问题,Session主要就是记录一些客户端(浏览器)的一些用户信息。既然是基于TCP连接的,按理说就不需要Session了,开辟Session是不是多此一举啊?
问这样的问题,其实也不见怪,我觉得还是我们宏观领域和微观领域的认识的差异。我这样说吧,Htpp是基于TCP连接的这没错。但是我想说的是,这里的连接是一个“连接动作”,是一个“瞬时状态”,(注意:我在这里特意给“瞬时状态”打了一个引号,其实浏览器在想服务器发送数据的额时候是有时差的,也就是说在真正意义上来说并不是时间点,而是一个很短的时间段,因为很短,所以我才说成是“瞬时状态”),并不是我们生活中所说的连接是一直处于不间断的连接,这里的连接是一个“连接状态”,是一个“长时状态”,可见此连接非彼连接啊,也就是说浏览器端和服务器端只有在浏览器向服务器发送数据的那一瞬间是连接起的,当服务器把响应的数据全部发送到浏览器之后,浏览器就和服务器又断开连接了。这是浏览器用户的一些信息就需要一个地方来保存了啊,这时Session就派上用场了。很多人都在用Session ,但是为什么要有Session这个对象,估计部分初学者还是没搞得太明白。希望,博友看了这篇随笔之后,对你有一定帮助。

LCD 屏幕上的每个物理像素点实际上是由红、绿、蓝 3 种色彩的点组成,每个颜色点能单独控制,下面是用显微镜放大后的情况
http://fex.baidu.com/img/what-happen/Liquid_Crystal_Display_Macro_Example_zoom_x1.jpg
从上图可以看到每 3 种颜色的滤光片都全亮的时候就是白色,都灭就是黑色,如果你仔细看还能看到有些点并不是完全黑,这是字体上的反锯齿效果。
通过这 3 种颜色亮度的不同组合就能产生出各种色彩,如果每个颜色点能产生 256 种亮度,就能生成 256 * 256 * 256 = 16777216 种色彩。
并不是所有显示器的亮度都能达到 256,在选择显示器时有个参数是 8-Bit 或 6-Bit 面板,其中 8-Bit 的面板能在物理上达到 256 种亮度,而 6-Bit 的则只有 64 种,它需要靠刷新率控制(Frame rate control)技术来达到 256 的效果。
如何控制这些颜色点的亮度?这就要靠液晶体了,液晶体的特性是当有电流通过时会发生旋转,从而将部分光线挡住,所以只要通过电压控制液晶体的转动就能控制这个颜色点的亮度,目前手机屏幕中通常使用 TFT 控制器来对其进行控制,在 TFT 中最著名的要数 IPS 面板。
这些过滤后的光线大部分会直接进入眼睛,有些光还会在其它表面上经过漫(diffuse)反射或镜面(specular)反射后再进入眼睛,加上环境光的影响,要真正算出有多少光到眼睛是一个积分问题,感兴趣的读者可以研究基于物理的渲染。
当光线进入眼睛后,接下来就是生物学的领域了,所以我们到此结束。

public static void main(String[] args) throws Exception {
    // 地址localhost,端口号8080  
    Socket socket = new Socket("localhost", 8080);    

    // 请求服务器  
    OutputStream out = socket.getOutputStream();  
    PrintWriter pw = new PrintWriter(out);  
    pw.println("GET /Test/test.jsp HTTP/1.1");  // 请求的第一行Request-Line,需要写请求的URL(/Test/test.jsp)  
    pw.println("Host: localhost:8080");  // 请求头,Host是必须的  
    pw.println();  // 一定要有个空行表示请求结束  
    pw.flush();  // 提交请求  

    // 获取服务器响应  
    InputStream is = socket.getInputStream();
    InputStreamReader reader = new InputStreamReader(is);

    // 输出响应内容    
    while (true) {
        System.out.print((char)reader.read());
    }
}
访问网页进行计数 获得Session对象访问网页进行计数 package com.example.Servlet_day_8_20; import javax.servlet.ServletException; import javax.servlet.annotation.WebServlet; import javax.servlet.http.HttpServlet; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.Http 阅读详情

相关推荐

HTTP网页访问应用分析

HTTP 是一种用于从Web 服务器端传送超文本标记语言(HTML-Hyper Text Markup Language) 文件到客户端浏览器的传送协议,它是Internet 上最常见的协议之一。我们通常访问的网 页,就是通过HTTP 协议进行传送的。

应用分析 - HTTP网页访问应用分析

一、HTTP协议简介 1.什么是HTTP协议 HTTP,全称HyperTextTransferProtocol,中文名为超文本传输协议。 HTTP是一种用于从Web服务器端传送超文本标记语言(HTML-HyperTextMarkupLanguage)文件到客户端浏览器的传送协议,它是Internet上最常见的协议之一。我们通常访问的网页,就是通过HTTP协议进行传送的。 2.HTTP协议的工作原理 HTTP用名字标识某一资源时(即在浏览器中输入网址),遵循统一资源名(U...

lalalalala~~ 1617

Vectorless dynamic动态功耗分析——Voltus

power 计算工具会根据设计信息和用户提供的activity和switching约束来生成虚拟的worst-case的power vector,难点在于哪些instances视为switching,在没有仿真的前提下如何确定开关的时间,使用timing文件(TWF)

qq_44347276的博客 2790

11.25HTTP协议、Nginx web基础

一、HTTP协议 1.什么是HTTP?(Hyper Text Transfer Protocol)超文本传输协议 2.什么是超文本? 3.什么是URL? 二、HTTP协议原理 1.文字描述(正常) 2.文字描述(不正常版) 三、访问网站分析 1.请求过程中是以报文的形式 2.基本信息 General 3.响应头部 Response Headers 4.请求头部 Request Headers 四、HTTP请求方法 HTTP协议版本: 五、HTTP响应方法 1.状态码:(status-code) 六、请求头部

weixin_46837396的博客 1145

MPU6050模块DIY翻车实录:ID能读但数据全为零?原来是这个10uF电容惹的祸

本文详细记录了MPU6050模块调试过程中遇到的ID能读但数据全为零的问题排查过程。通过对比不同参考设计,发现CPOUT引脚10uF电容选择不当是导致数据异常的根源,更换为官方推荐的2.2nF电容后问题解决。文章为硬件开发者提供了宝贵的电路设计经验。

weixin_29158047的博客 319

试读源码在这里下载

试读文章的源码在这里下载。源码不做任何修改,重点重点重点:为了代码运行不报错,安装matlab 版本为 2021 及以上版本。matlab安装教程大家可以参考这个教程:手把手教你安装matlab软件。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 4302

超级网页访问3.0完美终结版:简化网页访问,提升开发效率

超级网页访问3.0完美终结版:简化网页访问,提升开发效率 去发现同类优质开源项目:https://gitcode.com/ 超级网页访问3.0完美终结版:专为易语言设计的网页访问工具 在当前互联网技术快速发展的背景下,开发者对于网页访问工具的需求越来越高。超级网页访问3.0完美终结版,以其简单易用、高效稳定的特点,成为易语言开发者的得力助手。 项目介绍 超级网页访问3.0完美终结版是一款专为易语言...

gitblog_06767的博客 835

Aurix TC3xx系列MCU DMA模块配置方法(二)

本文主要基于英飞凌Aurix TC3xx系列MCU,通过EB tresos配置工具,介绍DMA驱动模块的配置方法。

m0_38045338的博客 2850

静态网页访问增加密码

静态网页访问增加密码<!DOCTYPE HTML> <html lang="zh-cn"> <head> <meta charset="utf-8" /> <title>阳光柠檬</title> </head> <html> <body> <SCRIPT LANGUAGE="JavaScript"> function password()

阳光柠檬_的技术笔记 7711

【WRFDA第一期】WRF数据同化概述及资源整理

【WRFDA第一期】WRF数据同化概述及资源整理

WW、forever的博客 1658

Windows 下 OpenClaw(小龙虾) 安装全记录:从零到一的保姆级图文教程(持续更新中)

本文主要介绍了Windows 下 OpenClaw 安装全记录:从零到一的保姆级图文教程,希望能对学习使用OpenClaw 的同学们有所帮助。 文章目录 1. 背景 2. 实战教程 2.1 步骤一 安装Node.js 2.2 步骤二:安装并配置OpenClaw 2.3 步骤三:配置模型 2.4 步骤四:对话 3. 后续使用步骤

weixin_43178406的博客 16万+

使用python访问网页(一)

使用python访问网页(一) 使用webbrowser打开浏览器: import webbrowser as web import time import os urllist=[ 'https://blog.youkuaiyun.com/qq_44929535/article/details/109995242', 'https://blog.youkuaiyun.com/qq_44929535/article/details/109967975', 'https://blo

qq_44929535的博客 5227

Java小白入门200例81之Java接口

作者简介 作者名:编程界明世隐 简介:优快云博客专家,从事软件开发多年,精通Java、JavaScript,博主也是从零开始一步步把学习成长、深知学习和积累的重要性,喜欢跟广大ADC一起打野升级,欢迎您关注,期待与您一起学习、成长、起飞! 引言 很多Java初学者问我,新手明明很用心、很努力学习的Java知识,转头又忘记了,很让人犯愁,小白如何能够快速成长、成为大牛呢? 其实要成为大神的技巧只有一个:“多学多练”,于是明哥就整理了比较典型的练习实例,通过练习能够快速提升编码技巧和熟练度,让你在成为大

编程界明世隐的博客 1358

通过python多线程访问网页

通过python多线程访问网页<br />@for&ever 2010-07-03 <br /> <br /> <br />通过python,采用多线程的方式访问网页。<br />一个简单的小例子,访问三个不同的页面,每个页面开20个线程并发访问。<br /> <br />python脚本如下:<br /> <br />#!/usr/bin/env python # -*- coding: utf-8 -*- ''' Created on 2010-7-2 @author: forever

for ever的log——永远的足迹 6560

西安交通大学软件学院——分布式系统练习题(综合题)

摘要:本文探讨了分布式系统的核心特性与关键问题。首先阐述了分布式系统的8种透明性特性,包括访问、定位、迁移等。然后通过具体案例分析了分布式事务的回滚机制、域名解析的迭代与递归过程、不同分布式系统的异同比较。重点讨论了RPC通信中客户端/服务器崩溃的处理方法,包括消灭、再生和到期三种策略。最后介绍了Lamport时间戳算法在进程通信中的应用及问题解决方案。全文涵盖了分布式系统设计中的透明性、可靠性、一致性等核心问题。

qq_73044452的博客 204

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

关掉我会关掉的网页_网页关闭时如何访问网页

关掉我会关掉的网页Nothing ever vanishes completely from the Internet. Whether a web page has been down for a few minutes or a few years, there are a few ways you can view its content anyway. 互联网永远不会完全消失。 无论网页...

culiuman3228的博客 376

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

易语言关于使用CURL,网页_访问,网页_访问S,网页_访问_对象,鱼刺(winHttpW)发送Get性能测试...

易语言关于使用 CURL,网页_访问,网页_访问S,网页_访问_对象,鱼刺(winHttpW)发送Get性能测试 测试模块情况: |-精易模块5.8|-鱼刺类Http|-libCURL +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 以下只是部分截图: 话不多说,直接上...

weixin_30468137的博客 2822

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

PowerShell 访问网页

PowerShell 访问网页 访问百度: $ie = Invoke-WebRequest http://wenku.baidu.com/ $ie.Content POST,需要先构建 POST 数据。 $body = @{     "doc_id_code"="1eafaeea5ef7ba0d4a733b44"     "query_word"="" }

心想事成 9372

Java统计网页访问量

如何实现Java统计网页访问量 流程图 #render_6_2289294029-svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#render_6_2289294029-svg .error-icon{fi...

weixin_31421625的博客 892

python网页访问_python伪装网页访问

# -*- coding:utf8 -*-#import urllib.request#url =' http://www.douban.com/'#webPage=urllib.request.urlopen(url)#data = webPage.read()#data = data.decode('UTF-8')#print(data)#print(type(webPage))#print(...

weixin_39814088的博客 91

网页非法访问的控制

概览:用两种不同的方式实现阻止非法访问网页:拦截器、过滤器的使用和Spring-Security的使用。 拦截器和过滤器的使用: 在项目中加入拦截器与过滤器 工作原理: 1>拦截器:拦截的是 action,说白了拦截的是访问路径,但是阻止的方式是拦截网址的映射,还是可以通过访问页面的直接网址的非法访问方式进入网页; 2>过滤器:可以几乎过滤掉所有的东西;无论是网址的映射还是直接...

weixin_43798202的博客 2983

crontab 访问网页

***** 分别为分、时、日、月、周 定时访问网页可实现定时访问框架中的方法,或者项目的指定接口 * * * * * sleep 10; /usr/bin/wget -q -o temp.txt http:// 0 0 * * * /usr/bin/wget -q -o temp.txt http:// ...

X_hazel的博客 688

python 用指定浏览器访问某个网页、抽象的访问并读取某个网页

1、抽象的访问并读取某个网页 抽象的访问并读取某个网页,使用爬虫技术的时候需要使用到,所以这里记录一下: import urllib3 http = urllib3.PoolManager(num_pools=5, headers={'User-Agent': 'ABCDE'}) resp1 = http.request('GET', 'https://blog.youkuaiyun.com/wy313622821/article/details/108472125') # print(resp1.data.decod

wy313622821的博客 1155

访问网页的全过程

本文梳理了访问网页的全过程,按照网络五层模型进行解析。首先通过DNS协议获取域名对应的IP地址,涉及根服务器、TLD服务器和权威服务器的协同查询。随后浏览器通过HTTP/HTTPS协议发起TCP连接请求,服务器返回响应后浏览器解析HTML并加载资源。文章详细介绍了URL结构、DNS工作流程(含递归和迭代查询)、HTTP传输机制,并强调网络层的核心功能是转发与路由。整个过程涵盖了从应用层到网络层的关键知识点,为理解计算机网络通信提供了系统框架。

持续更新中!!! 1451
上一篇: 自执行匿名函数
下一篇: 内联和块级和泛型
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值