request库的补充知识

本文介绍了一行代码实现网页爬取的方法,并详细解释了requests库的get方法及返回对象的属性,包括HTTP状态码、响应内容等。

获得一个网页最简单的一行代码是r = requests.get(url),它可获取你想获取的任何一个网页的资源,从而构造一个向服务器请求资源的Requests对象,服务器返回的内容用r来承接,即r是一个Response对象,它包含爬虫从服务器返回的所有内容。Requests库get方法的完整形式为

Requests.get(url,params = None,**kwargs)

它实际采用了requests的方法封装

关于requests库的对象属性

属性

说明

r.status_code

HTTP请求的返回状态,200表示连接成功,404表示失败

r.text

HTTP响应内容的字符串形式,即,url对应的页面内容

r.encoding

从HTTP header中猜测的响应内容编码方式

r.apparent_encoding

从内容中分析出的响应内容的编码方式(备选编码方案)

r.content

HTTP响应内容的二进制形式


当r.status_code为200时,后面的对象属性才能正确返回,否则说明URL访问出错

原则上说,apparent_encoding的编码比encoding的编码更加准确(前者从内容中分析编码方式,后者从header中分析)

Reques库的框架





### 使用 DeepSeek 构建 Java 知识 构建专门针对 Java 的知识可以极大地提升开发效率和技术积累。通过使用 DeepSeek 开源框架,能够创建一个高效、安全且易于访问的知识管理系统。 #### 准备工作 为了启动项目,首先需要准备好运行环境: ```bash conda create -n java_kb python=3.8 conda activate java_kb pip install deepseek-sdk faiss-cpu langchain==0.1.0 unstructured==0.12.2 ``` 这些命令用于设置 Python 运行时并安装必要的软件包来支持 DeepSeek 功能[^1]。 #### 获取预训练模型 接着下载适合处理编程语言特别是 Java 的预训练模型。这一步骤对于提高查询精度至关重要,因为特定领域内的语义理解有助于更精准地匹配和检索信息。 #### 配置文件与数据管理 考虑到 Java 社区活跃度极高,定期更新资料非常重要。可以从官方文档、知名博客以及社区论坛收集高质量的内容作为初始素材,并建立自动化流程以持续补充新的知识点[^2]。 #### 实现示例:搜索功能展示 下面是一个简单的例子,展示了如何利用已有的 API 接口实现基本的全文搜索引擎: ```python from deepseek_sdk import KnowledgeBaseClient, SearchRequest client = KnowledgeBaseClient('http://localhost:8000') request = SearchRequest(query="Java 8 新特性", top_k=5) response = client.search(request) for doc in response.documents: print(f"{doc.title}: {doc.snippet}") ``` 这段代码片段说明了怎样向本地部署的服务发起请求,并打印出最相关的前五个条目摘要。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值