
爬虫
文章平均质量分 74
德天老师
遇到你是我的缘,人生知己,尽在天下!
展开
-
【多知识点推荐】爬取数据,构造函数,字符列表处理一功多点
先使用列表把字符串打散,然后把字符里的内容一个个添加到列表,然后通过列表把索引p的字符找到用str© 进行替换,替换后列表后的字符后,再用join方法进行字符串转化。因为我们要对字符串处理,所以我们得到的原字符串中:的序列整型数字,需要用到处理字符串的find()方法,然后把参数添加到替换字符的函数sub()中,完成替换。—切割是对知识逻辑的生新梳理,让你对代码的内容进行深加工。—比如学习爬虫部分,切割学习让你能够减小压力,获得成绩。—当你把知识进行切割时,你就是把别人的肉,变成自己的菜。原创 2022-10-08 10:58:56 · 516 阅读 · 0 评论 -
【实战解析】德天和你学爬虫在你的电脑上对接有道翻译
这里写自定义目录标题实战解析有道翻译爬虫核心分析:源码设计 实战解析 有道翻译爬虫 核心分析: hashlib库: md5算法中,生成一个32位的16进制字符串,128位字节 m.update(b) 用提供的字节串更新此哈希对象m(hash object)的状态。 m.hexdigest() 返回摘要,作为十六进制数据字符串值,要点:16进制,字符串 encode()编码为计算机识别,decode()解码为人识别 bytes()字节串,便于网络传输,可以存入字符,数字,图形,音频等内容。原创 2020-08-25 10:00:31 · 291 阅读 · 0 评论 -
德天带你学习爬虫<六大模块><一大类><两大函数>精选解析源码
爬虫精选<六大模块><一大类><两大函数>精选解析 import pymysql import requests from lxml import html import datetime import time import re import multiprocessing #定义类SpiderNKW9object) class SpiderNKW(object): """ 定义两个类的方法: 1 spider() 2 get_co原创 2020-08-17 10:32:26 · 183 阅读 · 0 评论 -
德天和你一起使用Python制作网页搜索爬虫
搜索爬虫 目录页 构造参数 参数1:url拆分=原址去除搜索参数+kw参数 参数2:headers() ua伪装浏览器信息 参数3:params= 参数字典 保存生成数据信息 # -*- coding: utf-8 -*- import requests url='https://www.baidu.com/s?' kw=input("Enter a word:") headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWe原创 2020-08-16 09:53:57 · 197 阅读 · 0 评论 -
案例教学:德天和你精聊爬虫与python基础联系
爬虫+python基础知识 标题百度贴吧爬虫源代码: # coding=utf-8 import requests class TiebaSPider: def __init__(self,tieba_name): self.tieba_name = tieba_name self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}" self.h原创 2020-08-16 09:50:01 · 235 阅读 · 0 评论 -
跟德天老师学习爬虫之urllib 网址编码
urllib 网址编码 导入模块1 urlencode 和 urlopen,Request 三步走1拼接 2封装 3请求 from urllib.parse import urlencode from urllib.request import urlopen,Request url = 'https://www.baidu.com/s?' uc = urlencode({'wd':'美女'}) #拼接编码 url = url +uc #封装 req = Request(url=url) #请求 r原创 2020-08-13 19:50:10 · 120 阅读 · 0 评论