
Python爬虫
文章平均质量分 57
基础性学习python网络爬虫
xiaochuhe--kaishui
首届“盘古石杯”全国电子数据取证大赛创新作品赛全国总冠军,补天漏洞响应平台风云白帽战神榜榜单总榜第三,360众测优秀白帽子。
展开
-
python爬虫——Beautiful Soup库(数据解析)模块讲解
一、概述Beautiful Soup (简称bs4)是一个可以从HTML或XML文件中提取数据的Python库。提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。注:Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。所以仅仅只需要说明一下原始编码方式就可以。二、数据解析数据解析就是将爬取到的整个页面中的局部的内容进原创 2022-03-09 09:12:51 · 3096 阅读 · 22 评论 -
python爬虫——request模块讲解
一、概述在后期渗透测试中,经常会遇到需要向第三方发送http请求的场景,python中的requests库可以很好的满足这一要求,Requests模块是一个用于网络请求的模块,主要用来模拟浏览器发请求。其实类似的模块有很多,比如urllib,urllib2,httplib,httplib2,他们基本都提供相似的功能。但是这些模块都复杂而且差不多过时了,requests模块简单强大高效,使得其在众多网络请求模块中脱引而出。二、安装和基本步骤使用环境安装:pip install requests基原创 2022-03-07 22:10:07 · 19183 阅读 · 22 评论 -
python——脚本实现检测目标ip是否存在文件包含漏洞
举例dvwa——File Inclusion代码如下:import requestsimport reurl = input("请输入需要检测的网址:")#检测的地址payload = "../"file_name = "phpinfo.php" #判断依据header = { 'Cookie':'security=low; PHPSESSID=kvop1odoacus033sgu0rdl01et', 'User-Agent':'Mozilla/5.0 (Windows原创 2022-02-09 16:08:48 · 2741 阅读 · 9 评论 -
python——通过socket实现服务器端和客户端的在线聊天
前言:本文讲解涉及到python中socket函数用法,需要巩固基础知识的可以查看下面博客python——Socket网络编程(详细讲解)(一)_xiaofengdada的博客-优快云博客_socket编程python原创 2022-01-25 16:03:32 · 2581 阅读 · 11 评论 -
python——通过socket实现服务端和客户端的通信
前言:本文讲解涉及到python中socket函数用法,看不懂的请查看下面博客:python——Socket网络编程(详细讲解)(一)_xiaofengdada的博客-优快云博客_socket编程pythonhttps://xiaochuhe.blog.youkuaiyun.com/article/details/122684715服务端代码:#通过socket实现服务端和客户端的通信#服务器端import socket #导入socket模块s = socket.socket() #创建so原创 2022-01-25 15:01:31 · 4737 阅读 · 14 评论 -
python——Socket网络编程(详细讲解)(二)
python——Socket网络编程(详细讲解)(一)_xiaofengdada的博客-优快云博客_socket编程python一、简介功能:socket也叫套接字,主要用来实现网络中不通计算机之间的通信。模块:两个模块,服务端模块和客户端模块过程:当创建了一个服务器Socket之后,服务端Socket就会先在一个端口上等待连接,客户端socket访问这个端口,当两者完成连接后,就可以实现交互访问。二、基本用法(1)socket()实例化语法格式:Socket.scoke原创 2022-01-25 14:39:05 · 3740 阅读 · 0 评论 -
python——Socket网络编程(详细讲解)(一)
前言:Socket是计算机之间进行网络通信的一套程序接口,相当于在发送端和接收端之间建立了一个通信管道。在实际应用中,一些远程管理软件和网络安全软件大多依赖于Socket来实现特定功能。本篇主要讲解TCP(传输控制协议——在网络编程中应用的比较频繁)方式在网络编程中的具体应用实例以及代码详解!编写TCP时一般会用到(基本都会用到)以下的Socket模块:connect(address):连接远程计算机send(bytes[,flags]):发送数据 resv(bufsize[,flags]原创 2021-12-31 13:31:18 · 12446 阅读 · 12 评论 -
python爬虫——获取网站中的特定块元素内容(一)
一、实现的目标目标:获取如图所示网站中所标的元素内容二、代码编写import requestsimport reimport jsonurl = "https://open.weibo.com/"header = { 'User-Agent':'ozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'}res = requests.get(url,headers=h.原创 2022-01-09 22:28:15 · 1363 阅读 · 2 评论 -
python爬虫——获取网站中的特定块元素内容(二)
一、实现的目标目标:获取如图所示百度主页网站中的6个热搜名称二、代码编写import requests #导入request模块import re #导入re模块url = "https://www.baidu.com/" #等会要爬的url地址header = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'}#UA伪装res原创 2022-01-09 19:51:32 · 553 阅读 · 1 评论 -
python爬虫——POST请求百度翻译案例(最后制作成小程序)
一、实现的目标输入一个英文单词就可以进行百度翻译成中文,将输入的英文单词翻译到的所有信息打印出来,最后通过pyinstaller打包成小程序运行。二、代码编写方法一:代码如下:import requestsimport jsonurl = "https://fanyi.baidu.com/sug"header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K原创 2022-01-09 00:18:34 · 1574 阅读 · 22 评论 -
python爬虫——GET请求百度关键词搜索案例
一、实现的目标输入一个关键词就可以进行百度搜索,然后获取搜索到的页面信息,最后再放入到文件中随时查看。二、代码编写import requests #导入request包url = "https://www.baidu.com/s?" #需要爬虫的地址header={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'}#在头部加入请求载体的身份原创 2022-01-08 19:28:56 · 5216 阅读 · 3 评论