
python爬虫
AA8j
Who Am I-Kein System ist sicher
展开
-
【爬虫+算法】爬取成都地铁所有站点信息,并基于迪杰特斯拉算法计算最优地铁路线
效果图输入四川师范大学到四川大学试试水:对比高德地图结果:一毛一样。项目地址https://github.com/AA8j/ChenduMetro参考文章https://blog.youkuaiyun.com/qq_39241986/article/details/111465810原创 2021-04-20 17:50:43 · 653 阅读 · 2 评论 -
【python爬虫】基于爬虫的单线程【IP溯源】工具
功能读取IP的txt文件进行溯源溯源信息暂包括:ip138(归属地,运营商,网络,网段)、cnnic(状态)、fofa(端口,服务器,协议)、ipip(高精度定位,IDC)自动保存为xlsx文件(命名方式:包含ip的txt文件名+_result_+时间)缺点:单线程速度不是很快,多线程会被反爬,后期会加入IP代理池,进行多线程爬取。效果图项目结构results:溯源保存的xlsx结果targets_ips:溯源目标txt文件main.py:主模块write_xlsx:保存信息模原创 2021-03-19 11:51:27 · 1313 阅读 · 0 评论 -
【python爬虫】搭建自己的免费IP代理池(下)——【多线程验证代理IP】
项目地址:https://github.com/AA8j/FreeProxy效果图代码# -*- coding: utf-8 -*-# @Time : 2021/3/19 10:30# @Author : AA8j# @FileName: CrawlFreeProxyIP.py# @Software: PyCharm# @Blog :https://blog.youkuaiyun.com/qq_44874645import requestsimport threadingde原创 2021-03-19 10:43:46 · 337 阅读 · 1 评论 -
【python爬虫】搭建自己的免费IP代理池(上)——【单线程爬取代理IP】
项目地址:https://github.com/AA8j/FreeProxy效果图代码# -*- coding: utf-8 -*-# @Time : 2021/3/19 10:30# @Author : AA8j# @FileName: CrawlFreeProxyIP.py# @Software: PyCharm# @Blog :https://blog.youkuaiyun.com/qq_44874645import timeimport requestsimport re原创 2021-03-19 10:38:37 · 1025 阅读 · 0 评论 -
【python爬虫】爬取ipip信息(随机User-Agent+获取并携带cookie+获取并携带csrf_token访问)
本模块为IP溯源单线程获取ipip信息的模块。效果图代码import reimport urllib.request # 发送请求import http.cookiejar # cookiefrom fake_useragent import UserAgentdef get_ipip_html(ip): url1 = "https://www.ipip.net/ip.html" cookiejar = http.cookiejar.CookieJar() #原创 2021-03-18 09:59:17 · 576 阅读 · 0 评论 -
【python爬虫】爬取ip138信息(随机调用User-Agent)
分析挂上burpsuite代理,来到ip138首页,任意查询一个ip8.8.8.8。原创 2021-03-17 15:17:32 · 2181 阅读 · 3 评论 -
【python爬虫】爬取fofa信息(随机User-Agent+获取并携带Cookie+获取并携带csrf_token访问)
本模块为IP溯源单线程获取fofa信息的模块。效果图代码import reimport base64import urllib.request # 发送请求import http.cookiejar # cookiefrom urllib import parsefrom fake_useragent import UserAgentdef get_fofa_html(ip): url1 = f"https://fofa.so/result?q=ip='{ip}'&原创 2021-03-18 09:41:03 · 1504 阅读 · 1 评论