python实现IP地址对应地区爬取

通过python爬虫mechanize库爬取本机的ip地址 都已经2022年了,还有人不知道mechanize吗?爬虫库mechanize的使用,通过它发送请求,爬取本机的ip地址 阅读详情

# -*- coding: utf-8 -*-
"""
Spyder Editor

This is a temporary script file.
"""
import requests

import simplejson as json
import pandas as pd
password ="*******"
ip='**********'
def query_ip_zone(ip):
    token = 'f4eb21************ef986e'  #需要去下面的网址注册生成token
    url = 'https://67ip.cn/check?ip='+ip+'&token='+token
    response = requests.post(url)
    dt = response.content.decode("utf-8")
    data=json.loads(dt)["data"]
    
    ret = data["country"]+data["province"]+data["city"]
    service=data["service"]
    rst = []
    rst = [ip,ret,service]
    return rst

def taobao(ip):
    url = 'http://whois.pconline.com.cn/ipJson.jsp?ip='+ip
    response = requests.post(url)
    dt = response.content.decode("gbk")
    #data=json.loads(dt)
    print(dt)
    #return rst

def ipv6(ip):
    url = 'http://ip.zxinc.org/api.php?type=json&ip='+ip
    response = requests.post(url)
    dt = response.content.decode("utf-8")
    data=json.loads(dt)["data"]
    rst=[]
    lc = data["location"].replace("\t","").split(" ")
    rst=[ip,lc[0],lc[1]]
    print(rst)
    return rst

def ipseacher(ip):
    url="http://ip-api.com/json/"+ip+"?lang=zh-CN"
    response = requests.get(url)
    dt1 = response.content.decode("utf-8")
    dt=json.loads(dt1)
    ret = str(dt["country"])+str(dt["regionName"])+str(dt["city"])
    isp=dt["isp"]
    rst = []
    rst = [ip,ret,isp]
    print(rst)
    return rst

def ipseacherv6(ip):
    #url="http://ip-api.com/json/"+ip
    #response = requests.get(url)
    url="https://ipapi.ipip.net/v2/query/"+ip+"?token=TOKEN"
    response = requests.get(url)
    dt1 = response.content.decode("utf-8")
    print(dt1[:10000])
    
#ipv6("2409:896c:2050:ba27:6c72:211c:daca:442a")
#taobao("119.62.209.167")
df = pd.read_excel(r"Ip地址.xlsx")
iplist = df['地址'].values
iprst = []
for i in iplist:
    iprst.append(ipv6(i))#根据需求,调用相应的函数,实现对ip地址的读取
print(iprst)
df2 = pd.DataFrame(iprst)
df2.to_excel(r"结果.xlsx")

python 爬取数据防止IP被封 一、使用代理IP池,利用代理IP进行爬取数据(免费的IP太难找了,示例代码中还应补充如果IP不能用,可以提示用户替换,由于用不到所以没有添加。仅供参考) 二、设置浏览器信息 三、设置连接网站动态访问时间 一、使用代理IP池,利用代理IP进行爬取数据(示例代码) #使用代理IP池 def dynamic_IP (): http_ip = ['222.242.106.7:80' #使用的代理IP ] proxy_ip = {'http': random.choice 阅读详情

相关推荐

Python网络爬虫与信息提取(3)—— 实战之IP地址归属地查询

前言 前面学习了request库,这一节利用request库和beautifulsoup库爬取IP地址归属地。 技术框架 requests + bs4 bs4官方介绍: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。 Beauti...

qq_37668436的博客 2069

python爬虫学习之查询IP地址对应的归属地

话不多说,直接上代码吧。 import requests def getIpAddr(url): response = requests.get(url) response.encoding=response.apparent_encoding content = response.text #print(len("四川省成都市 电信")) p...

weixin_30299539的博客 563

使用亮数据代理IP爬取PubMed文章链接和邮箱地址

以上是一个简单的爬虫示例,展示了如何使用亮数据的IP代理服务来爬取网页链接以及邮箱地址。通过亮数据的IP代理服务,我们可以轻松地突破网站的封锁,实现数据的高效获取。希望通过以上示例能够帮助大家更好地理解IP代理服务的重要性和使用方法。如果您对IP代理服务感兴趣,可以通过亮数据官网了解更多信息。

努力是为了站在万人之中,成为别人的光 1万+

Python入门网络爬虫之精华版

Python学习网络爬虫主要分3个大的版块:抓取,分析,存储另外,比较常用的爬虫框架Scrapy,这里最后也详细介绍一下。首先列举一下本人总结的相关文章,这些覆盖了入门网...

IT派 940

Python脚本项目源码-根据IP地址查对应的地理信息

Python脚本项目源码-根据IP地址查对应的地理信息

python实现获取Ip归属地等信息

如果你有一批IP地址想要获得这些IP具体的信息,比如归属国家,城市等,最好的办法当时是调用现有的api接口来获取,我在之前就写过一篇文章,是关于我的博客被莫名攻击的时,就有获取过一批IP,攻击的时候当时是恢复业务重要,IP该封的就要封,攻击过后这个攻击者的IP信息,自己就可以分析下都来自哪里,有没有什么特征,帮助提示自己网站的安全性,今天这个脚本就是根据提供的IP获得IP归属的具体信息,脚本如下: #!/usr/bin/env python import requests import csv def getIp(file): iplist = [] fi = open(file,

Python爬取代理IP地址

我们都知道在爬取网页信息时很容易遭到网站的封禁,这时我们就要用到代理IP 以下是模拟浏览器访问网页的代码 在自定义函getHtml()中可以得到解析后的网页信息 _headers = { 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Enc...

云淡风轻ing的博客 3281

CentOS校园网Web Portal认证自动化实战

Web Portal认证是一种基于HTTP重定向与表单提交的强制网络准入机制,其原理是网关劫持未认证流量并跳转至登录页,验证通过后通过Cookie维持会话授权。该技术广泛应用于高校、机场、酒店等场景,核心价值在于细粒度访问控制与用户身份绑定。典型应用包括Linux命令行环境下的校园网接入、无GUI设备的自动联网、以及实验室集群的集中认证管理。本文聚焦CentOS系统,深入解析curl、cookie持久化、动态表单参数提取等关键技术环节,提供可调试、可复现、可工程化的完整认证流水线。

weixin_30522983的博客 264

Python爬虫:自建IP地址池

使用工具及网站: 网站:快代理 python版本:3.8.2 IDE:PyCharm Community Edition 2020.1 x64 新手(也包括我????)在练习爬虫时总会拿一些网站来练手,不过,遇到某些网站,爬取过多可能会封掉你的 IP ,这可就麻烦了,所以构建自己的 IP地址池 时很重要的。 首先分析一下 快代理 网站: 通过查看网页源代码可以知道,该网站时一个静态网站,对于我们所要寻找的内容,都可以在网站的源代码中找到。 步骤: 首先,将我们所需的基本库全部导入: import re

高智商白痴 1万+

YOLOv8损失函数升级:从CIoU到Wise-IoU v3的实战调优与避坑指南

本文详细介绍了如何将YOLOv8的损失函数从CIoU升级到Wise-IoU v3,以提升目标检测性能,特别是在小目标检测和样本不均衡场景下的表现。通过实战调优步骤和避坑指南,帮助开发者有效应用Wise-IoU v3的动态聚焦机制和单调性控制,显著提升模型精度和训练稳定性。

weixin_33737774的博客 590

手把手教你用Trae配置Python开发环境(含Claude 3.5代码生成实战)

本文详细介绍了如何使用字节跳动推出的Trae智能开发环境配置Python开发环境,并实战演示了Claude 3.5代码生成功能。从环境准备到项目初始化,再到AI辅助编码和调试优化,全面展示了Trae在提升开发效率方面的强大能力,特别适合Python开发者快速搭建项目和解决复杂问题。

weixin_28309571的博客 976

python爬取代理IP并进行有效的IP测试

爬取代理IP及测试是否可用 很多人在爬虫时为了防止被封IP,所以就会去各大网站上查找免费的代理IP,由于不是每个IP地址都是有效的,如果要进去一个一个比对的话效率太低了,我也遇到了这种情况,所以就直接尝试了一下去网站爬取免费的代理IP,并且逐一的测试,最后将有效的IP进行返回。 在这里我选择的是89免费代理IP网站进行爬取,并且每一个IP都进行比对测试,最后会将可用的IP进行另存放为一个列表 https://www.89ip.cn/ 一、准备工作 导入包并且设置头标签 import requests

weixin_45066966的博客 3212

SAPABAP金色传说:关于导入和导出Excel时反复弹窗提示 SAP GUI安全性问题的解决方法

文章目录前言一、提示的到底是什么?二、关闭SAP GUI安全提示的步骤1.设置位置 前言 如果你在SAP中,经常需要将数据导出Excel,或者使用Excel进行批导数据,那么你对下面这个频繁出现的弹窗提示一定不陌生! 系统试图创建文件 C:\Users\15265\Desktop\EXPORT.XLSX 于目录 C:\Users\15265\Desktop\ 是否要授权修改父目录及其所有子目录? 不管你是不是选的记住我的决定,它必出!就很烦!那如何处理才能关闭呢? 提示:以下是本篇文章正文内容,看完快

Easystudios博客 1万+

Python爬虫简单运用爬取代理IP

功能1: 爬取西拉ip代理官网上的代理ip 环境:python3.8+pycharm 库:requests,lxml 浏览器:谷歌 IP地址:http://www.xiladaili.com/gaoni/ 分析网页源码: 选中div元素后右键找到Copy再深入子菜单找到Copy Xpath点击一下就复制到XPath 我们复制下来的Xpth内容为:/html/body/div/div[3]/div[2]/table/tbody/tr[50]/td[1] 虽然可以查出来ip,但不利于程序自动爬取所有IP,利

QQ128619的博客 11万+

【连接器专题】 EIA-364 系列标准的完整列表

EIA-364 系列标准在电子工业中具有重要的地位,为电子连接器和互连系统的测试和验证提供了统一的、可操作的流程和方法,有助于提高电子产品的质量和可靠性,促进了电子工业的发展

一点硬件 2655

【AI测试必学】DeepSeek API 快速入门:获取 API Key 与调用 API 步骤详解

DeepSeek API 使用与 OpenAI 兼容的格式,可以通过修改配置使用 OpenAI SDK。生成的 API Key 只会显示一次,请妥善保存。注册并登录账号,进入左侧导航栏的。创建 API Key。

blues_C的博客 1万+

python 爬取ip地址

import urllib.request import re def open_url(url): req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, ...

W_han__的博客 1020

自然语言处理之机器翻译:Transformer:Transformer在低资源语言翻译中的应用

Transformer模型是自然语言处理领域的一个重要突破,由Vaswani等人在2017年的论文《Attention is All You Need》中提出。它摒弃了传统的循环神经网络(RNN)和卷积神经网络(CNN)的序列依赖性,采用自注意力机制(Self-Attention)处理输入序列,极大地提高了训练效率和模型性能。

zhubeibei168的博客 1014

Python实现根据IP获得地址

Python实现根据IP获得地址 首先说明一下,本文采取投机的方式,直接爬取地址解析网站进行地址解析 上代码 import json import tkinter as tk import requests def gui(): # 创建窗口界面 window = tk.Tk() window.title("IP查地址") window.geometry("20...

LoveStarbucks的博客 932

uniapp - 超详细的 H5 公众号网页微信登录示例代码,提供从 0-1 公众号配置及详细注释代码(站在新手小白的角度)第三方微信授权登录的实现!!

uniapp微信浏览器H5授权微信登录,UniApp开发H5接入微信登录的全过程,uniapp的H5页面使用微信登录,uniapp H5微信授权登录,H5之微信授权登陆 (uniapp网页版微信授权登录),uni-app开发H5第三方微信授权登录的实现,uniapp如何实现微信授权登录,公众号H5页面接入微信登录流程,uni-app - 最详细 H5 网页接入微信登录功能,提供公众号配置与详细注释示例代码(移动端网页实现点击登录按钮后 调用微信公众号授权登录功能 详细讲解接入流程与详细示例代码)官方最新超级

✅ 精选推荐文章 1万+

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Python爬虫技术:如何利用ip地址爬取动态网页

利用ip地址爬取动态网页是网络爬虫技术中的一种常见方法。通过分析动态网页的结构和请求参数,可以编写高效的爬虫代码来获取需要的数据。同时,要注意遵守规则、合理使用资源、优化代码性能、定期更新代码和添加异常处理机制等问题。只有这样,才能更好地利用网络爬虫技术来获取所需的数据和信息。

随便写写 1753

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

小白如何用Python搭建海外代理IP池,实现全球网页数据爬取?

本文目标在于:利用Python调用代理IP后台生成的API,自动获取代理IP。构建灵活、健壮的海外代理IP池,并实现自动IP轮换,保证爬虫请求的高成功率。以爬取亚马逊公开数据为例,详细说明整个爬虫逻辑和异常处理。在本文中,我们从调用 IPIPGO-API获取代理IP开始,到构建IP池、实现自动IP轮换,再到结合多线程爬取亚马逊公开数据,演示了如何利用Python搭建海外代理IP池。通过实际代码示例,我们可以看出:高质量代理服务能够极大提升爬虫请求成功率。

2501_90626901的博客 2770

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

python爬虫-爬取快代理的ip地址

爬取快代理的ip地址 在使用爬虫时,经常会被识别,进而不能爬取相应的网站,所以此时,我们就想到了,用代理去爬取,这样就隐藏了客户端 常见的一些免费代理的网址为: https://www.kuaidaili.com/free/ https://www.xicidaili.com/ from bs4 import BeautifulSoup import time import requests im...

qq_43534980的博客 1032

显示ip地址html代码,37行代码实现爬取ip地址并显示到GUI上

首先附上一张成品图ip地址查询可以看到,当我们输入了一个ip地址以后,界面中可以马上将该ip地址的地理位置、运营商、时区、经纬度信息清楚的显示出来。是不是已经摩拳擦掌了呢?????????????1.准备工作在敲代码之前,我们需要确定电脑上已经安装Python。安装Python传送门以及爬虫最常用的模块-----requests模块、GUI模块-----tkinter模块、正则模块-----re模块。如何在PyCh...

weixin_29232507的博客 2027

IP地址爬取

IP地址爬取 ip_spider.py= = = #!/usr/bin/python # coding: utf-8 import os import sys import requests import re import urllib import sys reload(sys) sys.setdefaultencoding( "utf-8" ) def getUrl(urlI

殊途同归 858

python3 requests+bs4 循环爬取ip地址池

之前为了公司方便使用,做了个爬淘宝评论的窗口软件。 但是ip一直是个难题,访问频率慢下载的就太慢。 访问频率快几次就被封、后来自己去了解了下搭建了个ip地址池 第一步、找代理网址 我看了几个,觉得西刺比较友好。西刺网址 http://www.xicidaili.com/nn/ 看了下网页,比较简单,本来想用xpath的。但是没怎么用过bs4,想着用bs4练习下吧。 下面上代码 impor...

qq_37376568的博客 842
上一篇: python实现对Excel加密方法
Rookie_小武哥
博客等级 码龄14年 4粉丝 4原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值