利用python爬取页面

目标网址:https://item.jd.com/7479820.html

  1 import requests
  2 url="https://item.jd.com/7479820.html"
  3 try:
  4     r = requests.get(url)
  5     r.raise_for_status()
  6     r.encoding = r.apparent_encoding
  7     print(r.text[:1000])
  8 except:
  9     print("fail...")
代码如上,运行成功,结果如下:
[root@zsx0728 test]# python2 pythonjd.py 
<!DOCTYPE HTML>
<html lang="zh-CN">
<head>
    <!-- shouji -->
    <meta http-equiv="Content-Type" content="text/html; charset=gbk" />
    <title>【华为荣耀9i】荣耀9i 4GB+64GB 魅海蓝 移动联通电信4G全面屏手机 双卡双待【行情 报价 价格 评测】-京东</title>
    <meta name="keywords" content="HUAWEI荣耀9i,华为荣耀9i,华为荣耀9i报价,HUAWEI荣耀9i报价"/>
    <meta name="description" content="【华为荣耀9i】京东JD.COM提供华为荣耀9i正品行货,并包括HUAWEI荣耀9i网购指南,以及华为荣耀9i图片、荣耀9i参数、荣耀9i评论、荣耀9i心得、荣耀9i技巧等信息,网购华为荣耀9i上京东,放心又轻松" />
    <meta name="format-detection" content="telephone=no">
    <meta http-equiv="mobile-agent" content="format=xhtml; url=//item.m.jd.com/product/7479820.html">
    <meta http-equiv="mobile-agent" content="format=html5; url=//item.m.jd.com/product/7479820.html">
    <meta http-equiv="X-UA-Compatible" content="IE=Edge">
    <link rel="canonical" href="//item.jd.com/7479820.html"/>
        <link rel="dns-prefetch" href="//misc.360buyimg.com"/>
    <link rel="dns-prefetch" href="//static.360buyimg.com"/>
    <link rel="dns-prefetch" href="//img10.360buyimg
是的,我是颖宝的粉丝……









利用Python爬取腾讯地图数据通常涉及网络抓取和API交互两部分。首先,由于腾讯地图提供的数据通常是通过其官方API获取,而非直接提供HTML页面爬虫抓取,所以你需要注册并申请API密钥来访问他们的服务。 以下是一个简化的步骤指南: 1. **安装必要的库**:确保已安装了requests和json等基本的HTTP请求和数据处理库。如果需要解析HTML,可能还需要BeautifulSoup或lxml。 2. **注册腾讯地图开发者账号**:登录腾讯云官网(https://console.cloud.tencent.com),创建或关联项目,并申请地图API Key和 Secret Key。 3. **了解API文档**:查阅腾讯地图API文档(https://lbs.qq.com/webapi/index.html),熟悉你要使用的功能如地点搜索、路线查询等对应的API接口及其参数。 4. **编写Python脚本**: - 使用requests库发送GET或POST请求,带上你的API Key作为参数。 - 对于RESTful API,构造URL(例如`http://apis.map.qq.com/ws/place/v1/search?location=XXX&key=YOUR_API_KEY`),其中地点信息(lat, lng)替换为你想要搜索的位置。 - 发送请求后,接收返回的JSON响应,解析内容获取所需的数据。 5. **处理响应数据**:Python的json模块可以帮我们轻松解析JSON格式的数据,提取出有用的地理信息、商家名称、地址等。 6. **遵守服务条款**:确保你的爬虫行为符合腾讯地图的服务协议,比如限制频率,避免滥用API。 ```python import requests import json # 替换为实际的API Key api_key = 'YOUR_API_KEY' params = { 'location': '北京', # 或者其他精确位置 'radius': '500', 'keyword': '', } url = f'http://apis.map.qq.com/ws/place/v1/search?{params}&key={api_key}' response = requests.get(url) data = json.loads(response.text) # 解析并处理数据 for result in data['result']: print(result['name'], result['address'])
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值