爬虫|基于船讯网实现AIS数据爬虫 船讯网轨迹数据以及轨迹信息

最新推荐文章于 2024-03-10 20:32:40 发布
最新推荐文章于 2024-03-10 20:32:40 发布
阅读量5.6k 收藏 54
点赞数 6
文章标签： python mysql json 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40406611/article/details/115197974
版权

获得所需要的MMSI

import requests
import json
# 获取 MMSI
url_MMSI = "https://www.myships.com/ms/label/getShipsBasedOnConditions"
areaId = {
   
    '海南': 46,
    '广西': 45, '深圳': 44, '广东': 43, '福建': 42, '浙江': 41, '上海': 40, '连云港': 39, '江苏': 38, '山东': 37, '天津': 36, '河北': 34, '辽宁': 33
}
shipSize = "50-100"
shipType = "cargo"
shipCountry = "CHN"


User_Agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
# cookie 动态改变，最好登录后复制到此处，立即爬取
Cookie = 'access_token=eyJhbGciOiJIUzI1NiJ9.eyJpYXQiOjE2MDYxMjgwNjMsImV4cCI6MTYwNjE1Njg2Mywic3ViIjoie1xuICBcImlkXCIgOiAxMDEyMixcbiAgXCJjcmVhdGVCeVwiIDogXCJhbm9ueW1vdXNVc2VyXCIsXG4gIFwiY3JlYXRlVGltZVwiIDogXCIyMDIwLTExLTIzVDA5OjEwOjEyWlwiLFxuICBcImxhc3RVcGRhdGVUaW1lXCIgOiBcIjIwMjAtMTEtMjNUMDk6MTA6MTJaXCIsXG4gIFwibmFtZVwiIDogXCJ3dWh1YWlzalwiLFxuICBcIm1vYmlsZVwiIDogXCIxNTA3MzE1MzQ3NFwiLFxuICBcInN0YXR1c1wiIDogMSxcbiAgXCJsb2dpblRpbWVcIiA6IDE2MDYxMjI2Mjk2NjYsXG4gIFwibG9naW5EZXZpY2VcIiA6IFwiUENcIixcbiAgXCJkZXB0SWRcIiA6IDIsXG4gIFwic3lzVHlwZVwiIDogMCxcbiAgXCJkZWxGbGFnXCIgOiAwLFxuICBcInJlZ1R5cGVcIiA6IDEsXG4gIFwidXNlclJvbGVzXCIgOiBbIF0sXG4gIFwiZW1haWxMaXN0XCIgOiBbIF0sXG4gIFwibWVudUR1cmF0aW9uTGlzdFwiIDogWyBdXG59In0.SYf-8CKtTR6vR2hJ--SOjt2caaAT4zilSbfG2jU9by4'
data = {
   'areaId': areaId['海南'], 'shipSize': shipSize,
        'shipType': shipType,
最低0.47元/天 解锁文章
聪明啊龙
关注
Python爬虫实战：抓取全球船舶AIS定位数据的全流程指南
2201_76125261的博客
05-20 218
AIS（Automatic Identification System）自动识别系统是目前全球航运中用于实时跟踪船只位置的主要技术。名称、MMSI编号、呼号实时经纬度船速、航向吃水、目的港状态（航行/停泊/锚泊）航线信息等🛰️海上运输监控：追踪航线，预估到港时间；🛳️船舶管理系统：为物流、港口运营提供决策依据；🌊研究分析：如海洋运输碳排放研究、船只拥堵热力图等；🧠人工智能训练数据集：用于轨迹预测、碰撞预警模型。
目标检测YOLO实战应用案例100讲-基于深度学习的海上船舶识别（续）
最新发布
qq_36130719的博客
11-20 1107
在曲线图4.9中，横坐标为训练的迭代次数(epoch)，纵坐标为损失值（1oss）。(a) 和(b)是训练集损失，(c)和(d)是验证集损失。由图可知，1oss曲线呈收敛趋势。通过对各 参数进行预试验，P、R、F1随着迭代次数增加而逐渐增加，经过100多次epoch后各项指 标趋于稳定。当学习率在10- 5时，模型的F1值仍有提升，但学习率过小会导致训练时间 过长且收敛速度慢，故选取10- 5作为模型的学习率。模型训练的配置文件存放在training 目录中，模型训练所需的数据文件保存在data目录中。
船讯网船舶数据爬虫
01-31 4815
在船讯网通过船舶的MMSI获取船舶的信息,话不多数，直接上代码： import random # 导入requests库 import time import csv # 导出为csv文档 import requests from fake_useragent import UserAgent # 导入随机获取UA的库 # 船讯网系统主页，用来获得cookie main_url = 'http://www.shipxy.com/' # 获取船舶MMSI的url mmsi_url = 'http://
详细船舶信息爬虫教程：船讯网根据MMSI爬取对应船舶属性信息|附python爬虫代码
qq_40406611的博客
01-13 9487
这里爬取的内容包括了船舶的**mmsi,imo，船舶宽度，船舶长度，船舶吃水深度**等比较详细的信息，***大体思路是根据Post得到数据然后我导入了mysql的数据库里。***
Python selenium爬虫抓取船舶网站数据（动态页面）
想不出来
03-02 4558
很早之前就开始学习爬虫了，一直想学习爬取动态页面，正巧工作中需要用到一个船舶信息的网站，每次都是手动查询太麻烦了，昨天下午研究了一下午，总算搞透彻了，基本步骤如下： 1、启动浏览器 2、打开网页 3、模拟输入，模拟点击 4、稍等一会（很重要） 5、获取网页数据 6、清洗数据 代码分两部分，一部分保存为函数（Chrome_shipxy.py），另一部分作为程序调用函数，这样方便扩展多进...
Python+MySQL爬取船讯网AIS静态数据
weixin_44958081的博客
11-06 1783
注意：学习前请自行掌握Python和MySQL基础知识。
【Python3】简易爬虫实现船舶的MMSI的获取
沐浴清风的博客
10-20 4413
import requests import os import time import pymysql import pandas as pd import re ''' author:shikailiang function:通过读取船舶数据，分别请求拿到json数据入库 ''' #定义入库的类 class company_ship_in_database: def __init__...
trail_crawling.rar
03-25
描述中提到“针对船讯网轨迹数据做MMSI唯一标识符以及轨迹的爬取”，说明这个项目的核心是利用网络爬虫技术，从船讯网获取基于MMSI（Maritime Mobile Service Identity，海上移动服务标识）的船舶轨迹数据。...
船舶爬虫出现过的问题
weixin_30808693的博客
09-26 364
1、最初版本，使用多线程爬取，如果网断了就得重新爬。解决方法：另建多线程存储，并做好记录文件。 2、使用htmlparser爬取时，有的网页爬取过慢，无法设置超时连接。可使用java.net下的url，用流的方式获取网页信息，里面有设置超时的方法。可设置守护线程方式判断连接是否超时（未验证）。可使用future方式提交任务给excuteservice（未验证） 3、网页编码不同，无法爬...
船讯网|爬虫COOKIE重定向反爬处理
qq_40406611的博客
02-08 1702
在之前船讯网爬虫船舶得各种mmsi\imo信息的时候由于爬取过多导致被反爬，因此针对这个问题修改了代码如下！ COOKIE的处理： 保存客户端的相关状态 在爬虫中如果遇到了cookie的反爬如何处理? 手动处理 在抓包工具中捕获cookie,将其封装在headers中 应用场景:cookie没有有效时长且不是动态变化 自动处理 使用session机制 使用场景:动态变化的cookie session对象:该对象和requests模块用法几乎一致.如果在请求的过程中.
C#爬取某网站数据
08-24
为某公司写的爬取某网站的资源的C#代码。其中有我写的解析html的库，几乎能提取全所有有效信息
C#爬取网站数据
05-22
C#爬数据，抓取别的网站上的数据，使用在自己的网站上！
Python 爬虫系列：爬取全球船公司信息
谁念西风独自凉
10-19 2015
前言 上一篇blog已经说明如何分析网站上的元素，详情参考：Python 爬虫系列：爬取全球机场信息，这次我们爬取全球各大船公司信息，并存储到SQL Server数据库中。 源码 #coding=UTF-8 import requests from bs4 import BeautifulSoup import re import logging import pymssql import uuid #此处修改为你自己的数据库 server = "127.0.0.1" user ...
船舶AIS监控网络-船位信息查询：实时查询船舶动态，服务于船舶安全航行管理、港口调度计划、物流、船代、货代。【AIS动态信息编写船舶轨迹】
专注于计算机研发知识和资讯分享
03-10 1141
国家地理信息公共服务平台“天地图”（以下简称“天地图“）是国家基础地理信息中心建设的网络化地理信息共享与服务门户，集成了来自国家、省、市（县）各级测绘地理信息部门，以及相关政府部门、企事业单位 、社会团体、公众的地理信息公共服务资源，向各类用户提供权威、标准、统一的在线地理信息综合服务。卫星AIS是一种船舶定位技术，通过低轨道的卫星接收船舶发送的AIS报文信息，卫星将接收和解码AIS报文信息转发给相应的地球站，从而让陆地管理机构掌握船舶的相关动态信息，实现对远海海域航行船舶的监控。
船舶信息查询网址汇集
热门推荐
LIURONGTAI的博客
07-17 1万+
1.船讯网 http://www.shipxy.com/ 2.中国港口艘船 http://ship.chinaports.com/ 3.船队在线 http://www.hifleet.com/
AIS的应用：船舶AIS监控网络、船位信息查询、船舶轨迹（利用DBSCAN等聚类分析方法对船舶AIS轨迹进行聚类分析）【 基于ElasticSearch的海量AIS数据存储方法】】
专注于计算机研发知识和资讯分享
03-10 1193
国家地理信息公共服务平台“天地图”（以下简称“天地图“）是国家基础地理信息中心建设的网络化地理信息共享与服务门户，集成了来自国家、省、市（县）各级测绘地理信息部门，以及相关政府部门、企事业单位 、社会团体、公众的地理信息公共服务资源，向各类用户提供权威、标准、统一的在线地理信息综合服务。海图服务器，用来存储和处理海量海图数据。AIS的应用通过岸基AIS，卫星AIS，Inmarsat-C, inmarsat D+ 等各种方式获得的船舶动态位置，利用WebGis技术，直观、方便的将这些信息显示在电子海图上。
通过搜索简单python爬虫爬取洋码头网站推荐页的商品和价格信息
weixin_42545347的博客
07-20 889
直接上源码： # -*- coding: utf-8 -*- """ Created on Tue Jul 17 15:18:50 2018 @author: Administrator """ import random import logging import sys from urllib import request from urllib import error import t...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值