- 博客(63)
- 资源 (50)
- 收藏
- 关注

原创 Python实现WYY音乐下载
通过本文的逆向分析,我们不仅实现了网易云音乐的下载功能,更展示了如何突破前端加密限制的思路。在实际开发中,需持续关注目标网站的更新动态,及时调整加密算法参数。
2025-03-19 17:32:57
1979
1

原创 经纬度坐标系转换:全面解析与实践
WGS84 坐标系WGS84(World Geodetic System 1984)是全球广泛使用的大地坐标系,也是 GPS 系统所采用的标准坐标系。其以地球的质心为原点,基于一系列精确测量的地球参数构建而成。长半轴米,扁率。该坐标系在全球定位、导航以及地理信息的国际交流等方面具有基础性地位,为各种地理空间数据提供了一个统一的全球基准。北京 54 坐标系北京 54 坐标系是新中国成立初期从前苏联 1942 年普尔科沃坐标系基础上建立起来的大地坐标系。
2024-12-12 17:23:29
498
原创 基于Python的微博数据采集
本系统通过逆向工程微博移动端API接口,实现了对热门板块微博内容及用户评论的自动化采集。系统采用Requests+多线程架构,支持递归分页采集和动态请求头模拟,每小时可处理3000+条数据记录。关键技术特征包括:1)基于max_id的评论分页递归算法 2)HTML标签清洗正则表达式 3)用户-评论关联存储模型。采集数据字段涵盖用户属性、社交行为、内容特征等12个维度,为社交网络分析、舆情监测、用户画像构建提供底层数据支持。经测试验证,系统在持续运行环境下数据捕获完整率达98.7%,具备良好的工程应用价值。
2025-04-05 23:57:00
720
原创 基于Python的M3U8流媒体下载系统深度解析与工程实践
本文提出了一种基于Python的分布式流媒体下载解决方案,针对M3U8视频格式特点设计了多线程下载与智能合并系统。通过引入线程池技术实现网络I/O密集型任务的并行化处理,结合FFmpeg多媒体框架完成视频片段的无损合并,最终构建出具有高吞吐量、高容错性的视频采集系统。实验表明,本系统在典型网络环境下可实现较单线程模式提升8-12倍的下载效率,同时保证视频文件的完整性。
2025-04-02 16:44:21
1219
原创 基于DrissionPage的TB商品信息采集与可视化分析
本项目旨在通过使用DrissionPage工具,结合Python编程语言,实现对淘宝商品信息的自动化采集,并基于采集到的数据生成价格分布的可视化图表,帮助用户快速了解商品的价格区间。
2025-03-25 09:43:06
1497
原创 并发爬虫实战:多线程高效抓取王者荣耀全英雄皮肤
本文以王者荣耀英雄皮肤下载为例(日访问量超过1亿的热门游戏),演示如何通过Python并发编程实现高效数据抓取。
2025-03-12 18:03:44
183
原创 利用Python结合代理IP进行停车场地理位置信息采集
本文介绍了一种利用Python编程语言和第三方API服务,结合代理IP技术,实现对特定城市停车场地理位置信息的自动化采集的方法。该方案不仅能够高效地抓取数据,还通过使用代理IP来规避网络请求被目标网站屏蔽的风险,确保了数据采集过程的稳定性和持续性。此外,本文还将探讨停车场数据在未来可能的应用场景。随着互联网的发展,越来越多的信息可以通过Web爬虫(Web Scraping)的方式获取。然而,频繁访问同一网站可能会触发反爬机制,导致IP地址被封禁。
2024-12-12 16:40:27
1262
原创 利用Python采集开源机场位置数据
随着航空业的快速发展,机场信息的准确性和及时性变得尤为重要。无论是航空公司、旅客还是相关监管部门,都需要及时获取最新的机场信息。本文将介绍如何使用Python编程语言,通过发送HTTP POST请求从一个在线API获取全国机场的信息,并解析返回的数据。我们将使用requests库来发送请求,并处理返回的JSON数据。在开始编写代码之前,确保你的开发环境中已安装Python和requests库。如果没有安装requests。
2024-11-28 18:15:36
139
原创 实时采集航班位置数据
我们将使用RadarBox24(RB24)提供的实时航班数据API来采集航班位置信息。RadarBox24是一个全球领先的航班跟踪平台,提供丰富的航班数据和API接口。RadarBox24提供了多种API接口,包括实时航班数据API、历史航班数据API和机场数据API。本文将重点介绍实时航班数据API的使用方法。
2024-11-25 17:23:03
1315
原创 利用Python爬取8684公交路线查询网站中全国公交站点信息
利用python语言结合requests、BeautifulSoup等类库爬取https://api.8684.cn/v3/api.php?do=citys&act=province对应接口中所有城市公交路线信息以及公交站点信息。在结合文件写入等操作将采集到的站点信息以及导航信息保存至对应城市的文件中。数据样例展示, 分隔符为。
2024-03-04 16:01:44
1587
2
原创 利用微信小程序作为爬虫的目标URL进行全国手机号段归属地的数据采集
"""Version 1.1.0Author lkkEmail lkk199404@163.comdate 2019/2/14 11:09Desc TODO"""import requestsimport jsonimport timeimport toolsssurl = 'https://www.qqzeng-ip.com/api/phone'headers = ...
2019-02-21 15:46:36
866
2
原创 Python算法系列之常见的排序算法-------------------冒泡排序、选择排序、插入排序、快速排序、希尔排序、归并排序
排序算法定义:是一种能将一串数据依照特定的顺序进行排列的一种算法。1.冒泡排序思路:比较相邻的元素。如果第一个比第二个大,就交换他们两个。以此类推,对每一对相邻元素做相同处理,从开始第一队到结尾的最后一对。这不做完之后最后的元素就会是最大的数。然后对所有的元素进行重复以上的步骤,每次都出去最后的一个。冒泡排序无序的序列:[54,26,93,17,77,31,44,5...
2018-12-17 21:46:26
398
原创 爬虫入门之验证码的处理--------------------------pytesseract库的使用
前言 目前有许多网站针对爬虫采取了多种多样的措施进行反爬虫,为了不降低用户的体验度同时还能将爬虫拦截在网站之外的一个简单的措施就是验证码。随着技术的发展,验证码的种类也越来越多了,图形拼接、数字组合、简单的数学问题、点击图中的文字等等以及在文字渲染的同时加入干扰线条来增大爬取信息的难度。验证码也随之变得越来越复杂了,爬虫工作也变得越来越有挑战性了。1.1 图形验证码的识别在...
2018-12-11 14:29:37
435
转载 Python爬虫大战、 Scrapy分布式原理以及分布式部署
Python爬虫大战爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家?重新理解爬虫中的一些概念爬虫:自动获取网站数据的程序反爬虫:使用技术手段防止爬虫程序爬取数据误伤:反爬虫技术将普通用户识别为爬虫,这种情况多出现在封ip中,例如学校网络、小区网络再或者网络网络都是共享一个公共ip,这个时候如果是封ip就会导致很多正常访问的用户也无法获取到数据。所...
2018-12-05 09:40:33
679
原创 python下使用scrapy-redis模块分布式爬虫的爬虫项目部署详细教程————————gerapy
1.使用gerapy进行分布式爬虫管理准备工作:首先将你使用scrapy-redis写的分布式爬虫全部完善模块准备:安装:pip install pymongo【依赖模块】pip install gerapy 2.在本地创建部署项目的文件夹2.1例如如图在本地创建workgreapy文件夹2.2进入该文件夹2.3输入cmd 回车2.4在命令...
2018-12-04 22:54:40
775
原创 python爬虫入门之————————————————第四节--使用bs4语法获取数据
1.装备工作:模块安装1.1命令安装方式:(开发环境:python3.6环境)官方文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.html官方文档中文版:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ pip install be...
2018-12-01 19:49:42
909
原创 Python Web开发相关的面试题(Django )
Python Web开发相关的面试题(Django )解释一下 WSGI 和 FastCGI 的关系?CGI全称是“公共网关接口”(CommonGateway Interface),HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具,其程序须运行在网络服务器上。 CGI可以用任何一种语言编写,只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。FastCG...
2018-12-01 11:56:46
2137
1
原创 2018最常见的Python面试题(技术题)---------------------第三波福利
1.请说一下你对迭代器和生成器的区别?(1)迭代器是一个更抽象的概念,任何对象,如果它的类有 next 方法和 iter方法返回自己本身。对于 string、list、dict、tuple 等这类容器对象,使用 for 循环遍历是很方便的。在后台 for 语句对容器对象调用 iter()函数,iter()是 python 的内置函数。iter()会返回一个定义了 next()方法的迭代器对...
2018-11-28 22:52:59
226
原创 python爬虫入门之————————————————案例演练
源码"""Version 1.1.0Author lkkEmail lkk199404@163.comdate 2018-11-25 18:39DESC 电影天堂"""# https://www.dy2018.com/from urllib import requestimport timefrom lxml import htmlfrom fake_userage...
2018-11-28 22:42:28
432
原创 python爬虫入门之————————————————案例演练
目标url https://www.qiushibaike.com/8hr/page/数据持久化源代码:"""Version 1.1.0Author lkkEmail lkk199404@163.comdate 2018-11-22 21:57DESC sqlalchemy存储"""from sqlalchemy import Column, String, cre...
2018-11-28 22:36:53
401
原创 python爬虫入门之————————————————第三节requests详解
1.下载安装(1)命令安装方式Windows:打开命令窗口行,直接运行包管理命令安装 pip install requests or essy_install requests(简易版) unix/linux:打开 shell 窗口,运行包管理命令安装 pip install requests (2)离线安装 下载离...
2018-11-28 22:18:11
621
原创 python爬虫入门之————————————————第二节--使用xpath语法获取数据
准备工作⚫了解爬虫的数据处理体系结构⚫ 处理数据的软件准备 采集到的结构化数据[如 html 网页文档数据] python 开发环境 lxml 第三方库 结构化数据基本理论:DOM 模型 1结构化数据具备有一定的结构,有预定义规则的数据模型,统称为结构化数据 如:数据进行格式化展示的 HTML 文档中的数据、数据进行格式化传输的 XML 文档中的数据、数据进行格式化整理的 Exce...
2018-11-25 18:38:12
2448
原创 python爬虫入门之————————————————第一节--了解爬虫
1.爬虫入门概述爬虫,又被称为网络爬虫,主要指代从互联网上进行数据采集的脚本后者程序,是进行数据 分析和数据挖掘的基础。 所谓爬虫就是指在给定url(网址)中获取我们对我们有用的数据信息,通过代码实现数据的大量获取,在经过后期的数据整理、计算等得出相关规律,以及行业趋势等信息。通常我们说的爬虫2.爬虫分类按照使用情况,主要分为两大类型:通用爬虫和聚焦爬虫 按照采集数据的过程进...
2018-11-25 18:12:30
2523
6
原创 利用C#爬取网页HTML数据
//方法一using System.Text.RegularExpressions;public static void webClientMethod1() { WebClient wc = new WebClient(); wc.Encoding = Encoding.UTF8; //以字符串的形式...
2018-11-03 17:56:04
8370
4
原创 原生ajax请求的步骤如下——————————————————————————
通常,浏览器产生HTTP请求,是由于用户输入了新的网址、或者点击了超级链接,使页面跳转,这将导致页面的全局刷新。而Ajax(Asynchronous Javascript And XML:异步JavaScript和XML)技术,可以使网页悄悄地、偷偷地发起HTTP请求,请求回来的数据在页面局部刷新呈递。ajax的使用其实很简单:第一步,new出一个XMLHttpRequest对象: v...
2018-11-03 15:53:08
429
原创 2018最常见的Python面试题----------------------------第二波福利
1.为什么要有面向对象?面向对象中为什么要定义类型创建对象?面向对象是一种对现实世界理解和抽象的方法,是计算机编程技术发展到一定阶段后的产物。加之Python非常适合面向对象的编程(OOP),因为它支持通过组合(composition)与继承(inheritance)的方式定义类(class)。面向对象: Python既支持面向过程的函数编程也支持面向对象的抽象编程。在面向过程的语言中,程...
2018-10-24 10:49:28
341
2
原创 常见的网络传输协议
协议名称 描述 IP协议 是将多个包交换网络连接起来,在源地址和目标地址之间传输数据包并对 数据包进行拆分和重组以适应不同的网络大小 TCP协议 Transmission Control Protocal 传输控制协议 一种端对端的、可靠的、基于 IP 的传输层协议 特点:3 次握手建立连接;4 次挥手断开连接 UDP协议 User Datagram Prot...
2018-10-23 21:21:03
879
原创 python环境下Django入门 开发----------------------------------------web 基础知识
1.软件的分类 软件:计算机中按照特定的顺序组织的计算机数据和指令的集合,是一个或者一些功能实现的集合,换言之软件就是计算机中可运行的程序。软件在计算机中一般分为三大类:系统软件,应用软件,以及介于这两者之间的软件。1.1系统软件直接安装在计算机硬件上的进行数据交互的大型软件,是对计算机硬件的第一次扩展,其他软件都是在系统软件上运行的。常见的系统软件有:windows、Andr...
2018-10-23 21:20:21
276
原创 pytho中使用Django 的用途、特点、开发优势等
总结 Django 的用途、特点、开发优势 Django的用途:开发web框架Django:简便、快速的开发数据库驱动的网站。它强调代码复用,多个组件可以很方便的以“插件”形式服务于整个框架,Django有许多功能强大的第三方插件,你甚至可以很方便的开发出自己的工具包。Django的开发优势:Django是一个功能十分强大的web开发框架,为我们提供了在开发时需要用到的功能...
2018-10-23 16:17:14
2948
原创 爬虫工程师起薪2万!Python需学到什么程度才可以就业?
第一点:Python因为面试的是Python爬虫岗位,面试官大多数会考察面试者的基础的Python知识,包括但不限于: Python2.x与Python3.x的区别 Python的装饰器 Python的异步 Python的一些常用内置库,比如多线程之类的 第二点:数据结构与算法数据结构与算法是对面试者尤其是校招生面试的一个很重要的点,当然小公司不会太...
2018-10-19 21:39:45
579
原创 2018最常见的Python面试题----------------------------第一波福利
Python新手在谋求一份Python编程工作前,必须熟知Python的基础知识。编程网站DataFlair的技术团队分享了一份2018年最常见Python面试题合集,既有基本的Python面试题,也有高阶版试题来指导你准备面试,试题均附有答案。面试题内容包括编码、数据结构、脚本撰写等话题。本文为上篇。Q 1:Python有哪些特点和优点?作为一门编程入门语言,Python主要有以下特点和...
2018-10-19 17:27:43
754
原创 python 爬取指定图片并将图片下载到指定文件夹
"""Version 1.1.0Author lkkEmail lkk199404@163.comdate 2018-10-19 11:34DESC 下载指定网页的图片到指定文件夹"""import requestsimport osfrom urllib import requestimport reres = request.urlopen("http://www.27...
2018-10-19 13:55:22
5918
原创 python3.0环境下利用tkinter模块的可视化编写的基于TCP的可视化社交平台(客户端)的实现
源代码:"""Version 1.1.0Author lkkEmail lkk199404@163.comDESC 基于TCP的界面社交平台(客户端)的实现"""import tkinterfrom tkinter import *import threadingimport socketimport time# 定义服务器信息HOST = '192.168.11.2...
2018-10-17 22:16:31
2882
3
原创 python3.0环境下利用tkinter模块的可视化编写的基于TCP的可视化社交平台(服务端)的实现
服务端源代码:# coding:utf-8"""Version 1.1.0Author lkkEmail lkk199404@163.comDESC 基于TCP的界面社交平台(服务端)的实现"""import tkinterimport socketimport threadingimport timefrom tkinter import *# 定义服务器信息...
2018-10-17 22:10:37
1554
原创 python中的内存管理与分析以及垃圾回收机制
1.内存分析和处理程序的运行离不开对内存的操作,一个软件要运行,需要将数据加载到内存中,通过CPU进行内存数据的读写,完成数据的运算。1.1不可变数据类型VS可变数据类型python中根据数据是否可以进行修改提供了两种不同的数据类型⚫ 不可变数据类型:一般基本数据类型都是不可变数据类型⚫ 可变数据类型:一般组合数据类型或者自定义数据类都是可变数据类型怎么区分可变和不可变?为什么要有这样...
2018-10-17 22:01:02
747
原创 python、java、c++ 运行最小执行单元
PYTHON中程序最小执行单元是代码块JAVA中程序运行的最小执行单元是类C++中程序运行的最小执行单元是函数/方法
2018-10-16 10:30:01
865
原创 python中json.dump() 和 json.dumps() 有那些区别?
python json.dumps() json.dump()的区别首先说明基本功能:1.json.dumps() 是将 dict转化成str格式,下面演示如何将一个Python数据结构转换为JSON:import jsondata = { 'name' : 'ACME', 'shares' : 100, 'price' : 542.23}json_str = ...
2018-10-15 20:53:15
722
2024年最新的上海城市边界数据和对应区域的geohash数据
2024-11-06
火车飞机站点信息.xlsx
2021-04-04
上海市公交站点大全.rar
2020-04-22
五级城市联动数据大全.rar
2020-04-16
中型电商交易平台(完全可做毕设)
2018-11-25
django框架下开发的完整版的电商
2018-11-16
小型影院管理系统开题报告
2018-10-17
python3.0环境下利用tkinter模块的可视化编写的基于TCP的可视化社交平台的实现
2018-10-17
小型影院管理系统(计科专业毕业论文设计)文献综述
2018-10-13
计科专业(小型影院管理系统开题报告)
2018-10-13
小型影院管理系统(毕业论文)
2018-10-13
python3.0利用TCP传输控制协议模拟实现端对端的聊天功能
2018-10-12
python3.0模拟实现的对讲机功能
2018-10-09
Oracle实验指导书
2018-10-08
微机原理与接口技术B实验
2018-10-08
面向对象课程设计(人事管理系统 )
2018-10-08
计科电商系统
2018-10-08
网上购物系统
2018-10-08
电子商务系统
2018-10-08
利用python3.6与mysql 完成登录与注册功能
2018-09-28
专业前沿技术
2018-09-25
python写的个人博客管理系统
2018-08-30
计算机组成原理(模型机设计)
2018-08-28
2014级计算机网络 课程设计
2018-08-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人