刘康康的博客

本系统通过逆向工程微博移动端API接口，实现了对热门板块微博内容及用户评论的自动化采集。系统采用Requests+多线程架构，支持递归分页采集和动态请求头模拟，每小时可处理3000+条数据记录。关键技术特征包括：1）基于max_id的评论分页递归算法 2）HTML标签清洗正则表达式 3）用户-评论关联存储模型。采集数据字段涵盖用户属性、社交行为、内容特征等12个维度，为社交网络分析、舆情监测、用户画像构建提供底层数据支持。经测试验证，系统在持续运行环境下数据捕获完整率达98.7%，具备良好的工程应用价值。

本文提出了一种基于Python的分布式流媒体下载解决方案，针对M3U8视频格式特点设计了多线程下载与智能合并系统。通过引入线程池技术实现网络I/O密集型任务的并行化处理，结合FFmpeg多媒体框架完成视频片段的无损合并，最终构建出具有高吞吐量、高容错性的视频采集系统。实验表明，本系统在典型网络环境下可实现较单线程模式提升8-12倍的下载效率，同时保证视频文件的完整性。

本项目旨在通过使用DrissionPage工具，结合Python编程语言，实现对淘宝商品信息的自动化采集，并基于采集到的数据生成价格分布的可视化图表，帮助用户快速了解商品的价格区间。

基于DrissionPage的DY无水印视频采集

我们将使用RadarBox24（RB24）提供的实时航班数据API来采集航班位置信息。RadarBox24是一个全球领先的航班跟踪平台，提供丰富的航班数据和API接口。RadarBox24提供了多种API接口，包括实时航班数据API、历史航班数据API和机场数据API。本文将重点介绍实时航班数据API的使用方法。

采集12306官网车次信息

python json.dumps() json.dump()的区别首先说明基本功能：1.json.dumps() 是将 dict转化成str格式，下面演示如何将一个Python数据结构转换为JSON：import jsondata = { 'name' : 'ACME', 'shares' : 100, 'price' : 542.23}json_str = ...

PYTHON中程序最小执行单元是代码块JAVA中程序运行的最小执行单元是类C++中程序运行的最小执行单元是函数/方法

在pycharm下运行首先把服务端开启服务端代码如下:"""tcp服务端开发version 1.1.0author lkkemail lkk199404@163.com"""import socketimport timeimport osfrom datetime import datetime# 创建可以操作tcp协议的socket对象HOST = ''...

多线程、并发及线程的基础问题 1）Java 中能创建 volatile 数组吗？能，Java 中可以创建 volatile 类型数组，不过只是一个指向数组的引用，而不是整个数组。我的意思是，如果改变引用指向的数组，将会受到 volatile 的保护，但是如果多个线程同时改变数组的元素，volatile 标示符就不能起到之前的保护作用了。 2）volatile 能使得一个非原子操...

"""Version 1.1.0Author lkkEmail lkk199404@163.comdate 2018-10-19 11:34DESC 下载指定网页的图片到指定文件夹"""import requestsimport osfrom urllib import requestimport reres = request.urlopen("http://www.27...

文本邮件的发送1.邮件发送流程       邮件的发送是主动行为：主要通过 MUA/邮件客户端软件，将邮件内容发送给对应的服务器 暂存到投递服务区，然后由当前运营商根据邮件特征信息将邮件转发给目标服务器的投递服 务区，此时目标用户的邮件已经发送完成，等待对方收取即可。       邮件的收取也是主动行为，用户可以打开邮件客户端软件，通过点击类似于收取这样的行为 就可以从自己邮箱所属...

通常，浏览器产生HTTP请求，是由于用户输入了新的网址、或者点击了超级链接，使页面跳转，这将导致页面的全局刷新。而Ajax（Asynchronous Javascript And XML：异步JavaScript和XML）技术，可以使网页悄悄地、偷偷地发起HTTP请求，请求回来的数据在页面局部刷新呈递。ajax的使用其实很简单：第一步，new出一个XMLHttpRequest对象：   v...

总结 Django 的用途、特点、开发优势 Django的用途：开发web框架Django:简便、快速的开发数据库驱动的网站。它强调代码复用,多个组件可以很方便的以“插件”形式服务于整个框架，Django有许多功能强大的第三方插件，你甚至可以很方便的开发出自己的工具包。Django的开发优势：Django是一个功能十分强大的web开发框架，为我们提供了在开发时需要用到的功能...

目标url  https://www.qiushibaike.com/8hr/page/数据持久化源代码："""Version 1.1.0Author lkkEmail lkk199404@163.comdate 2018-11-22 21:57DESC sqlalchemy存储"""from sqlalchemy import Column, String, cre...

1.内存分析

1.UDP编程1.1UDP概念UDP：User Datagram Protocal 用户数据报协议是 OSI/RM 模型中隶属于传输层的面向无连接的网络数据传输协议UDP 协议本身没有连接可靠性的保证，没有数据顺序 ACK 记录，没有数据重发等机制，因 为没有那么多的数据传输控制特性，所以 UDP 进行数据传输过程中延迟较小，数据传输效率较高，比较适合对可靠性要求不是很高的程序！由于 U...

1 Python的函数参数传递看两个例子:a = 1def fun(a): a = 2fun(a)print a # 1a = []def fun(a): a.append(1)fun(a)print a # [1]所有的变量都可以理解是内存中一个对象的“引用”，或者，也可以看似c中void*的感觉。通过id来看引用a的内存地址可以比较理解：...

随堂笔记整理关于编程什么是编程？编程就是编写程序，通过程序自动化的操作，解决生活中的问题，还原生活场景! 编程的目的以及意义？解决生活中的问题，还原生活场景! 如何快速理解编程开发？在我们学习一个新事物[技术、工具、语言]~首先创建一个熟悉的场景和它关联起来通过熟悉的事物掌握一个陌生的事物->正常的学习途径，只有通过正确的学习途径以及对陌生事物逐渐熟悉掌握，我们才能快速的理解编程开发。编程的...

python中os的模块作用就是跟系统的文件和目录打交道，下面为大家列出平时编程的过程中经常使用的命令。（1）os.name 返回正在使用的操作系统。Windows 返回的是“nt”,Linux 返回的是“posix”os.getcwd() 得到当前的工作目录           （3）os.listdir()以列表的形式列出指定目录下所...

如果你上传的资源url如下所示：https://download.youkuaiyun.com/download/liiukangkang/10680153只需要输入以下地址：https://download.youkuaiyun.com/index.php/user_console/del_my_source/10680153复制输入的链接地址打开该链接页面返回“{"succ":1,"msg":""...

python环境下的tcp网络编程网络概念网络是由节点和连线构成，表示诸多对象及其相互联系。在数学上，网络是一种图，一般认为专指加权图。网络除了数学定义外，还有具体的物理含义，即网络是从某种相同类型的实际问题中抽象出来的模型。在计算机领域中，网络是信息传输、接收、共享的虚拟平台，通过它把各个点、面、体的信息联系到一起，从而实现这些资源的共享。客户端/服务端1.在计算机中，客户端和服务端的架...

1.进程进程：计算机中一个程序在一个数据集上一次动态执行过程，主要包含三部分内容⚫ 程序：描述进程的功能以及处理流程⚫ 数据集：功能处理过程中需要的资源数据⚫ 进程控制：严格控制进程执行过程中的各种状态一个软件程序要运行，需要将软件依赖的数据加载到内存中，通过 CPU 进行运算并按照程 序定义的逻辑结构进行流程控制，知道数据处理完成后程序退出！ 在程序实际执行过程中，进程只是分配需要的数...

import sys,os,pymysql,time ,hashlibfrom datetime import datetimedef Regist(): print("按提示信息进行账号注册:") while True: username=input("请输入您的用户名:") s=tool.mySQL('user').Chec...

$1 多进程概述进程是正在执行中的应用程序，一个进程包含了该应用程序的所有信息，如加载数据内存空 间、代码、程序数据、对象句柄，执行单元等等，一个应用程序根据其功能的多样性，可以 通过多个进程并发的形式来实现。计算机中多线程的操作已经可以实现多任务的处理机制了，但是如果涉及到多核 CPU 或者 多个 CPU 的硬件主机，多进程并发编程的实现能比多线程并发机制更加有效的利用和发挥 硬件资源优势。...

服务端源代码"""TCP完整版聊天室端对端开发(服务端)version 1.1.0author lkkEmail lkk199404@163.com"""# 引入所需模块import socket, threadingimport logging# 定义服务器信息HOST = ''PORT = 8888ADDRESS = (HOST, PORT)BUFFER...

1.内存分析和处理程序的运行离不开对内存的操作，一个软件要运行，需要将数据加载到内存中，通过CPU进行内存数据的读写，完成数据的运算。1.1不可变数据类型VS可变数据类型python中根据数据是否可以进行修改提供了两种不同的数据类型⚫ 不可变数据类型：一般基本数据类型都是不可变数据类型⚫ 可变数据类型：一般组合数据类型或者自定义数据类都是可变数据类型怎么区分可变和不可变？为什么要有这样...

服务端源代码：# coding:utf-8"""Version 1.1.0Author lkkEmail lkk199404@163.comDESC 基于TCP的界面社交平台(服务端)的实现"""import tkinterimport socketimport threadingimport timefrom tkinter import *# 定义服务器信息...

源代码："""Version 1.1.0Author lkkEmail lkk199404@163.comDESC 基于TCP的界面社交平台(客户端)的实现"""import tkinterfrom tkinter import *import threadingimport socketimport time# 定义服务器信息HOST = '192.168.11.2...

<!DOCTYPE html><html lang="en"><head>  <meta charset="utf-8">  <title>登录</title>  <meta name="description" content="particles

第一步：下载mysql安装包链接如下 链接：https://pan.baidu.com/s/1FmyoBk_uHoIHIRfurtFsbA 密码：66io下载成功图样第二步：双击开始安装 第三步 测试安装成功 （win+R）输入 cmd}...

<!-- 这是使用模板生成的--><!DOCTYPE html><html>    <head>        <meta charset="utf-8" />        <meta name="viewport" content="width=device-width, initial-sc

第一步：官网下载安装包 或者链接：https://pan.baidu.com/s/1ZJXntB7Y9_v7lQFHC17mqQ 密码：9mkq 第二步：测试  启动服务的 win+R 输入cmd  打开命令行  输入相应命令第三步：启动客户端 再次 win+R 输入cmd  打开命令行  输入相应命令...

2. 开发环境搭建[python开发环境]2.1.  确认安装什么环境：那个版本的环境[python2.x or  python3.x]2.2. 课堂培训{第一阶段：python3.x环境}2.3. 软件的下载安装[官方网站：http://www.python.org]2.4. 下载：http://downloads.python.org2.5. 开始安装 windows系...