- 博客(49)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Crawl4ai 框架的学习与使用
Crawl4ai 是一款以 “AI 增强 + 动态渲染” 为核心的 Python 网页爬取框架，主打简单易用与智能数据处理，专为现代动态网页（如 SPA 单页应用）设计，核心价值是降低复杂网页爬取的技术门槛，同时提升数据提取的效率与质量。Crawl4ai 打破了 “请求 - 解析” 的传统爬虫逻辑，核心优势在于 “AI 驱动的内容理解”：传统爬虫（Scrapy/BeautifulSoup）依赖人工编写固定解析规则，页面结构变化后需重新维护；
2025-11-14 14:18:00
1406
原创 minio 对象存储
*梗概：**本篇文章主要介绍 minio 对象存储服务的使用；Minio是一个简单易用的云存储服务，就像是一个放在网络上的大文件柜。想象一下，你有一间放满了各种文件的房间，有时候你需要把这些文件分享给朋友或者在不同地方访问它们。Minio就是帮你做到这一点的工具，它让你可以轻松地把文件上传到互联网上，这样无论你在哪里，只要有网络，就能访问或分享这些文件。
2025-07-27 20:27:38
511
原创 Elasticsearch
当你创建一个索引的时候，你可以指定你想要的分片的数量。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。
2025-03-05 22:26:51
1225
原创 Supervisor进程管理
supervisor 是一个用 python 语言编写的进程管理工具，它可以很方便的监听、启动、停止、重启一个或多个进程。当一个进程意外被杀死，supervisor 监听到进程死后，可以很方便的让进程自动恢复，不再需要程序员或系统管理员自己编写代码来控制。
2023-09-25 22:41:05
699
原创 Ubuntu 离线部署的常见操作
*说明：**很多情况下,生产环境都是离线环境，然而开发环境都是互联网的环境，因此部署的过程中需要构建离线安装包;
2023-07-31 11:59:32
1585
原创 Python 使用MongoDB & MongoDB 工具封装
python 封装mongodb 的操作，依赖配置文件可以直接在配置文件中进行修改,配置文件可以自行设置
2022-12-04 22:06:46
724
1
原创 SQLAlchemy 的使用
SQLAlchemy是[Python](http://baike.baidu.com/subview/21087/21087.htm)编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简言之便是：将对象转换成SQL，然后使用数据API执行SQL并获取执行结果。...
2022-08-12 22:19:29
2135
原创 Django程序的发布
Django程序在Linux上的部署1.服务器搭建Python环境1.1 安装python3不过多的描述，请参考安装文章，地址1.2 创建虚拟环境virtualenv envsname1.3 代码传送到服务器可以使用 git 或者FZ1.4 安装第三方包发布上的代码应该包含requirement.txtpip freeze > requirements.txt激活虚拟环境后执行,到包含requirement.txt目录下：pip install -r
2022-04-01 16:16:25
6480
1
原创 Python 中的深浅拷贝
Python 中的深浅拷贝参考文献：https://blog.youkuaiyun.com/lnotime/article/details/81194633参考文献：https://blog.youkuaiyun.com/qq_18824345/article/details/105136885参考文献：https://www.cnblogs.com/echoboy/p/9059183.html1. is 和 ==的介绍1.1 ==的使用== 则是判断两个对象的值是否相等，不管两个变量的引用对象是否相同a=1
2022-01-11 11:53:14
239
原创 字典创建与复制
Python 字典练习题1.字典的创建1.1 普通创建d={'name':'Allen','age':21,'gender':'male'}print(d)# {'name': 'Allen', 'age': 21, 'gender': 'male'}1.2 动态分配键值# 1.2 动态分配键值d={}d['name']=' 优秀'print(d)1.3 字典键值表# 1.3 字典键值表d=dict(name='优秀',age=14)print(d)# {'name': '
2022-01-11 10:33:52
328
原创 面向对象的分析与设计
面向对象的分析与设计1.面向对象是一种思维方式UML 统一建模语言，是一种建模工具，表达设计思想的工具2.软件功能是如何完成的类定义了对象群体的逻辑结构，包括属性和操作系统运行时，类作为产生对象的模板，在物理层面是不存在的对象系统运行时必须为每一个需要的对象分配内存、保存数据对象存在于物理层面，每个对象都有自己的数据空间（内存）所有的对象共享同一块代码空间消息对象之间的一种交流手段就像我们日常工作中的各种交流手段3.模型的定义建模 m
2022-01-07 14:27:28
7638
原创 Django的Session和cookie
Session和cookie参考文献：https://www.cnblogs.com/wupeiqi/articles/5246483.html1.问题引入1.1 cookie是什么？保存在客户端浏览器上的键值对1.2 Sessions保存在服务端的数据（本质上是键值对）应用：依赖Cookie作用：保持会话（web网站）好处：敏感信息不会直接给客户端1.3 简单示例2.cookiecookie进行维持会话，一个浏览器只能存储2
2022-01-05 12:03:30
1359
原创 Django 中间件
Django 中间件操作参考文献:``1.配置文件配置文件中间件的相关设置MIDDLEWARE = [ 'django.middleware.security.SecurityMiddleware', 'django.contrib.sessions.middleware.SessionMiddleware', 'django.middleware.common.CommonMiddleware', 'django.middleware.csrf.CsrfVi
2022-01-04 17:44:53
694
原创 JDBC数据库连接池
JDBC数据库连接池1.概念其实就是一个容器（集合），存放数据库连接的容器。当系统初始化好后，容器被创建，容器中会申请一些数据库连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完数据库后回将连接归还给容器。2.好处节约资源用户访问高效2.实现2.1 标准接口标准接口:DataSource java.sql包下的方法获取连接：getConnection()归还连接：Connection.close().如果Connection是从连接池中获取的
2022-01-03 18:22:24
821
原创 数据结构基础知识补充
数据结构基础知识补充参考文章:https://blog.youkuaiyun.com/f553762019/article/details/1079391611.定义数据结构：是相互之间存在一种或多种特定关系的数据元素集合。1.1 基本结构集合线性结构树形结构图状结构网状结构2.算法分析2.1 算法算法:是对特定 问题求解步骤的一种描述，它是指令的有限序列，其中每一条指令表示一个或多个操作。一个算法还具有5个重要特性：有穷性确定性可行性输入输出2.2 算法设计的要
2021-12-24 15:06:50
285
1
原创 Git忽略本地文件上传
Git忽略本地文件上传1.本地settings配置# 在settings最后配置try: from .local_settings import *except ImportError: passlocal_settings 中一般放不对外公开的配置，例如数据库配置，和一些密钥；2.git配置2.1 创建.gitignore文件位置：项目根目录# pycharm 注释.idea/.DS_Store# python默认的缓存文件__pycache
2021-12-22 09:42:03
1176
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人