- 博客(77)
- 收藏
- 关注
RSS订阅原创 相似度计算全攻略：从理论到Python实战
相似度计算是数据分析和机器学习中的基础任务，广泛应用于推荐系统、聚类分析、自然语言处理等领域。根据数据特性（如维度、稀疏性、分布类型）和任务目标（如相似性排序、聚类、相关性分析）选择合适的方法，必要时可结合归一化或降维预处理。非对称性：DKL(P∥Q)≠DKL(Q∥P)DKL(P∥Q)=DKL(Q∥P)。将集合表示为二进制向量（存在为1，否则为0），再计算余弦相似度。与余弦相似度的关系：点积 = 余弦相似度 × 向量长度的乘积。衡量两个变量的线性相关性，取值范围：[-1, 1]。
2025-03-30 22:35:24
632
原创 神经网络基础（NN）
这篇文章详细介绍了神经网络的基础知识、组成要素、优化方法、正则化策略以及一个完整的案例——使用神经网络构建手机价格分类模型。文章从神经网络的定义、神经元模型讲起，逐步深入到激活函数、权重初始化、损失函数、优化器等内容，并通过手机价格分类案例展示了从数据预处理到模型构建、训练、优化和部署的全过程，适合深度学习初学者系统学习。
2025-03-27 18:12:40
1053
原创 深度学习四大核心架构：神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）与Transformer全概述
NN → 类比：盲人摸象，每个神经元独立感知全局特征 → 局限：输入图像需展平为向量，丢失空间信息（如将28x28图片变成784维向量）CNN → 类比：人类视觉系统，先识别边缘→形状→物体 → 实战：用3x3卷积核扫描猫的图片，提取耳朵、胡须等局部特征RNN → 类比：阅读理解，需记住前文才能理解后文 → 痛点：输入句子“The cat sat on the mat”，到第6个单词时可能已遗忘“cat”Transformer → 类比：团队协作，每个单词直接关注全局上下文 → 优势：处理句
2025-03-26 11:41:35
1184
原创 PyTorch 入门学习
PyTorch 是 Facebook 开发的深度学习框架，专注于张量计算和自动微分，提供高效张量库和动态计算图，支持 GPU 加速，适用于构建神经网络。它在学术研究、自然语言处理、计算机视觉等领域广泛应用。PyTorch 提供灵活的张量操作和自动微分功能，便于模型构建与训练。
2025-03-13 22:05:07
1011
原创 PyTorch 学习路线
关键是多写代码、多调试、多阅读他人代码。掌握张量（Tensor）操作、自动微分（Autograd）、动态计算图。编写完整的训练代码：前向传播、损失计算、反向传播、优化器更新。学习如何创建和操作张量（类似 NumPy，但支持 GPU）。：熟悉 Python 语法（变量、函数、类、模块等）。：理解神经网络、损失函数、优化器（如梯度下降）等概念。：了解线性代数、微积分、概率论（深度学习的基础）。：用预训练模型（如 ResNet）进行图像分类。数学基础推荐书籍：《深度学习》（花书）前两章。
2025-03-08 14:45:00
944
原创 Python 入门教程
这是一个全面的Python编程教程，涵盖了基础语法、数据类型、流程控制、函数、面向对象编程等核心内容。它从注释、变量、数据类型讲起，逐步深入到运算符、输入输出、模块导入、流程结构、循环控制、数据结构操作、函数定义、作用域、类与对象、继承、重写、魔术方法等高级特性。通过大量示例，帮助初学者系统学习Python编程。
2025-02-27 16:40:58
648
原创 Anaconda3 介绍和安装
Anaconda是一个开源的 Python 和 R 语言发行版，专注于数据科学、机器学习和科学计算主要面向数据科学和机器学习领域。它集成了大量常用的科学计算库（如 NumPy、Pandas、Matplotlib、Scikit-learn 等），并提供了强大的包管理工具Conda和环境管理功能，适合快速部署和管理复杂的开发环境。
2025-02-16 19:40:06
555
原创 大模型基本概念了解
Function Calling 让大模型调用外部工具或 API，扩展能力并获取实时数据。RAG 通过检索外部知识库增强生成能力，适合开放域问答。多模态结合多种模态（如文本、图像、音频）进行信息处理，支持复杂任务。大模型微调通过调整参数提升模型在特定任务或领域的性能，包括全参数微调、参数高效微调等方法。
2025-02-09 14:12:54
787
原创 【RocketMQ】RocketMq之ConsumeQueue深入研究
RocketMQ的存储文件分为CommitLog、ConsumerQueue和IndexFile。ConsumeQueue记录消息在CommitLog中的索引，每个条目20字节，包含CommitLog Offset、Message Length和Tag HashCode。写入时，消息先写入CommitLog，再由ReputMessageService异步构建到ConsumeQueue。查询时，消费者通过逻辑偏移量查询ConsumeQueue，获取物理偏移量后从CommitLog读取消息。
2025-02-08 16:27:53
895
原创 【RocketMQ】RocketMq之CommitLog深入研究
这篇文章详细介绍了 RocketMQ 5.3.0 版本中 CommitLog 的存储结构、写入和查询流程，以及文件同步刷盘与异步刷盘机制。CommitLog 是 RocketMQ 存储消息元数据的核心组件，采用顺序写入和文件滚动机制，支持高性能写入。文章还分析了同步刷盘与异步刷盘的实现细节，以及 RocketMQ 在文件清理、索引构建和故障恢复方面的设计优势。
2025-02-08 14:35:10
1189
原创 【RocketMQ】RocketMq之IndexFile深入研究
RocketMQ 的 **IndexFile** 通过 **链地址法** 解决哈希冲突，将冲突条目组织成链表，结合哈希槽固定数量、时间范围过滤和文件滚动机制，实现高效写入与查询。其核心设计包括哈希槽定位、链表插入与遍历、时间差计算等，确保高吞吐量和查询性能，是分布式消息队列中索引管理的经典实现。
2025-02-03 20:37:24
1092
原创 Redis 之持久化
Redis提供了两个持久化数据的能力，RDB Snapshot 和 AOF（Append Only FIle）日志，RDB快照能够在指定的时间间隔内生成数据快照，而AOF日志则记录了所有的写操作命令。RDB做镜像全量持久化，AOF做增量持久化。 RDB全称Redis Database Backup file (Redis数据备份⽂件），也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。 当Redis实例故障重启后，从磁盘读取快照⽂件，恢复数据。这样一来即使
2024-12-03 17:02:23
1189
原创 Redis 底层数据结构
Redis6 和 Redis7 最大的区别就在于 Redis7 已经用 listpack 替代了 ziplist.以下是基于 Redis 7基础分析。Redis是⼀个型的数据库，其中key通常都是string类型的字符串对象，⽽value在底层就统⼀是redisObject对象。Redis中的任意数据类型都会被封装为⼀个，也叫做Redis对象，redisObject结构，实际上就是Redis内部抽象出来的⼀个封装所有底层数据结构的统⼀对象。这就类似于Java的⾯向对象的设计⽅式。
2024-11-27 22:26:26
1029
原创 Redis 高并发缓存架构实战与性能优化
面试官很喜欢问的一个问题，你们系统有用 Redis？使用Redis实现了哪些业务场景？如何保证数据的一致性？缓存穿透，缓存击穿（缓存失效），缓存雪崩
2024-11-15 00:39:27
1720
1
原创 Redis 高并发分布式锁实战
Redis，Spring boot， nginx，jmeter，Synchronized锁，redis的setnx 实现分布式锁，Lua脚本原子删除锁，使用Redission 实现分布式锁
2024-11-09 10:58:38
1890
原创 京东毫秒级热key探测框架JD-hotkey
JD-hotkey 框架介绍JD-hotkey 核心结构JD-hotkey 工作流程JD-hotkey 安装流程JD-hotkey 使用流程
2024-11-03 23:20:22
1719
原创 Google Guava 发布订阅模式/生产消费者模式 使用详情
Guava 是一组来自 Google 的核心 Java 库，里面包括新的集合 类型（例如 Multimap 和 MultiSet），不可变集合、图形库、 以及用于并发、I/O、哈希、基元、字符串，发布/订阅模式等等。接下来主要讲解 发布订阅模式。Event 事件Publisher 事件发布者EventListener 事件订阅者EventBus 事件总线工作流程Publisher 事件发布者通过EventBus 事件总线发布事件，然后EventBus 事件总线把事件传给。
2024-11-02 22:25:01
1371
原创 Lua 从基础入门到精通（非常详细）
Lua 是一种轻量小巧的脚本语言，它用标准C语言编写并以源代码形式开放。这意味着什么呢？这意味着Lua虚拟机可以很方便的嵌入别的程序里，从而为应用程序提供灵活的扩展和定制功能。而整个Lua虚拟机编译后仅仅一百余K，经过适当的裁剪还能做到更小，十分适合嵌入式的开发。Lua 官网Lua 5.3 参考手册 - 目录Lua 在线调试工具LuatOS 在线模拟 - lua在线测试。
2024-10-28 23:20:02
7875
3
原创 Redis 命令集 (超级详细)
redis 常用命令集, string 类型, hash类型, list 类型, set 类型, zset 类型, bitmap 类型, geo类型, redis命令和java的redisTemplate的对应关系
2024-10-24 17:32:14
1891
原创 Redis 单机、主从、哨兵和集群架构详解和搭建
redis单机部署、redis主从部署、redis哨兵部署、redis集群 部署的安装以及相应的架构介绍
2024-10-23 17:54:38
1871
原创 『Mysql集群』Mysql高可用集群之读写分离(二)
mysql 读写分离搭建，Atlas，Cobar，Mysql Proxy，Mysql Router
2024-10-17 00:25:30
1056
原创 『Mysql进阶』Mysql SQL语句性能分析 Profile (七)
找到我们执行SQL的Query_ID = 2, 执行show profile。不过该工具只有在MySQL 5.0.37。Query Profiler是。以列表形式显示最近发送到服务器上执行的语句的。显示上下文切换次数，不管是主动还是被动。展示最近一条语句执行的详细资源占用信息。选择显示某条记录的性能分析信息。显示源码中的函数名称与位置。查看是否打开了性能分析功能。显示发送和接收的消息数量。以及以上版本中才有实现。，通过它可以分析出一条。，显示的记录数由变量。
2024-10-11 11:53:45
474
1
原创 『Mysql进阶』Mysql Show Warnings 详解(六)
show warnings 命令的主要用途有两个，如下：显示上一个命令执行过程中产生的警告信息。 这个命令对于诊断和调试SQL语句非常有用，因为它可以帮助开发者或数据库管理员及时发现可能影响数据准确性和完整性的问题。显示优化器对SQL优化的结果。show warnings只对select语句有效，对update、delete和insert是无效的，命令显示的是在select语句中优化器是怎样标准化表名和列名，这里显示的sql语句是经过重写和应用优化规则后看起来的样子，还有关于优化器过程的其它信息。
2024-10-11 10:49:38
1388
原创 『Mysql进阶』Mysql explain详解(五)
EXPLAINEXPLAIN 语句提供有关 MySQL 如何执行语句的信息，使用EXPLAIN关键字可以模拟优化器执行SQL语句，分析你的查询语句或是结构的性能瓶颈。我们根据 MySQL 的慢查询慢查询慢查询去记录一些执行时间比较久的SQL语句, 然后使用explain命令来查看这些SQL语句的执行计划, 根据执行计划内容，判断该SQL语句有没有使用上索引, 有没有做全表扫描等, 进而排查出SQL执行慢的原因。
2024-10-10 18:12:52
1542
原创 『Mysql进阶』Mysql 索引底层数据结构和算法(三)
索引底层数据结构和算法， 常用的索引结构有：Hash表，二叉树，平衡二叉查找树（红黑树是一个近似平衡二叉树），B树，B+树。
2024-10-02 22:02:47
1451
原创 『Mysql进阶』深入理解MySQL中的MVCC原理及实现(二)
Mysql MVCC实现原理,Undo Log 日志 ,Read View , 读已提交, 可重复读
2024-09-29 16:24:25
870
原创 Mysql删库跑路，如何恢复数据？
删库跑路，数据还能恢复吗？ binlog 恢复数据，mysqldump备份数据库，mysqldump恢复数据
2024-09-23 00:22:05
1118
原创 『Mysql进阶』Mysql 架构(一)
Mysql 逻辑架构，日志文件，InnoDB 架构，磁盘文件，脏页落盘，Double Writer，CheckPoint检查点机制
2024-09-20 23:02:17
1736
原创 [Python] 从0到1实现一个简单的数字图像识别大模型
大模型的本质是机器学习， 机器学习的本质就是一种数学模型，而现在主流的大模型都是基于神经网络模型构建的数学模型，不论是基于卷积神经网络(CNN)，还是循环神经网络(RNN)，亦或者是Transformer神经网络等。所以所谓的大模型，就是一个很复杂的函数，训练它的样本集很大、参数很多。神经网络模型是一种基于人工神经元的数学模型，用于模拟人脑的神经网络结构和功能。神经网络模型有很多层，每一层都有很多个神经元，每一层又是相互连接。
2024-09-06 10:50:20
1342
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人