- 博客(147)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 大模型技术之-机器学习
机器学习概述与基础理论摘要 机器学习是人工智能的核心领域，通过数据驱动让计算机自动学习规律并做出预测。文章系统介绍了机器学习的发展历程，从早期的逻辑推理到知识驱动的专家系统，再到数据驱动的统计学习，直至当前深度学习和通用人工智能时代。机器学习方法包含模型、策略、算法三要素，可分为监督学习、无监督学习、强化学习等类型。特征工程是提升模型性能的关键环节，包括特征选择、转换、构造和降维。模型评估需关注损失函数、经验误差与泛化误差，避免欠拟合和过拟合问题。机器学习已广泛应用于计算机视觉、自然语言处理等众多领域，成为
2026-05-11 14:54:03
445
1
原创 没有任何代码搭建你的第二大脑，由你掌控
Obsidian与LLM Wiki：构建你的第二大脑 Obsidian是一款本地优先的Markdown笔记软件，通过双向链接和知识图谱功能帮助用户建立知识网络。它既是编辑器又是知识操作系统，支持插件扩展和跨平台使用。LLM Wiki则是由AI专家提出的知识管理范式，利用大语言模型持续编译结构化知识库，实现知识的复利增长。两者结合可构建强大的个人知识管理系统：Obsidian负责前端交互与可视化，LLM Wiki处理后端知识处理与维护。系统采用三层架构（原始数据层、Wiki层、Schema层），通过Git实现
2026-05-07 21:00:00
588
原创 大模型技术之numpy与pandas基础
NumPy是Python中用于科学计算的基础库，提供多维数组对象ndarray及各种数组操作方法。ndarray具有高效存储和运算能力，支持数学、统计、线性代数等操作。创建数组的方式包括zeros()、ones()、arange()等函数，并可指定数据类型如int32、float64等。数组支持切片索引操作，与Python列表类似。NumPy还提供随机数生成、矩阵运算等功能，但ndarray要求元素类型一致且形状固定。该库广泛应用于数据分析、机器学习等领域，是Python科学计算生态的核心组件。
2026-04-09 08:45:22
427
原创 机器学习入门-反向传播
反向传播算法是神经网络训练的核心技术，它通过链式法则高效计算数百万参数的梯度，将时间复杂度从O(N²)优化到O(N)。该算法作为梯度下降的"计算引擎"，利用前向传播的中间结果，避免重复计算。文章详细解析了前向传播与反向传播的步骤，包括输出层和隐藏层的梯度计算，并讨论了激活函数选择、批量梯度下降等关键技巧。随着深度学习发展，反向传播已进化为自动微分技术，结合Dropout、Batch Normalization等创新方法，配合Adam等优化算法，显著提升了模型训练效率。
2026-01-21 08:10:43
831
原创 2026 科技开局即冲刺：资本、航天、科研三重发力，勾勒全年创新路线图
本文聚焦2026年1月14日前后的全球科技动态，勾勒开年创新全景。国内一级市场融资热度高涨，1月5日-11日累计融资154.27亿元，智能科技与生物医药成为双主线，雷鸟创新、智行者科技等企业获亿元级重注，覆盖AR、无人驾驶、细胞治疗等核心领域。中国航天迎来开门红，长征六号改运载火箭成功将遥感五十号01星送入预定轨道，为国土普查、防灾减灾提供支撑。国际层面，苹果与谷歌达成AI战略合作，Gemini大模型接入苹果生态赋能Siri；谷歌量子计算机Willow实现实用化突破，在癌症药物研发中缩短周期。
2026-01-15 08:39:44
2253
原创 深度学习学习笔记：发展脉络以及核心原理全解析
深度学习经历了从感知机到多层网络的演进，在经历两次寒冬后，随着算力突破和数据驱动迎来爆发期。其核心是通过神经网络定义函数集合，利用损失函数评估质量，再借助梯度下降优化模型。GPU的并行计算加速了训练过程，但实践中仍面临网络设计、过拟合和梯度问题等挑战。随着技术进步，深度学习持续拓展应用边界，展现出强大潜力。
2026-01-15 07:35:03
1199
原创 PyTorch 入门学习笔记（实战篇）二
本文介绍了一个基于PyTorch的新冠阳性病例占比预测实战项目。文章详细讲解了从数据预处理到模型训练的全流程，包括：1)使用Pandas加载CSV数据并进行特征标签分离；2)自定义Dataset类实现数据批量加载；3)构建三层全连接神经网络模型；4)采用MSE损失函数和Adam优化器进行模型训练。项目完整展示了PyTorch在回归任务中的典型应用，适合深度学习初学者学习实践。
2026-01-10 21:56:27
621
原创 PyTorch 入门笔记配套【完整练习代码】
本文提供了一套完整的PyTorch入门练习代码，涵盖四大核心模块：张量操作、数据加载、设备切换和自动梯度计算。所有代码基于Python3.8+和PyTorch2.0+编写，无额外依赖，逐段对应学习笔记知识点。 主要内容包括： 张量基础操作（创建、运算、维度变换、拼接） 自定义Dataset类和DataLoader使用（含批次加载和打乱参数） CPU/GPU设备切换的工业级实现 自动梯度计算全流程（梯度开启、反向传播、梯度查看） 代码难度为入门级，配有详细注释，可直接运行测试，是学习PyTorch基础知识的理
2026-01-09 08:26:32
629
原创 PyTorch 入门学习笔记（基础篇）一
本文介绍了PyTorch深度学习框架的基础知识，包括其核心特性（动态计算图、自动微分、GPU加速）、神经网络训练流程（数据加载、网络定义、损失函数、优化器）以及核心数据结构张量的操作。重点讲解了数据加载模块Dataset和DataLoader的使用方法，以及张量的创建、维度变换、算术运算等基本操作。通过简洁的代码示例和概念说明，帮助初学者快速掌握PyTorch的基本使用方法，为后续深度学习模型开发奠定基础。
2026-01-09 08:16:20
1043
原创 机器学习基本概念简介（全）
机器学习任务可分为回归（预测连续值）、分类（预测离散类别）和结构化学习（生成结构化输出）。模型构建包含三个步骤：定义含未知参数的函数（如线性模型）、定义损失函数（如MAE、MSE）衡量预测误差，以及通过梯度下降优化参数。优化过程中需调整学习率等超参数，并关注模型在测试集上的泛化能力。引入更多有效特征可提升泛化性能，避免过拟合。
2026-01-08 08:42:21
994
原创 python进阶之文件处理
本文全面介绍了Python文件操作与路径处理的进阶技巧。在文件操作方面，深入讲解了上下文管理器的高级用法、大文件处理策略（逐行读取/分块处理/生成器）以及文件权限管理。在路径处理方面，对比分析了传统os.path模块与现代pathlib库的使用方法，涵盖路径拼接、拆解、判断和转换等核心功能。文章通过大量代码示例展示了如何高效安全地处理各类文件操作场景，特别针对跨平台开发和大文件处理提供了实用解决方案，帮助开发者掌握Python文件系统操作的关键技能。
2025-12-22 17:08:34
844
原创 python基础之Python类和对象
Python面向对象编程核心摘要 Python支持面向对象编程，通过类和对象组织代码。类作为模板定义属性和方法，对象是类的具体实例。封装通过私有属性(前缀)和公开方法保护数据安全。继承实现代码复用，子类可继承父类特性并扩展新功能，支持单继承和多继承。关键概念包括：类与对象关系、self参数、构造方法__init、类/实例属性、getter/setter方法、super()调用父类等。面向对象三大特性（封装、继承、多态）提高了代码的可维护性和扩展性。
2025-12-19 11:08:08
836
原创 python基础之python模块和包
Python中的模块，本质上是一个以.py为后缀的Python文件（也包含一些内置的C扩展模块或其他语言实现的模块）。这个文件中可以包含Python的变量、函数、类、以及可执行代码等。模块的核心作用是代码复用：当我们编写了一段通用功能（比如数据处理、日志打印），可以将其封装成一个模块，在其他项目或脚本中直接导入使用，无需重复编写。同时，模块也能让代码结构更清晰，便于管理和维护。创建自定义模块非常简单，只需新建一个.py文件，在文件中编写相关的代码即可。
2025-12-19 09:13:04
796
原创 python进阶之numpy学习
NumPy数组创建与操作摘要： 数组创建：使用np.array()从列表/元组创建ndarray对象，支持0-D标量到3-D多维数组 维度操作：通过ndim属性获取维度数，reshape()改变数组形状 索引访问：支持正负索引，多维数组使用逗号分隔访问（如arr[0,1]） 数据类型：dtype属性查看类型，创建时可指定类型（如'i4'表示4字节整数） 副本与视图：copy()创建独立副本，view()创建关联视图 特殊数组：zeros()/ones()创建全0/1数组，eye()创建单位矩阵，random
2025-12-18 08:02:59
1155
原创 机器学习--处理数值型数据（二）
摘要 本文介绍了异常值的识别与处理方法。异常值是指显著偏离数据分布的极端值，可能是噪声或真实极端情况。常见识别方法包括：3σ原则（正态分布）、箱线图法（不依赖分布）、聚类法和孤立森林（高维数据）。处理方式需结合异常值成因和占比，包括删除、修正、替换（如中位数）、标记或分箱。案例演示了电商用户消费数据的异常值分析，使用3σ原则、箱线图法和椭圆包络法识别异常，并区分噪声异常值（删除）和真实极端值（标记为VIP并用中位数替换）。强调异常值处理需平衡信息保留与模型鲁棒性，没有绝对准则，需根据具体情况判断。
2025-12-01 17:27:25
899
原创 机器学习--处理数值型数据（一）
摘要 本文系统介绍了机器学习中数值型数据预处理的关键方法，包括特征缩放、标准化、归一化、多项式特征生成和特征转换。特征缩放通过Min-Max归一化等方法消除量纲差异；标准化使特征符合正态分布；归一化处理样本内部特征关系；多项式特征增强模型非线性拟合能力；特征转换则通过对数变换等方法优化数据分布。这些预处理步骤能显著提升模型训练效果，需根据数据类型、分布特点和算法需求选择合适方法。文中还提供了Python代码示例，展示了scikit-learn库中相关函数的实际应用。
2025-11-27 16:29:57
920
原创 mapreduce简单案例----求共同关注的粉丝
目的：第一阶段的目的是统计每个用户的关注列表，并整合为键值对。第二阶段的目的是计算每两位用户之间的共同关注好友，并整合为键值对。数据类型变化：在第一阶段，键值对的变化是从用户和关注列表到好友和拥有该好友的用户列表字符串。在第二阶段，键值对的变化是从好友和拥有该好友的用户列表字符串到用户组合和共同关注好友列表。这样的设计和变化使得整个 MapReduce 过程在不同阶段能够有效地处理数据，从而实现了共同好友查找系统的功能。数据集：张三:谢霆锋,陈奕迅,邓昊天,风清扬,伊森,奥布莱恩。
2024-01-11 14:44:59
1367
1
原创 Spark MLlib ----- ALS算法
在谈ALS（Alternating Least Squares）之前首先来谈谈LS，即最小二乘法。LS算法是ALS的基础，是一种数优化技术，也是一种常用的机器学习算法，他通过最小化误差平方和寻找数据的最佳匹配，利用最小二乘法寻找最优的未知数据，保证求的数据与已知的数据误差最小。LS也被用于拟合曲线，比如所熟悉的线性模型。下面以简单的线性一元线性回归模型说明最小二乘法。假设我们有一组数据{(x1,y1),(x2,y2),(x3,y3)…}其符合线性回归，假设其符合的函数为如下：y = w+ wx。
2024-01-08 17:49:57
2957
原创 spark学习一-------------------Spark算子最详细介绍
简介map算子：map算子是将rdd中的数据一条一条传递给后面的函数，将函数的返回值构建成一个新的rdd。map算子是不会生成shuffle。后面的分区数等于map算子的分区数。//saprk代码的入口/*** 构建rdd的方法* 1.读取文件* 2.基于scala的集合构建rdd ---- 用于测试*//*** map算子* 将rdd中的数据一条一条传递给后面的函数，将函数的返回值构建成一个新的rdd* map 不会产生shuffle，map之后的分区数等于map之前rdd的分区数。
2023-11-28 09:48:55
766
原创 线性回归模型（7大模型）
先从一个简单的问题开始：如何用一个线性函数来拟合一个二维数据集？ 假设我们有一个二维数据集，其中每个样本都由一个x和一个y组成。我们可以用一个线性函数 y = ax + b 来拟合这个数据集，其中a和b是待定的系数。我们的目标是找到最佳的a和b，使得这个线性函数能够尽可能地拟合这个数据集。 这就是线性回归的基本思想：通过拟合一个线性函数来预测一个连续型的输出变量。这是一个非常简单的案例。
2023-04-26 11:12:38
21623
原创 Maven安装
如上图，点击Installations，在右侧点击add添加Maven_home替换掉eclipse自身的，同时点击User Settings添加maven的配置文件settings.xml。这个时候重启eclipse，然后点击windows-->Preferences-->Maven这个时候就说明安装成功。如果你采用2这种方式的话，一定要写“\\”，不然eclipse无法正确识别你填写的路径，推荐使用1。在系统环境变量中配置MAVEN_HOME,同时将%MAVEN_HOME%\bin加入的path中。
2022-09-08 15:05:42
347
1
原创 大数据运维工作（Linux，OGG，链路监控，Hadoop运维等）
大数据运维工作，主要介绍：Linux运维，Hadoop运维，ogg运维，链路监控运维等
2022-09-06 16:30:18
1987
原创 OGG基本框架、安装、运维、报错处理、监控命令
● Extract● Data pump● Trails● Collector● Replicat● Manager利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log，然后进行解析，只提取其中数据的变化信息，比如DML操作——增、删、改操作，将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。目标端有一个
2022-07-06 10:40:38
2096
2
原创 ogg的安装以及mysql到mysql的同步处理
这里根据官方文档进行安装。这里不做讲解。有两种方式安装ogg：选择自己对应的系统，因为我这里是linux系统，所以我选择下载第一个。这里直接给出下载地址点击即可下载环境介绍，为了节省资源OGG我选择和原库安装在了同一台服务器安装之前，介绍一下ogg的目录用途说明：介绍完成以后，我们首先来配置源库和目标库OGG19C可以使用基于日志的DDL复制，要求添binlog_row_metadata为full模式才可以实现目标库配置主备数据库创建同步用户并附权1.3 OGG配置在19C的OGG中ogg可
2022-07-04 08:37:40
1908
1
基于spark的咖啡数据分析
2024-01-08
区块链论文以及研究成果
2024-01-08
新闻、健身实时数据 基于spark+kafka+flume+echarts可视化+hadoop
2024-01-08
旅游自助系统。分为Android APP和Web管理系统JAVA旅游自助系统， 是一套开源的项目，系统具有完整的源代码和数据库，
2022-08-29
博客系统：web前端+管理后台+java源码
2022-08-29
ogg数据不同步的问题
2022-08-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人