- 博客(1026)
- 资源 (95)
- 收藏
- 关注
RSS订阅原创 大模型有哪些算法
大模型（Large-scale Models）通常指参数量大、架构复杂、在特定任务或领域表现出色的深度学习模型。这些模型的算法核心往往基于Transformer 架构及其变体，同时结合了大规模数据、硬件加速和优化技巧。
2025-03-27 19:40:55
999
原创 RLHF包含几个步骤
是优化语言模型生成策略的核心方法，通过引入人类偏好信号，使模型输出更符合人类价值观或任务需求。其标准流程通常包含以下。生成一个能评估模型输出质量的量化指标（奖励信号），替代手动评分，用于后续强化学习。：通过对比学习或分类任务训练一个能评估生成质量的模型，量化人类偏好。通过上述步骤，RLHF将模型的生成能力从“正确”提升为“令人满意”。：使用强化学习算法优化模型策略，最大化奖励模型给出的奖励信号。：用人类标注的高质量对话或生成数据微调预训练模型。让模型基于显式的人类数据生成初步对齐的输出。
2025-03-27 19:39:42
598
原创 Kubernetes--自动伸缩
为了使用自定义指标，你需要在集群中安装 Prometheus Adapter。Prometheus Adapter 可以将 Prometheus 中的指标转换为 HPA 可以理解的格式。假设你有一个自定义指标metadata:spec:metrics:pods:metric:target:type: Pods表示该度量标准是基于每个 Pod 的。指定了自定义指标的名称。表示当每个 Pod 的平均值达到 1000 时，HPA 会开始增加副本数。
2025-03-25 08:20:06
673
原创 Kubernetes--api的管理和使用
RoleCronTabmetadata:spec:versions:- name: v1names:- ct最小权限原则：为ServiceAccount和用户赋予仅必需的权限（RBAC）。版本回滚策略：使用SemVer语言定义资源版本，确保兼容性。监控API调用率：通过Prometheus和Grafana监控APIServer的指标。
2025-03-21 13:29:59
658
原创 RAG工具框架针对的常见问题
RAG工具框架的必要性源于其能够平衡“生成模型的泛化能力”与“外部知识的精度与时效性”，是解决复杂问答、领域适配、实时信息需求等场景下技术瓶颈的高效方案。，从而在实际应用中成为连接静态大模型与动态现实世界的桥梁。
2025-03-19 22:08:15
848
原创 ceph运维硬件规划技巧
Ceph本身通过分布式冗余（如Replication/Erasure Coding）提供数据保护，因此硬件RAID（尤其是RAID 5/6）会带来单点故障风险，并可能削弱性能。在规划Ceph集群的硬件配置时，需要综合考虑性能、成本、冗余、可扩展性以及特殊场景需求等因素。在Ceph的存储后端（如Bluestore）中，日志（Journal）负责记录数据的同步写入操作（如刷盘前的写缓存），单独使用SSD作为日志盘可以显著提升写入性能。通过上述策略，可有效规划一个高性能、高可靠、可扩展的Ceph存储集群。
2025-03-17 19:08:53
673
原创 遇到问题--AttributeError: Can only use .cat accessor with a ‘category‘ dtype
方法，这是分类数据类型的访问器，而不是字符串连接的方法。你应该使用字符串连接的方法来实现这个目标。类型的列进行操作，应使用与该数据类型对应的访问器或方法。例如，如果列是字符串类型，可以使用。错误通常在使用 Pandas 库时出现，特别是在尝试对非分类数据类型（错误，并正确处理 Pandas 数据框中的分类操作。转换为字符串类型，然后将它们连接起来，但你使用的是。运算符将两个字符串列连接起来，并将结果存储在新的。这样，可以正确地将两列字符串连接在一起，而不会触发。首先，确保你操作的列是。列转换为字符串类型。
2024-11-16 16:01:07
186
1
原创 遇到问题--AttributeError: Can only use .str accessor with string values
如果你确实需要对非字符串类型的列进行操作，应使用与该数据类型对应的访问器或方法。例如，如果列是数值类型，可以使用数值操作方法。错误通常在使用 Pandas 库时出现，特别是在尝试对非字符串类型的列应用字符串操作时。错误，并正确处理 Pandas 数据框中的字符串操作。如果列的数据类型不是字符串，可以将其转换为字符串类型。首先，确保你操作的列是字符串类型的。如果你尝试对非字符串类型的列使用。str需要修改为 astype(str)访问器只能用于字符串类型的列（即。属性来检查列的数据类型。
2024-11-16 15:43:20
286
原创 数据分析和数据挖掘的区别在哪
目标：数据分析侧重于解释数据，数据挖掘侧重于发现模式。方法：数据分析主要使用统计和可视化技术，数据挖掘使用算法和模型。应用场景：数据分析侧重于业务报告和运营优化，数据挖掘侧重于发现新知识和新模式。数据规模：数据分析处理中小规模数据，数据挖掘处理大规模数据。结果的可解释性：数据分析的结果通常更易于解释。虽然它们有所区别，但在实际应用中，数据分析和数据挖掘常常结合使用，以提供全面的洞察和解决方案。
2024-11-11 00:57:49
1452
原创 Hadoop积累---Hadoop判断job和map的开始和结束(带源码)
命令行工具：使用和等命令查询Job和Map任务的状态。Web UI：访问JobTracker/ResourceManager的Web界面查看Job和Map任务的进度。API：在应用程序中使用Hadoop API监控Job和Map任务的状态。日志文件：查看Hadoop生成的日志文件以获取Job和Map任务的状态。监控工具：使用第三方监控工具提供更详细的监控信息。通过这些方法，你可以有效地监控Hadoop中的Job和Map任务的开始和结束。
2024-11-11 00:11:25
505
原创 基于PaddleSpeech实现语音识别
遍历每一个文件，将它们分别送入ASRExecutor进行识别，所有识别文本集中保存到列表words里，最终写入result.csv文件。通过auditok.split来对音频进行切分，切分后新建目录：change/audio/文件名/，将文件存入该目录。一段python办公自动化抖音广告语，因为有背景音乐，所以判断为Music。执行后qiefen(“1.wav”)后，可以把1.wav进行切分。PaddleSpeech识别最长语音为50s，故需要切分。这段广告语被完整识别出来，唯一的问题是不带标点符号。
2024-10-20 15:36:40
1327
2
原创 基于paddlepaddle客户画像分析
目前在实际的业务中，需要对原始数据做数据标注，标注后的数据格式整理为JSON如下：“tag”: “初始第一次开始”这里的tag标注是一个层次分类。开始训练的一部分数据是人工标注的监督数据，那么对于新的数据，就是无监督数据，因此需要有一个模型来解决此问题。PaddleNLP[1]是一款简单易用且功能强大的自然语言处理和大语言模型(LLM)开发库。聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。
2024-10-20 15:29:22
1517
原创 paddleOcr记录
情况1：默认不需要标注电能表样本、训练电能表OCR模型，需调用PaddleOCR出识别字符，对识别信息进行提取情况2：需要从无到有标注OCR样本，或已有样本及标签文件，需训练电能表OCR模型，调用OCR模型识别样本字符，对识别信息进行提取OCR的处理包含两个流程：1-字符检测，2-字符识别。两个流程需要两种不同的数据集格式，如字符检测部分，样本内容主要包含字符图像与字符对应的坐标（参考dataset/ctw1500数据集），
2024-10-20 15:11:23
1089
原创 (十二)人工智能应用--深度学习原理与实战--模型编译及训练参数的选择
神经网络训练要解决的问题其实是以最快的速度将误差函数(Loss)降到最小值、从而确定最优的网络参数。人工智能梯度通常指的是在机器学习和深度学习中使用的梯度，用于指示损失函数在某一点的变化速率和方向。在神经网络中，梯度表示损失函数相对于模型参数的变化率，可以帮助机器学习模型进行优化和参数更新。具体来说，人工智能梯度是指损失函数对于模型参数的偏导数，通常通过反向传播算法计算得到。梯度的方向指示了参数更新的方向，梯度的大小则表示了参数更新的步长。
2024-06-11 19:47:21
638
原创 (十一)人工智能应用--深度学习原理与实战--实现泰坦尼克号生存者预测案例Titanic Survival
泰但尼克号生存者预测(Titanic Survival)任务要求根据给定的1300余位乘宫的特征（姓名、性别、年龄、舱位等】及幸存情况(0-死亡，1-幸存】建立神经网络模型，能够较内准确地预测乘客样本的幸存情况。我们首先对原数据进行了多种预处理，目的是提高数据的质量，进而提升模型的性能。应熟练掌握常用的数据预处理方法。接下来，我们基于序贯模式(Sequential)搭建了包含多个全连接层(Dense层)的神经网络、需熟练掌握全连接网络层的添加方法及智数含义。
2023-09-07 20:30:00
936
原创 (十)人工智能应用--深度学习原理与实战--模型的保存与加载使用
Tensorflow提供了灵活的模型保存方案，我们可以将训练好的模型保存，之后可以直接加载使用，而无需重复建模训练。方案1:保存全模型方法可以将网络结构、权重信息、以及编译配置等一并保存，加载即可直接使用。方案2:保存权重方法允许仅保存网络的权重信息使用时要有搭建好的网络,无需训练。方案3:保存网络结构的方法允许仅保存网络层的构成而不保存权重，常用于恢复网络结构。模型的保存与加载是十分常用的功能，应熟练掌握。
2023-08-10 19:15:00
1137
原创 (九)人工智能应用--深度学习原理与实战--前馈神经网络实现MNST手写数字识别
MNIST手写数字识别是神经网络实现的第一个案例，这是一个简单的图像识别应用，我们使用Keras构建了只有两个全连接(Dense)的前馈神经网络，取得了不错的识别准确率。通过本任务大家应对于Keras构建前馈神经网络(使用序贯式模型)的过程更加熟悉，理解和掌握增加Dense层的方法及参数的含义。记住模型构建的一般步骤是 加载及预处理数据、建模【添加网络层)、编译、训练、评估、预测，并掌握Tensorflow (Keras)中对应的方法。
2023-08-08 19:30:00
862
原创 (八)人工智能应用--深度学习原理与实战--前馈神经网络机制解析
本章节我们了解了前馈神经网络的核心机制，包括感知机(最简单的前馈网络)、前馈与反向传擂、权重与偏移值数、激活函数的作用及类型。前馈神经网络是目前使用最广泛的神经网络之一，在图像识别和自然语言处理领域主流的两大神经网络类型——卷积神经网络(CNN)和循环神经网络(RNN)都属于前馈网络。感知机的原理、反向传擂机制、权重及偏移值箸数、以及激活函数的作用是重点,也是后续学习的前置基础，需要熟练掌握。
2023-07-24 21:15:00
561
原创 (七)人工智能应用--深度学习原理与实战--使用Keras搭建序贯式模型
1、KerasAPI已经被集成到TensorfLow2.×版本中，作为官方推荐的神经网络API。使用Keras可以非常方便地、模块化地搭建神经网络、添加多个层、并编译、训练及评估预测。2、Keras以层(Layers)为组件搭建神经网络，有两种基本模式—------序贯模式(SequentiaL)和函数式模式(FunctionaL)，需要理解两种方式的特点和区别。3、Keras可以使用add方法或列表方法向序贯模型中添加网络层。
2023-07-21 13:34:23
351
原创 (六)人工智能应用--深度学习原理与实战--理解张量与运算图
1.张量(Tensor)是神经网络的基本数据结构，本质上是一种维度任意的多维数据容器。2.深度学习中使用张量来表示各种数据，如向量数据、时间序列数据、图像数据、视频数据等，需要熟悉它们的形状格式，在神经网络的训练中会经常用到。3.计算图是张量计算过程的逻辑表示，图运算非常适用于神经网络这种大规模运算场景，配合GPU的并行计算能门能够大幅提高运算效率。
2023-07-13 21:30:00
964
原创 (五)人工智能应用--深度学习原理与实战--Linux系统Tensorflow平台搭建
1.TensorfLow是目前企业应用最为广泛的深度学习框架，我们在Linux操作系统下完成了TensorfLow的安装及基于NVIDIA GPU的Cuda (GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境，建议使用Python的Anaconda发行版，该版本集成了多个科学计算包，广泛应用于数据处理与人工智能领域。3.TensorfLow、Cuda和cudnn的版本存在不兼容的情况，需要提前查询相应的对应关系。
2023-07-03 21:45:00
1205
原创 (四)人工智能应用--深度学习原理与实战--Windows系统Tensorflow平台搭建
1.TensorfLow是目前企业应用最为广泛的深度学习框架，我们在Windows操作系统下完成了Tensorflow的安装及基于NVIDIA GPU的Cuda(GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境,建议使用Python的Anaconda发行版，该版本集成了多个科学计算包，广泛应用于数据处理与人工智能领域。3.TensorfLow、 cuda和cudnn的版本存在不兼容的情况,需要提前查询相应的对应关系。
2023-06-13 21:15:00
1097
1
原创 (三)人工智能应用--深度学习原理与实战--神经网络的工作原理
神经网络本质上是一个实现深度学习的多层数学框架，每一层都对输入数据做一定的转换，在训练（学习)的过程中不断调整优化各层的权重参数，最终得到能够准确映射输入数据和目标输出的网络模型。优化器的作用是依据误差值来逐步调整各层的权重然数，以降低误差值。这一过程的算法叫做反向传播(Backpropagation )算法，梯度下降(GD)是反向传播算法中常用的方法。通过在大量数据上多次循环训练，最终可以得到最小化的损失函数，从而得出训练好的神经网络(即能够准确映射输入数据和目标输出的深度学习模型)。
2023-05-16 21:45:00
950
原创 (二)人工智能应用--深度学习原理与实战--机器学习简史
2010年至今，在硬件、数据、算法及框架等几个方面的推动下，深度学习技术进入蓬勃发展期，目前已经在感知类任务中占据主导地位。人工智能被称为新一轮工业革命，相关的岗位数量急剧增长。与机器学习相关的主要技术包括:Python语言、Scikit-Learn、TensorFLow(Keras) 、Pytorch等框架以及相关的开发库。
2023-03-28 21:15:00
350
原创 (一)人工智能应用--深度学习原理与实战--初识深度学习
人工智能是一个综合性的概念，其方法不仅仅包括机器学习和深度学习，还包括如预定义规则的专家系统。机器学习(包括深度学)的本质是让计算机自主地从数据中学习出规则，而非预定义规则。与经典的编程范式不同，机器学习的范式是输人数据和笞案(即标签)、输出规则(即模型)，从而可以使用模型预测新的数据输入。深度学习是机器学习的一个分支(子集),从技术上是一种学习数据表示的多层框架（传统的机器学习算法通常只有一到两个表示层)，深度学习的分层表示模型即神经网络。
2023-03-23 13:36:51
722
原创 遇到问题--kafka--接收端报错Parse JSON error Invalid encoding in string. Offset
情况kafka接收业务发送得数据，在接收端json解析失败例如a={"key":"123data"}print(a);原因打印异常信息发现接收端接收到的数据里面包含有特殊符号kafka发送端发出的数据中有特殊符号，导致接收端接收时转换json格式失败。这些异常数据一般是特殊的符号，在txt中肉眼不可见。可以借用bejson在线工具 或者 本地的notepad++软件找到相关异常的符号是哪一个，如果数据量太多，可以借助附录中html代码运行 定位到 特殊符号的前后。我们发现 去掉这个
2022-05-13 11:30:07
2174
原创 遇到的问题---java---使用SimpleDateFormat进行时区加8小时后出现24点的数据，导致时间异常无法入库
情况因为数据库中保存的是无时区的时间格式，所以在java项目中 获取时间数据后 需要加上东八区的时间。使用代码如下： public static String timeAdd8Hour(Date date) { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd kk:mm:ss ");// System.out.println("格式化输出：" + sdf.format(date)); sdf.setTimeZone(Ti
2022-03-31 18:26:05
3145
原创 遇到问题--mongodb---python---pymongo通过_id查询不到数据
情况pymongo通过_id查询不到数据正常使用的pymongo查询语句如下：id="600bcb89436877002d001eaa"import pandas as pdfrom pymongo import *client = MongoClient('mongodb://root:password@mongodb.mydb.com:3717/mydb')db = client['mydb']db_collection = db['comment']results = []f
2022-03-16 11:55:48
4368
原创 遇到问题--k8s---数据库同域名切换后pod读取的还是老数据库
情况现有一个 spring-boot的系统部署在k8s的pod中，连接数据库的配置文件 使用的是 域名 order.mydb.com 连接mongodb。因为数据库迁移需要， 新创建了一个mongodb服务，然后把order.mydb.com域名指向 新的mongodb服务。但是 spring-boot的系统 发现 缺少数据，经过排查后，新的mongodb数odb据完整，老的mon godb缺少数据。数据库配置正确，在 spring-boot的系统 所在的 pod和node中 ping 域名 or
2022-03-16 11:33:37
3004
原创 flink通过sink的方式写入dorisdb数据源
我们在之前的文章中已经 通过 mongodbsource获取了 相关数据，详情参考flink读取mongodb数据源批处理全量获取实践本篇文章 记录把获取到的数据 sink导入到 dorisdb。创建erp_order_test表在dorisdb的shell命令行中使用命令创建表格create table erp_order_test (order_id STRING, order_time DATETIME) DISTRIBUTED by hash(order_id) BUCKETS 10 P
2022-03-09 11:40:51
6458
原创 flink读取mongodb数据源批处理全量获取实践
本章记录 flink读取mongodb数据源的实践，主要用于 全量 批处理获取mongodb的数据。我们在前面的文章中已经学习了如何写一个简单的flink-job项目打包jar包运行详情参考编写flink任务jar包–helloworld我们在flink-job项目基础上新增读取mongodb数据源的功能。引入jar包使用官方driver连接器 <dependency> <groupId>org.mongodb<
2022-03-08 11:41:28
5045
原创 flink on k8s模式通过web UI界面查看任务运行情况
我们之前已经成功部署了flink on k8sflink on k8s部署方案实践–详细步骤单纯看pod的log，是无法查看和排查所有情况的。 有时候需要查看job的运行情况。一般我们在运行flink任务时，需要查看它的job运行情况。比较常用的方式就是在flink的UI界面上查看。一般的flink 因为jobmanager 所在的node是固定的，ip也就是固定的，所以能够通过ip或者域名映射后即可很方便的进行访问。flink on k8s比较特别的是jobmanager 是一个在k8s集群中
2022-03-08 11:15:49
4646
原创 遇到问题--java--新建maven项目打jar包缺少第三方引入的包maven dependencies报错Caused by: java.lang.ClassNotFoundException
情况我们新建maven项目打成jar包后在flink集群中运行，但是报错Caused by: java.lang.ClassNotFoundException具体报错如下：java.lang.RuntimeException: Could not look up the main(String[]) method from the class task.MongoDBSourceOrderETL: com/ververica/cdc/debezium/DebeziumDeserializationSc
2022-03-07 15:55:35
3397
原创 编写flink任务jar包--helloworld
我们在之前的文章中已经成功部署了flink on k8s，并且成功运行了 wordcount.jar完成了单词统计的任务。flink on k8s部署方案实践–详细步骤那如果我们需要实现自己的处理逻辑和任务呢？ 比如说 打印一个helloworld，我们就需要自己写一个jar包了，没有现成的包可以直接用了。本篇文章记录如果写一个简单的jar包并在flink中运行，工具使用idea。新建maven项目File --》 New --》 Project默认使用maven1.8版本 点击 next
2022-03-04 19:18:51
2956
原创 遇到问题--java--mac版本的idea在控制台中使用mvn命令not found
情况新建了一个maven的项目，默认使用的idea的maven3插件，idea项目中可以正常的下载jar包。但是点击 idea中的Terminal终端 想要进行项目打包时使用命令mvn clean package -Dmaven.test.skip=true报错如下：zhangxiaofans-MacBook-Pro:flink-job joe$ mvn clean package -Dmaven.test.skip=truebash: mvn: command not found原因m
2022-03-04 18:07:20
4651
原创 flink on k8s部署方案实践--详细步骤
背景Flink-operator极大的方便了我们管理 Flink 集群及其作业，我们只需要自定义yaml文件就可以做到。Flink 官方还未给出 flink-operator 方案，不过 GoogleCloudPlatform 提供了一种基于 kubebuilder 构建的 flink-operator方案。接下来，将介绍 flink-operator 的安装方式和详细步骤。Flink-operator环境搭建完毕之后，这个operator服务作为flink的控制器，打通了flink和k8s的界限，
2022-03-03 19:47:04
4471
原创 flink on k8s部署方案调研
背景flink是目前最常用的大数据流计算处理引擎，一共有local，standalone，yarn，kubernetes四种安装部署机构方案。通常使用yarn进行管理，随着k8s云计算体系越来越成熟， 把flink部署在k8s中，是一种很好的趋势。Standalone和yarn架构模式原理参考Flink 选择 Kubernetes 作为其底层资源管理平台，原因包括两个方面：1）Flink 特性：流式服务一般是常驻进程，经常用于电信网质量监控、商业数据即席分析、实时风控和实时推荐等对稳定性要求比较高的
2022-02-10 19:01:18
2337
原创 flink实时读取mongodb方案调研-实现mongodb cdc
背景介绍mongodb目前是很多企业业务上常用的nosql数据库。我们需要对这些业务mongodb数据库进行 数据同步到 数据仓库中进行 数据分析处理。技术选型CDC介绍CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术CDC 技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。CDC 的技术方案非常多，目前业界主流的实现机制可以分为两种：
2022-02-09 23:00:00
4622
原创 遇到问题--k8s--kops--新增node无法加入k8s
情况使用kops配置yaml文件进行k8s集群的资源扩张，想要新增几个节点，使用命令如下：kops replace -f manifest.yaml --forcekops update cluster kops update cluster --yeskops rolling-update cluster k8scluster_namekops rolling-update cluster k8scluster_name --yes但是 node 已经ready 却无法加入k8s
2022-02-09 21:15:00
2061
ssh框架搭建用到的包完整版.zip
2014-07-03
java通过class读写excel的例子
2014-07-01
springMVCHibernateShiroBootStrap框架
2017-11-16
cxselect选择城市
2017-09-13
ueditor1.4.3的jsp版utf-8
2017-07-03
bootstrap-fileinput-master.zip
2017-06-23
SpringMVC+Shiro+MongoDB+BootStrap基础框架
2017-05-16
SpringMVC+Shiro+MongoDB基础框架
2017-05-15
hadoop-eclipse-plugin-1.2.1.jar
2016-09-14
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf
2016-06-12
springMVC+maven+hibernate框架
2015-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人