用十条优化措施,将Redis费用降本46万/月

实测节省70%成本!手把手教你为Dify工作流集成火山引擎上下文缓存插件 本文详细介绍了如何为Dify工作流集成火山引擎上下文缓存插件,实测可节省70%的大模型推理成本。通过实战案例和完整配置指南,帮助技术团队解决重复性推理导致的token浪费问题,优化对话型、任务型和混合型场景的缓存策略,显著降低AI支出。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

outside_default.png

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:OSC开源社区

7528ab17ed18cc9f1c719d38156e597e.jpeg


作者介绍: 陈凯玲(“KL博主”):TapTap infra 工程师。开源项目 kkFileView 等 kk 系列项目作者,Apollo 配置中心项目 PMC 。

优化成果

2023 年,通过切换低成本的 Redis ESSD 实例、实施流量压缩方案、清理无效数据、治理实例 TTL、下线无用实例等措施,自研了 Redis 流量复制 & 流量放大、Redis 数据迁移、Redis 数据在线压缩 & 解压缩、Redis 数据定向清理 & 定向指定 TTL、Redis 扫描分析 Key 最后访问时间等工具辅助方案落地。实现 Redis 费用降本 46 万 / 月 。

PS:文中所述 Redis , 均为阿里云的 Redis 相关产品。

优化措施

以下优化措施没有优先顺序,在我司的大致的优化比例如下表:

优化措施优化比例
1、清理未使用的实例5%
2、实例降配:提高内存使用率15%
3、使用场景打标,允许部分场景内存用满1%
4、合理设置 TTL8%
5、清理历史数据6%
6、改进 kv 结构1%
7、定期 scan, 释放已过期的内存1%
8、降低可用性3%
9、压缩 value32%
10、迁移到兼容 Redis 协议的磁盘存储项目28%

1、清理未使用的实例

有的业务下线了,实例还在,需要清理这类实例。

这个是最容易实现的,最快能优化的,通过采集 Redis Metrics 数据,筛出长期 QPS 非常低的实例(集群版本 Redis, 自身也会有 ping 等保活访问),观测连接数据等,和业务确认并释放

2、实例降配:提高内存使用率

各种因素,导致实际使用的内存,和申请的内存差别较大,导致使用率上不去,存在内存浪费。比如:

  • 业务容量预估偏差导致的内存长期使用率偏低

  • 业务进入稳定期,内存不在快速增长,内存使用率较稳定

这些场景需要通过降配,将使用率至少稳定在 70% 左右。

降配时,需要注意如下:

  1. 集群降配到主从,注意业务端的链接模式是否兼容

  2. 大集群降配到小集群,注意是否有大 key 限制

  3. 大集群降配到小集群,注意数据倾斜问题导致小集群节点塞满了

  4. 大集群降配到小集群,注意节点数的变化,比如 128 节点降配到 32 节点,性能落差会非常大。

  5. 除了内存使用率,降配时还需要注意带宽的使用情况,

  6. 降配时,尽量在同等容量规格的情况下,选择节点数最多的规格,节点数越多性能越好。比如同样是 256GB 的,优先选择 128 节点 2GB 的集群,不要选择 32 节点 * 8GB 的集群。

  7. 降配时,会存在连接闪断抖动,尽量在业务低峰期进行

3、使用场景打标,允许部分场景内存用满

使用 Redis,在我司可归类为【被动缓存】、【非被动缓存】两类场景。

【被动缓存】

典型的缓存场景,用来挡在 MySQL 前面抗流量(先请求 Redis 拿数据,没拿到则到 MySQL 里取数据,设置到 Redis),Redis 内存用满时也不用扩容,设置好驱逐策略即可。

【非被动缓存】

搜广推场景的特征数据,Redis 里的数据是实时流、离线等业务主动写入的。如果内存到了 90% 告警线,需要及时扩容,避免重要数据被驱逐。

通过合理的区分不同 Redis 实例的使用场景,制定不一样的告警策略,允许部分场景 Redis 使用率 100%,可进一步提高整个 Redis 的内存使用率。

实施时需要注意如下:

  1. 被标记为【被动缓存】的实例,需要明确所有的 key 都设置了 TTL ,明确允许所有的 key 都允许被驱逐。否则会导致内存用满,然后写入被拒的情况。

  2. 被标记为【被动缓存】的实例,在主从架构中,可关闭主服务的 aof(aof 关闭涉及到 config rewrite 会阻塞主进程 100ms ~ 400ms 左右,会对线上集群 rt 产生影响,应尽量在业务低峰期操作),降低数据驱逐时的性能影响,提高性能。

4、合理设置 TTL

使用 Redis 时,99% 的场景 Key 是可过期删除的。

只不过,不同的场景对 TTL 的要求是不一样的,这个需要业务自行判断。

但是 infra 可以把大实例的 TTL 比例全部捞出来从大到小依次过一遍。

- 有的实例 512G 没有设置 TTL ,实际活跃实际只有 256G 不到,通过设置合理的 TTL ,可以优化 50% 的内存。

- 有的实例 TTL 设置了一年 ,实际活跃数据只有半年,或者一个月

以上都可以通过设置合理的 TTL,来优化内存使用。实施时需要注意如下:

  1. 实施前需要采集 Redis Metrics 数据,筛出内存规格大,未设置 TTL key 占比高的实例。

  2. 大部分场景其实业务也不知道合理的 TTL 是多少。所以需要准备好 Key 的访问时间(最后一次访问)分布情况,这个需要 scan 分析,后文会提到这个工具。提供给业务做 TTL 决策。

  3. 有了预期的 TTL 后,需要将所有的数据都刷一遍。所以需要一个刷 TTL 的运维工具脚本,同时可以指定清理最后一次访问距今时间的数据。

5、清理历史数据

部分业务把 Redis 当持久化存储,但是中间数据结构发生过变化,导致历史无用数据占用内存空间。

这个场景和和合理设置 TTL有点类似,同样需要:

  1. 准备好 Key 的访问时间(最后一次访问)分布情况,提供给业务做数据清理决策。

  2. 有了预期的清理逻辑后,需要一个清理 Key 的运维工具脚本,功能包含【指定 key 前缀清理】、【指定清理最后一次访问距今时间的数据 Key】。

6、改进 kv 结构

  1. 部分业务把整个大的 json 对象一股脑的存到 Redis ,其实部分字段用不着,可以裁剪 value 的大小,减少内存使用。

  2. 部分场景,比如判断用户设备是否是新设备,采用 Bloomfilter 相比 String,相同数据规模,可以节省 90% 以上的内存。

7、定期 scan,释放已过期的内存

因为 Redis 已过期 key 的清理策略,是惰性删除的(已经过期的 key ,只有被访问过或者 hz 扫描到才会被删除),所以通过定期使用 SCAN 命令扫描键空间并手动删除已过期的键,可以更精细地管理 Redis 内存,提高系统的稳定性和资源利用效率。

实施时需要注意:

  1. 选择在业务低峰期进行,控制好 SCAN 的速率,尽量减少对线上业务的影响。

8、降低可用性

在 dev、qa 环境中,可通过如下措施来进一步降低成本:

  1. 合并小实例,部分实例已经是最小规格,但是内存使用率只有不到 10% ,这种情况下,可以通过小实例合并来缩减成本

  2. 在 dev、qa 等对可用性要求不高的环境里,可通过对集群、主备版本,降配到单实例规格降低成本。

9、压缩 value

选择合适的压缩算法,对 value 进行压缩后存储。

在我司的场景里,压缩率高的可达 50%~80% ,意味着部分实例至少可优化 50% 左右的内存。

因为这个方案实施比较复杂,所以尽量挑选 100GB 以上的实例进行优化,性价比较高。适合压缩的特征如下:

  • value 大(100b 以上),字符重复度高

我们准备了 3 个主流的压缩算法,gzip 、zstd、snappy 。测试下来 ,不同的压缩算法特点如下:

  • gzip 、zstd :这两个压缩和解压缩表现都不错,性能比较均衡。在不同的 value 特征的压缩 & 解压缩性能表现差异不大

  • snappy :压缩比较耗时,但是解压缩非常快。

我本地对 852k 的一个 user_profile 数据做了一个测试。(不同大小的数据性能差异较大,最终应该以线上数据流量的测试结果为准)

测试方法:运行 100 次取均值

snappy

  • 压缩耗时:122722us

  • 压缩率:22.60%

  • 解压耗时:49us

gzip

  • 压缩耗时:39821us

  • 压缩率:15.79%

  • 解压耗时:3521us

zstd

  • 压缩耗时:6953us

  • 压缩率:17.08%

  • 解压耗时:3153us

最后 snappy 就直接否了,因为压缩的资延时不符合预期。

然后不同的实例都验证下 gzip、zstd 哪个性能好就选择哪个。具体实施时需要注意如下:

  1. 准备好 Redis 流量复制的工具,复制线上流量进行 zstd、gzip 的压缩、解压缩性能测试,明确压缩率、压缩延时和解压缩延时数据。

  2. 定制 Redis 访问客户端,无缝兼容各种指令的 gzip 、zstd 压缩数据,做到应用端不用改代码,只需要升级客户端版本就可以完成压缩、解压缩兼容。

  3. 研发存量数据全量压缩的运维工具,这个工具支持指定压缩算法、支持指定 Key 前缀压缩、支持解压缩等。

  4. 注意开启压缩后,对应用 CPU 等资源消耗的的影响,读取延时普遍会增加 1~2ms 左右。

  5. 刷线上存量的数据压缩前,确保应用都更新到兼容压缩的 Redis 访问客户端了,然后对部分 key 灰度压测,观测线上情况,没有问题后在全量刷。发现问题后及时解压缩。

10、迁移到兼容 Redis 协议的磁盘存储项目

早期,本着性能优先的原则,所有的 Redis 实例都是【内存型】。

随着数据规模增大,内存资源占用会随之递增,Redis 存储成本大幅攀升。

另一方面,随着业务的发展,当业务进入发展后期,数据量已经形成一定规模,而数据的访问频度则慢慢降下来,资源使用率普遍偏低 。

针对这类问题,可重新从性能、和成本综合评估业务更适合【内存型】、【磁盘型】的 Redis 实例。

内存型

  • 优点:性能好(p99 延时很稳定)、扩展性好、支持水平伸缩

  • 缺点:成本高

磁盘型

基于 RocksDB 实现的磁盘存储、兼容 Redis 协议的产品,在阿里云叫 Tair ESSD 型。社区里也有 pika 、kvrocks 这类项目。

  • 优点:成本低,是内存型的 16% 。有容量起点,相比内存型,至少存储 64GB 以上才有性价比。

  • 缺点:性能一般(p99 延时存在波动,突刺效应明显),是内存型的 70% 性能。且只支持垂直扩容,没法水平伸缩。

这个优化措施涉及到数据的迁移,且需要兼顾业务稳定性。所以实施起来比【压缩 Value】还要复杂,主要注意点如下:

  1. 如何筛选迁移到【磁盘型】的 Redis 实例?写请求低于 10k/s ,读请求低于 100k/s, 对 p99 时延要求不敏感,比如可以接受 avg 大于 0.5ms ,p99 5ms 的场景,且存储容量非常大 100GB 以上 ,而且预期存储容量会进一步增长

  2. 采集好【磁盘型】的 Metrics ,做好监控观测。阿里云只给了基础的 Metrics,底层的数据指标,比如 RocksDB 层的、以及指令级的延时(对后面判断指令性能问题非常有帮助)、QPS 等都需要通过 info 指令拿到信息后自己解析采集。

  3. 准备好 Redis 流量复制工具,复制线上流量到【磁盘型】Redis 目标实例,对流量进行等比,加倍回放,对每个迁移的实例针对性的进行性能压测验证。确保覆盖每个指令的性能问题、兼容问题。

  4. 对【磁盘型】实例做好容量规划,QPS 增长评估。

  5. 使用 DTS 进行数据迁移时,确保原实例内存至少有 20% 的冗余,否则需要先扩容原实例在迁移。因为 DTS 是基于【Redis 主从复制这套逻辑】来进行同步的,同步时,缓冲区需要占用内存。

  6. 如果原实例的写入流量较大,DTS 迁移前,最好先调整下【client-output-buffer-limit replica】、【repl-backlog-size 】、【DTS 收到 Master 的 RDB 后,立马回复 ACK 的开关】这些参数,避免同步反复失败。

下面记录整个项目使用阿里云 Tair 期间发现的性能问题、Bug,这个项目能够顺利完成,我们几乎是从小白鼠开始,一路升级。

  • hash 结构的 hgetall 性能 Bug, 已修复

  • 全量离线分析不可用 Bug , 已修复

  • Cpu 100% 的监控问题 ,已修复

  • 数据每天的冷备份 backup 操作会对性能有比较大的影响,预计会将 backup 操作迁移到从库执行,已修复

  • zset 的 zrange 性能慢,用 zscan 可以避免这个问题

  • lrem 在 list 当 mq 使用的场景存在严重的性能问题

  • spop 会随着 count 数、set 总数增加线性增加

也给阿里云提了很多需求(下面所列只是冰山一角),这里非常感谢阿里云的支持,协助整个项目落地。

  • Dataworks 支持写入数据到非集群部署模式的 Redis 实例,也就是支持 Redis ESSD 实例

  • Redis ESSD 实例监控指标优化

  • ESSD 云盘 IO 瓶颈导致的性能尖刺问题,会限制批量刷盘时的写入速度(9 月中旬)已上线,需要升级小版本到 2.4.2.2

  • Redis ESSD 目前指令验证这块比较繁琐麻烦,后面能不能在 Redis ESSD 文档里加上每个指令的算法复杂度,或者本身性能很糟糕的指令单独标出来。给选型做参考

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

优化工具

在 Redis 成本优化项目落地过程中,我们沉淀了一套辅助项目落地的 Redis 成本优化工具,这些工具缺一不可,发挥了重要的作用。

  • Redis 工具集已开源:https://github.com/taptap/redis-tools

Redis 流量复制 & 流量等比放大

在【迁移到兼容 Redis 协议的磁盘存储项目】、【压缩 value】项目中,都需要用到 Redis 流量复制工具。该工具实现了如下功能:

  1. 支持只复制原实例指令输出到控制台,或复制流量回放到指定目标实例

  2. 支持只复制读流量、只复制写流量、读写流量一起复制

  3. 支持流量等比放大回放

  4. 支持原实例是集群模式时(集群模式 mget 订阅到的是单 key,不符合真实业务 mget),指定 mget keys 大小发送到目标实例,且支持比例设置,比如 10% mget 的 keys=100, 40% mget 的 keys=30

Redis 数据在线压缩 & 解压缩

这个工具主要用在【压缩 value】项目中,用于验证不同的压缩算法的压缩性能、解压缩性能、压缩率等。

实现了如下功能:

  1. 支持指定压缩算法 gzip、zstd,进行压缩性能、解压缩性能、压缩率等的计算

  2. 支持复制线上流量进行压缩或解压缩

  3. 支持跑存量的数据进行压缩或解压缩

Redis 数据定向清理 & 定向指定 TTL

这个工具主要用于【清理历史数据】、【合理设置 TTL】等项目,主要实现了如下功能:

  1. 支持指定 key 前缀删除数据

  2. 支持指定 key 前缀设置 TTL

  3. 支持 dryrun 模式,只输出操作的日志,实际上不进行删除或 TTL 设置。

  4. 支持指定 key 的 MaxIdleTime 进行删除或 TTL 设置

Redis 扫描分析 Key 最后访问时间

这个工具主要用于【清理历史数据】、【合理设置 TTL】等项目,主要实现了如下功能:

  1. 支持扫描所有的 key ,打印 idelTime , 通过统计分析得到 key 的访问时间分布

Redis 磁盘型实例指标采集

通过阿里云的 OpenAPI ,采集获取到 Redis ESSD(Tair) 实例列表,然后通过 info 指令拿到实例运行时关键信息,通过解析 info 拿到关键指标,实现了:

  1. 指令级的 QPS 、RT 、带宽等数据观测

  2. RocksDB 底层的 Compactions、Flush 等事件数据观测

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

优化总结

工欲善其事必先利其器,在这次 Redis 优化项目中,我们通过前期对优化工具的研发和准备,以及系统化的优化措施的实施,成功降低了 Redis 的运行成本,提高了资源利用效率,并且保证了线上系统的稳定性。

整个过程中,我们实现了在不中断服务的情况下进行优化,达到了零故障的目标。

Reference

https://my.oschina.net/klblog/blog/11572308


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

23fda5d51547b19489cf1d90f5ceab9d.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

81dc616352a8b8f887eeba8613548a8b.png

d3228bbdd5bb9d6687b4234707869c6d.pngab6a6e1f5aa1a6f943537983e42ad4de.pngd34870d57bfa57d171de00004391c4f9.png6d7b2a206d18b429882383b07f1a13b0.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
【 ‌infrastructure】【数据中心】【AI infra】第十篇 智能计算数据中心解决方案集成测试和交付知识体系01 编号类型领域模块子模块学科知识点及详细数学建模与数值设计(推导/边界/示例)关联知识、标准、法律法规、论文、工业实践1.1架构智算集成总体拓扑业务/管理/数据/参数面分离系统架构、队列论、网络流四平面隔离:业务面带宽B_b、数据面B_d(对象/数仓ETL)、参数面B_p(NCCL AllReduce)、管理面B_m(Prometheus/API)。总成本C=Σ(N_server·C_s+N_sw·C_sw+N_dpu·C_dpu)+C_power;约束B_p≥模型梯度量G/t_step。示例:千卡A100、 阅读详情

相关推荐

【信息科学与工程学】计算机科学与自动化——第三百零五篇 数据中心 Scale-Up、Scale-Out、Scale-Across 100

密码法》《商用密码管理条例》《网络安全法》《数据安全法》《国家政务信息化项目建设管理办法》;《网络安全法》《数据安全法》《个人信息保护法》《反恐怖主义法》《反有组织犯罪法》;反洗钱可疑交易规则判定。《个人信息保护法》《网络安全法》《数据安全法》《反不正当竞争法》《生成式人工智能服务管理暂行办法》;《中国共产党纪律处分条例》《党内监督条例》《巡视工作条例》《审计法》《公职人员政务处分法》《反腐败/反有组织犯罪相关》《档案法》《电子签名法》《会计法》(原始凭证数字化要求)、《网络安全法》;

weixin_49199313的博客 499

Redis5.0:这些场景下使用,高效率还降低成本!

很多大型电商网站、视频直播和游戏应用等,存在大规模数据访问,对数据查询效率要求高,且数据结构简单,不涉及太多关联查询。 这种场景使用Redis,在速度上对传统磁盘数据库有很大优势,能够有效减少数据库磁盘IO,提高数据查询效率,减轻管理维护工作量,降低数据库存储成本。华为云分布式缓存Redis5.0对传统磁盘数据库是一个重要的补充,成为了互联网应用,尤其是支持高并发访问的互联网应用必不可少的基础服...

hcinfo_18的博客 900

MTK Tunning ISP 模块面试总结

ISP面试问答

m0_72053187的博客 4541

HY-MT1.5-1.8B降本部署案例:边缘计算场景下GPU费用省60%

本文介绍了如何在星图GPU平台上自动化部署HY-MT1.5-1.8B镜像,实现低延迟、高精度的边缘端机器翻译。该轻量级混元翻译模型专为智能硬件场景优化,可部署于展会同传盒子、跨境物流扫码枪等终端设备,显著降低GPU成本并保障数据隐私与实时响应。

weixin_33773084的博客 655

[AbutionGraph] 报表制作-使用Grafana动态可视化知识图谱指标

使用开源报表可视化工具Grafana实时监控时序知识图谱数据仓库AbutionGraph中的数据,实时性报表查询, 满足单次百万千万级的数据查询,毫秒级查询延迟,亚秒级对千亿数据量汇总统计,每日过亿报表查询/多维分析/日志分析等数据指标...

图特摩斯科技-博客 4281

别再只会用Excel了!Minitab 21手把手教你搞定SPC控制图(从数据导入到结果解读)

本文详细介绍了如何使用Minitab 21高效制作SPC控制图,从数据导入到结果解读的全流程。通过对比Excel的局限性,展示Minitab在自动化计算、图表标准化和特殊原因检验等方面的优势,帮助质量管理人员提升工作效率和数据分析专业性。

weixin_30878501的博客 388

AI网关成本优化实战:Java网关五大降本手段解析

在AI工程化落地后,网关作为所有请求的必经之路,成为成本与性能汇聚的十字路口。大模型API调用费用、超长上下文token消耗、无效请求和重试风暴,往往让账单和系统资源双双失控。而网关自身的连接池配置、JSON序列化、健康检查等隐性开销,也会在高峰期拖垮延迟和吞吐。要解决这些问题,需要从成本拆解出发,通过语义缓存打掉重复请求、批量聚合降低调用次数、模型路由将低难度任务分流至轻量模型、协议瘦身减少传输开销,以及重试限流设置成本护栏。这些手段不仅适用于Java技术栈,也适用于任何基于HTTP的AI网关架构。本文从

weixin_34195364的博客 378

STM32新手必看:AHT20温湿度传感器实战指南(附完整I2C代码)

本文详细介绍了如何使用STM32驱动AHT20温湿度传感器,包括硬件连接、I2C通信协议解析、驱动代码优化及实战调试技巧。通过对比AHT20与DHT11、SHT30等传感器的性能,突出AHT20的高性价比优势,并提供完整的I2C代码示例,帮助新手快速上手嵌入式传感器开发。

weixin_29163857的博客 293

电商AI客服首响30秒实战:锁单而非降本

电商AI客服的核心不是通用对话能力,而是围绕用户下单临界点构建的即时响应闭环。其底层逻辑在于:用户咨询首条消息发出后的60秒内,是心理账户中唯一的‘决策缓冲期’;此时若无法交付确定性答案(如有无货、能否发顺丰),转化率将断崖式下跌。技术瓶颈往往不在大模型推理,而在上下文加载、状态机初始化等非AI环节。通过会话预热、意图路由、轻量状态机与分段响应四层架构改造,可将首响P95压至30秒内,并显著提升加购率与下单转化。本文聚焦电商场景下AI客服的‘首响质量’——即意图匹配度、信息确定性与行动引导力三位一体的工程实

weixin_29046035的博客 258

linux驱动由浅入深系列:块设备驱动之一(高通eMMC分区实例)

linux驱动由浅入深系列:块设备驱动之一(高通eMMC分区实例)linux驱动由浅入深系列:块设备驱动之二(块设备驱动结构分析)块设备驱动的模型还是基本基于字符设备驱动的,可以简单理解为块设备仅仅增加了操作缓冲区,对用户请求顺序进行队列重拍等等。字符设备驱动的相关分析可以查看本博客相关的博文。 按照本博客的行文习惯,在具体分析块设备驱动代码之前,我们会从整体上了解一下研究对象的特征,以及用户空间...

Radia的专栏 1万+

大数据领域数据产品的团队激励与绩效管理

在大数据领域,数据产品的成功离不开高效协作的团队。团队激励与绩效管理的目的在于激发团队成员的工作热情和创造力,提高工作效率和质量,确保数据产品能够按时、高质量地交付。本文章的范围涵盖了大数据领域数据产品团队激励与绩效管理的各个方面,包括激励机制的设计、绩效评估的方法、团队沟通与协作等。本文将按照以下结构进行阐述:首先介绍核心概念与联系,明确相关概念的定义和相互关系;接着讲解核心算法原理和具体操作步骤,为团队激励与绩效管理提供理论支持和实践指导;然后分析数学模型和公式,帮助读者深入理解绩效评估的原理;

Java大师兄的博客 1018

开源下载工具Aria被诈骗份子使用,开发者无奈清空代码仓库

开源下载工具 Aria 开发者昨日删除了该项目在 GitHub 仓库中的全部源代码。Aria 开发者写道:“因 Aria 被诈骗分子使用,导致我被跨省,因此本项目源码永久删除。”Aria 是一个高性能、轻量级、易于使用的文件下载框架,主要应用于 Android 平台,目前在 GitHub 上有超过 5600 个 Star。Aria 提供了丰富的 API,让用户可以方便地管理下载任务,包括添加、暂停...

dotNET跨平台 339

PDD psnl_verification anti_content 生成顺序与环境校验说明

K不是明文 URL,而是从当前href再派生出来的一小段摘要值。页面 URL 变,K会跟着变但K不是直接肉眼可读的 URL 字串可以把它理解成“URL 的短摘要字段”。这一步是最容易被误解的地方。它吃进去的是压缩后的中间串不是直接吃环境字段它内部还带有长度预算 / 字符映射 / 位置处理逻辑所以最终看到的环境字段 bytes协议头deflate 压缩自定义编码多层叠加后的结果。先把字段总包做再把压缩结果转成raw再拼fTail最后走做字符级输出因此,当前看到的协议字段流。

码王吴彦祖的博客 70

Dify 企业级实验(05):Token 成本控制——AI 应用省钱改造怎么做?

《AI应用省钱改造:从每月千万Token到降本46%的实战方案》 摘要:本文针对企业AI应用高成本问题,提出了一套基于Dify的Token成本控制方案。通过实际客服问答场景分析(月消耗千万级Token),揭示核心痛点在于"用错工具":情感分析和意图识别等简单任务误用LLM。方案采用"逐节点审计+结构化替代"策略,将3次LLM调用压缩为1次:情感分析改用关键词规则(0 Token)、意图识别使用问题分类器(仅零头成本),仅回答生成保留LLM。改造后不仅单次调用Token消耗降低46%(2.8万→1.5万),还

xluge的博客 1069

AI翻译工具自动翻译日语视频生成srt中文字幕,支持离线轻松生成任意日语视频字幕!可选择支持显卡模式和cpu模式低显存也能用

【AI离线字幕神器:日语视频一键转中文字幕】推荐一款基于Faster-Whisper的本地化字幕工具,可离线生成日语视频的中文字幕(.srt格式),支持CPU/GPU加速处理。实测1小时视频最快4-5分钟完成翻译,无需联网保护隐私。操作简单只需拖拽文件,支持批量处理音频(mp3/wav)和视频(mp4/mkv)文件,还能自定义输出格式和参数调整。特别适合需要观看无字幕日语资料的用户,堪称技术宅必备神器。下载地址附后,包含详细使用教程和参数配置说明。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1万+

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

微软旗下开源.NET框架Mono正式“易主”——由负责“Windows应用兼容层”的Wine接手...

根据 Mono 官网的最新公告,该项目已被移交给 WineHQ 组织,后者是负责管理开源项目 Wine 的团队。Wine (“Wine Is Not an Emulator” 的首字母缩写)是一个能够在多种 POSIX-compliant 操作系统(诸如 Linux,macOS 及 BSD 等)上运行 Windows 应用的兼容层。它不是像虚拟机或者模拟器一样模仿内部的 Windows 逻辑,而是...

dotNET跨平台 397

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

手把手教你本地运行Meta最新大模型:Llama 3.1,惊奇发现他说自己是ChatGPT?

昨晚,Meta发布了最新最强的开源大模型:Llama 3.1。该模型共有三个版本:•8B•70B•405B对于这次发布,Meta已经在超过150个涵盖广泛语言范围的基准数据集上评估了性能。此外,Meta还进行了广泛的人工评估,在现实场景中将Llama 3.1与竞争模型进行比较。Meta的实验评估表明:405B版本的评估数据与目前最强的GPT-4、GPT-4o和Claude 3.5 Sonne...

程序猿DD 678

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

IntelliJ IDEA 2024.2 发布:Spring Data JPA即时查询、自动补全cron表达式

今早看到,IntelliJ IDEA 2024.2 发布的邮件提示,看了一眼这个版本更新的新特性真的太适合我了!也许这些能力对关注DD的小伙伴也有帮助,所以搞篇博客介绍和推荐一下。下面就来一起看看这个版本中推出的几个强大新特性。Spring Data JPA 的即时查询在2024.2 Ultimate版本中,对 Spring Data JPA 的支持做了增强。新功能允许您在不运行应用程序和分析日志...

程序猿DD 959

美国国防部建议将C代码转换为Rust——而且是用AI

为了加快向内存安全编程语言的过渡,美国国防部高级研究计划局(DARPA)正在推动程序代码转换工具 TRACTOR 的开发。TRACTOR 是 TRanslating All C TO Rust 的缩写,该项目旨在开发机器学习工具,自动将旧 C 代码转换为 Rust 代码。DARPA 表示希望能够通过 AI 模型推动编程语言的转换,从而使软件更加安全。TRACTOR 的 DARPA 项目经理 Dan...

dotNET跨平台 326

2025最实用商用LLM成本指南:从免费到企业级的API计费全解析

你是否还在为选择合适的大语言模型(LLM)服务而头疼?担心调用成本超出预算?本文将为你详细解析GitHub加速计划[open-llms](https://link.gitcode.com/i/97a98e48864c8da133870af9e67f09c3)项目中各类商用开源LLM的服务计费标准,帮助你根据业务需求选择最经济高效的解决方案。读完本文,你将清晰了解不同模型的授权类型、适用场景及潜在成...

gitblog_00335的博客 2004

智慧养老系统开发:SpringBoot+Vue实战解析

现代Web开发中,前后端分离架构已成为主流技术方案。SpringBoot作为Java生态的微服务框架,通过自动配置和起步依赖显著提升开发效率;Vue.js则以其响应式特性和组合式API在前端领域广受欢迎。当这两种技术栈结合物联网设备数据采集时,可构建出高性能的智能监护系统。在养老健康领域,此类系统通过WebSocket实时通信、MyBatis动态SQL等技术实现异常行为预警和健康数据分析,能有效降低30%人工巡检工作量。本文详解的智慧养老平台正是典型应用案例,其采用的Redis缓存优化、ECharts数据可

weixin_42533622的博客 276

DeepSeek 的架构思维与java架构的思考

‌:DeepSeek 的架构思维以“性能-效率-成本”三角平衡为核心,通过 MoE、MLA 等底层创新重构技术范式,同时依托量化金融背景的算力优势与工程化能力,推动 AI 技术从实验室走向规模化落地。这种“技术理想主义”与“商业现实主义”的结合,使其成为国产大模型突围的标杆‌,

慧香一格的专栏 1295

数据分析驱动员工福利集采优化:Python与SQL实战方案

数据分析作为企业数字化转型的核心技术,通过系统性的数据采集、处理和分析方法,帮助企业从海量业务数据中提取有价值的信息。其基本原理涉及数据建模、算法应用和可视化展示,能够为企业决策提供科学依据。在员工福利管理领域,数据分析技术可以显著提升资源利用效率,通过Python数据分析和SQL查询实现对福利使用模式、成本结构和供应商绩效的深度挖掘。具体应用场景包括员工行为聚类分析、福利项目效果评估和供应商绩效优化,帮助企业建立数据驱动的福利集采体系,实现降本增效的目标。本文基于Python实战代码和SQL数据模型,详细

weixin_34384557的博客 396

XERJ 视角下的 AI 工作负载数据库要求(2025–2026):延迟、混合检索、索引与 Agent 记忆的 75 条生产实践基线

AI 工作负载正在改写数据库的验收标准:从单纯存储引擎升级为兼具向量检索、混合检索、实时索引、多租户隔离与 Agent 记忆能力的"知识运行时"。本文基于开源仓库 xerj 收集的 75 条行业数据点(2025–2026),系统梳理生产级 RAG 与 Agentic AI 系统对底层搜索引擎的延迟、召回、索引、嵌入、安全与数据新鲜度要求,并对照 xerj 源码中的混合融合、HNSW、量化与 ONN

gitblog_00803的博客 478

2026年AI大模型API价格战:DeepSeek涨价与GPT-5.6降价80%背后的开发者生存实录

2026年的AI大模型API价格战标志着行业进入成熟期。DeepSeek涨价反映了高质量推理的真实成本,而OpenAI降价则体现了规模化效应的威力。立即实施多模型路由:不要绑定单一供应商,建立智能路由机制优化token使用:合理设计prompt,减少不必要的token消耗建立缓存层:对重复性请求实施缓存,可节省30-50%的API成本关注开源模型:Qwen3-Max等开源模型已接近闭源模型质量,成本优势明显监控价格变化:建立价格监控机制,及时调整模型选择策略。

热爱技术与前沿创新,深耕科技领域,在科创中精进自我;探索技术乐趣,分享技术干货与成长心得,以技术为伴,热爱生活,在科创与生活中双向成长。 800
上一篇: 推荐几个适合Java开发者的免费IDEA插件
下一篇: 能在一家不到 20 人的 IT 公司呆下去,靠的是一份迷茫!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值