【杂谈】关于数据和模型,初学者极容易忽视的两个问题!

AI 应用开发 × 算法面试题:业务场景实战 12 题【TopK、LRU、RRF 融合、相似度、限流算法,含手撕代码与底层答案】 本文聚焦AI应用岗算法面试新趋势,剖析12道融合业务场景的高频题:从海量日志中挖掘慢查询(分治+小顶堆)、亿级去重(布隆过滤器)、向量与关键词融合排序(RRF)、语义缓存设计(带租户隔离与TTL的LRU)到限流策略(令牌桶+滑动窗口),强调“场景复述→算法选型→手撕代码→生产落地”四步答题框架。突出考察点已从纯算法转向工程权衡、业务理解与系统设计能力,如误判容忍度、实时性与内存预算的平衡,助力开发者应对2026年真实技术挑战。 阅读详情

6b8d3f1a9b2653bad242a8e9a750e96f.png

说起深度学习与CNN,想必大家很熟悉;说起计算机视觉中的目标检测等各个方向,相比大家平时也接触过不少东西了;不过有两个小的方向,虽然相关的论文、项目、甚至研究方法都不多,却是做研究与实际项目落地中非常重要的技术,那就是对数据使用方法的掌握与模型的理解,这是容易被大家忽视的问题,下面我们简单说道说道。

关于数据你应该知道

大数据本来就是一个专门的学科,不过我们这里说的不是专指大数据,而是指在深度学习项目中数据的使用,至少有好几个方向有非常多的内容值得掌握。

数据的获取

数据是深度学习系统的粮食,当前的大部分工业落地模型,都依赖于大量数据进行学习,所以获取是第一步!如果没有超越百万级图片数量的ImageNet数据集的整理提出,深度学习计算机视觉算法的落地进程肯定会被推迟!

e336aa35ccc18839e7f563061a905fbc.png

那ImageNet数据集从何而来!靠的就是数据爬虫和在线的众筹标注平台!其实大部分图片开源数据集都是依靠数据爬虫获取然后进行整理的,所以爬虫是你必须掌握的。

数据的整理与标注

随着各类基础算法的成熟,决定模型能否上线的关键,很大程度上取决于数据的质量以及数据是否被正确地使用!你和大厂差的往往并不是算法的先进性,而是数据的多少与使用方法!拿到数据之后怎么用,绝对是一个必须要好好思考的问题。举一个简单的例子,数据的来源是很广泛的,不同类型数据的难度不一样,我们在公开数据集中经常会看到hard,medium,easy这样的分级,而在我们的项目中,也是经常需要这样去进行分级的,不同类型的数据其实不能简单地就混在一起使用,这个问题你有好好想过吗?有真的去做了吗?

166d9a7be72c3a503faf70816bdf3d8d.png

没有算法能取得百分之百的精度,我们往往是用简单的数据先进行方案认证,中等难度的数据精度作为上线标准,而高难度的数据作为后续的技术攻关,不能因为无法解决一些超级难的案例而否定模型,数据的整理与使用绝对是非常需要工程经验的。

另外一方面,数据的标注虽然不算是高技术壁垒的活儿,但如何提高效率,显然也是值得重视的,相关的行业,可并不小!国内有很多的数据标注基地和公司,比如百度山西数据标注基地。

7d8f118d226db47c3110e37041482c7f.png

自动化的标注工具与平台,也是一个非常重要的小方向,像NVIDIA和百度这样的大公司,就从事相关的研究。

588207f288eb76c7a2761ca8d97e36c1.gif

数据增强使用

数据增强方法的重要性,我想已经无须再做过多的介绍了,因为做过算法落地、打过竞赛的朋友一定深有体会!同样的模型,因为数据使用方法的不同,精度可能天差地别;数据增强做得好,100张图片也能浪;数据增强做不好,模型妥妥的过拟合;数据增强没选对方法,模型上线肯定出问题。

dfe1717459327dcb501eb9816e99c863.png

数据增强方法众多,从有监督到无监督,从单样本到多样本,从基于规则到自动化,是一个需要系统性掌握的领域。

再回过头来看,你对数据的掌握,有多么熟练呢,平时做相关的工作时,花了多少心思重视数据相关的使用技巧呢?

如果觉得有所缺失,我们平台推出了《深度学习之数据使用》的课程,主讲老师为言有三,目标是帮助大家掌握好深度学习中的数据使用,课程价格只有99,顶一顿火锅。

本课程内容包括数据的获取,数据的整理,数据的标注,数据增强,数据的分析等领域,覆盖了深度学习中数据使用的各个方向,大纲如下:

1bf3d5411706a1c18990aad004038ad1.png

详细的课程内容介绍,请点击下图跳至阅读:

21707beaafe852d65c791e7149ad3f93.png

关于理解模型你应该知道

深度学习模型使用的门槛虽然低,但模型参数多,网络结构复杂,模型结构的设计以及训练过程中超参数的调试,都非常依赖于经验。结果不好,是数据的问题还是模型的问题,往往分析起来比较困难。如果是数据问题,那到底是什么问题?如果只凭经验,没有很科学的分析工具,仍然会有盲人摸象的感觉。

提起模型,我们不能仅仅知道模型的名字和大小,那太粗浅了,先了解它,才能用好它!对模型进行相关的分析是非常重要的,至少有几个方向需要掌握。

可视化分析

模型结构的可视化是基本操作、我们不可能只依靠代码去想象模型的拓扑结构,各个网络层的连接方式与参数细节配置,需要能够随时进行可视化,这样方便我们了解模型调整时的变化。

f29b70e043a0ab2d4731c144433375fb.png

模型的权重以及所学习到的特征,对于了解模型的内在是必备技术。这样我们就能知道模型到底学习到了什么特征,是不是我们期望的特征,从而不再仅仅将模型当作是一个黑盒子来使用。

080435bd22adb033e64be46828ff196f.png

复杂度分析

深度学习模型很复杂,那到底有多复杂,用什么指标来衡量,怎么计算,有什么工具可以使用呢?

d3c3cbe7c6ae6982a53f7a1d5b9d1b01.png

怎么更精确地统计模型的速度,怎么分析模型的速度瓶颈在哪个地方从而进行后续的优化,对优化模型来说,这都是需要考虑的问题!这些你存储了多少相关的技能呢?

如果觉得有所缺失,我们平台推出了《深度学习之模型分析》的课程,主讲老师为言有三,目标是帮助大家掌握好深度学习模型分析的常用方法。课程价格只有99,顶一顿火锅。

本课程包括模型分析的几个重要方向的理论与实践(基于Pytorch),大纲如下:

4f137b54d21eb24c213d61a4758d55d1.png

详细的课程内容介绍,请点击下图跳至阅读:

fa4392f500eba8d897bda01f29e3a08e.png

尾记

万丈高楼平地起,虽然现在的信息非常繁杂,我们平时在工作和学习过程中面临着各种快速出结果的KPI,但是磨刀不误砍柴工,只有基础扎实,才能游刃有余!我们一直强调大家要系统性地掌握好知识,而不是练快刀,因为走捷径式的领先,终将后继乏力!

以上的两门课程目前加起来一共6个多小时,属于我们平台最基础最便宜的课程,在目前的每一个CV季划大专栏中都会配置,就是希望大家无论做什么方向,都要掌握好这两项基本技术。

其他相关的基础课程,大家还可以关注CV基础合集,包括《深度学习之图像分类-理论实践篇》,《深度学习之目标检测-理论实践篇》,《深度学习之图像分割-理论实践篇》,共计50余小时,深度和宽度,都足够让大家修炼好内功了。

详细的课程内容介绍,请点击下图跳至阅读:

990f2cf82068365f925822de9e6fec78.png

0383498ab742735ec12117ae0b5cde1c.png

转载文章请后台联系

侵权必究

a5a7077afa20bca65304a9b265d3c06c.gif

1f01a8c336841c3c9ac226c010d4a1d3.png

2cbea9fefb78675c116ce7b02fa9aa78.png

往期精选

LangChain4j 开发 市场上主流的 Java 调用大模型的工具库有两种:LangChain4j 是一个 面向 Java 的开源框架,用于构建 基于大语言模型(LLMs) 的应用程序。它是 LangChain(Python 生态中非常流行的 LLM 应用框架)的 Java 实现,旨在让 Java 开发者能够轻松地集成和使用各种 LLM 服务,快速开发 智能聊天机器人、智能搜索、文档问答、Agent系统 等 AI 驱动的应用。官网文档:https://docs.langchain4j.dev/。引入依赖(JDK17 及以上): 构建 阅读详情

相关推荐

用SimaPro做碳足迹分析:手把手教你完成产品生命周期评估报告

本文详细介绍了如何使用SimaPro进行碳足迹分析,从软件安装到生命周期评估报告的完整流程。通过实战案例演示,帮助制造业企业、咨询机构和科研团队掌握产品生命周期评估(LCA)的核心技术,精准识别环境热点并优化决策,为可持续发展转型提供科学依据。

yhn45678901的博客 717

可能是世上最强的AI算法可视化神器!

点击左上方蓝字关注我们仅凭数行代码,算法工程师从此不再996?迅速疯传全网,Star疯涨接近4K?今天小编吐血推荐的超强AI算法可视化神器 -- VisualDL!相比其他可视化工具,Vi...

PaddlePaddle 1524

Java服务端实现Google Pay支付功能

全网最全代码、最清晰服务端处理Google Pay,最清晰讲解Google Pay集成逻辑。

jack2350536098的博客 1万+

初学者必看!OJ平台上那些“看似正确却死活过不去”的常见错误全解析

相信很多刚接触 OJ(Online Judge,在线判题系统)的同学都有过这样的困惑: 代码在自己电脑上跑得好好的,一提交就 Compile Error(编译错误); 或者明明输出看起来和样例一模一样,却被判 WA(Wrong Answer); 最诡异的是:部分测试点过了,另一部分却挂了,还不知道错在哪…… 本文将结合洛谷和牛客两大主流平台,系统梳理 OJ 中最常出现的错误类型帮助你快速定位并解决这些问题

dongaoran的博客 2419

【AAAI 2025】轻量级特征增强新范式!FCM 模块助力小目标检测,即插即用提升模型泛化能力

本文介绍了AAAI 2025提出的轻量级特征增强新范式FCM模块,它通过显式分离并双向交互语义与空间特征,有效解决了小目标检测中特征信息失配的核心难题。该模块设计精巧,计算开销极低,能够即插即用式地嵌入YOLO等主流检测网络,显著提升模型对小目标的泛化检测能力,尤其适用于遥感、自动驾驶等对计算资源敏感的实际场景。

weixin_29056145的博客 291

告别水印!Vue3项目集成Stimulsoft.Reports.js完整配置与激活指南

本文详细介绍了如何在Vue3项目中集成Stimulsoft.Reports.js,提供从授权策略到性能优化的完整解决方案。通过模块化架构设计和现代化引入方式,帮助开发者高效实现专业级报表功能,同时避免版权风险和水印问题,特别适合中小型项目需求。

weixin_33701294的博客 433

哪里可以查java api,java杂谈之 如何正确,快速地查询Java API手册?

转载请说明出处,谢谢!对于程序小白们,你们真的会查询Java API手册吗?不会的话,请仔细阅读下面的,这样的细节也很少有人注意到,绝对会让您们受益非浅。eclipse界面截图Java API手册这些都是显而易见,却被忽略掉的,平常培训老师也不会强调,所以大家也基本上不会自己去深沉次的思考。这也是我在培训的时候发现,对于很多初学者来学,基本上都不会的技能。大部门开发者都会eclipse,也都知道A...

weixin_29117669的博客 347

【基础-单选】Row组件中有两个Text组件,如果使用justifyContent对齐方式,下面哪个属性可以实现左右两端对齐:

Row组件中有两个Text组件,如果使用justifyContent对齐方式,下面哪个属性可以实现左右两端对齐

江拥羡橙的博客 1305

做Data Mining,其实大部分时间都花在清洗数据

做Data Mining,其实大部分时间都花在清洗数据 很多初学的朋友对大数据挖掘第一直观的印象,都只是业务模型,以及组成模型背后的各种算法原理。往往忽视了整个业务场景建模过程中,看似最普通,却又最精髓的特征数据清洗。可谓是平平无奇,却又一掌定乾坤,稍有闪失,足以功亏一篑。 ...

斧王,不能再斩杀了吗的博客 224

Qt 国产嵌入式操作系统实现文字转语音功能(ekho库)

Qt 国产嵌入式操作系统实现文字转语音功能(TTS)_tts驱动 转文字-优快云博客在继上篇文章之后,甲方粑粑不满意使用eSpeak发出的声音太难听了,这就不得不找个替代品,声音稍微好听了一些。使用ekho开源库。Ekho(余音)是一个免费、开源的中文语音合成软件。它目前支持粤语、普通话(国语)、诏安客语、藏语、雅言(中国古代通用语)和韩语(试验中),英文则通过Festival间接实现。Ekho支持Linux、Windows和Android平台。

希望能帮助大家,希望大家多多支持,你们的支持是我前进的动力。 2757

【JAVA】海康威视门禁机ISAPI接口开发,人脸上传更新接口

本文实现了一个HTTP工具类HTTPClientUtil,提供GET/POST/PUT/DELETE请求方法,支持摘要认证。工具类封装了Apache HttpClient,设置连接超时、最大连接数等参数,通过DeviceInfoDTO传递设备IP、端口和认证信息。文中还展示了两个应用示例:userInfoAdd()用于添加人员信息,FaceDataRecordAdd()用于添加人脸数据,均通过POST请求与设备ISAPI接口交互。该工具类简化了HTTP请求处理,支持设备管理系统的集成开发。

qq_27246521的博客 591

【杂谈】怎么使用有三AI完成系统性学习并赚钱

最近遇到了很多新朋友感慨说,怎么才遇到你们,相见恨晚啊,走了好多弯路,一言难尽都是泪。哈哈,别的也不多说了,佛系有三只能说一句,在这个茫茫人海和信息淹没的世界里,有缘千里...

hacker_long的专栏 750

光学测量仿真软件:Zygo_(12).Zygo软件的用户界面与操作指南

Zygo软件支持用户自定义工具和插件,以扩展软件的功能和适应特定的仿真需求。编写脚本使用Python或其他支持的脚本语言编写自定义工具的脚本。例如,编写一个脚本来计算光束的衍射效率。# 示例脚本:计算光束的衍射效率 import zygo # 导入Zygo软件的API def calculate_diffraction_efficiency(wavelength , grating_period , angle) : """计算光束的衍射效率:param wavelength: 光源波长(单位:米)

kkchenjj的博客 1672

电脑基础c语言,C语言经验: 如何从零基础学习C语言?

C语言是面向过程的,而C ++是面向对象的C和C ++之间的区别:C是一种结构化语言,其重点是算法和数据结构. 在C程序设计中,首先要考虑的是如何通过过程来处理输入(或环境条件)以获得输出(或实现过程(事务)控制).C ++,首先要考虑的是如何构建对象模型,以使该模型适合相应的问题领域,从而可以通过获取对象的状态信息来获得输出或实现过程(事务)控制. 因此,C和C ++之间最大的区别在于它们解决问...

weixin_30444517的博客 886

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

git怎么读_【杂谈】怎么使用有三AI完成系统性学习并赚钱

最近遇到了很多新朋友感慨说,怎么才遇到你们,相见恨晚啊,走了好多弯路,一言难尽都是泪。哈哈,别的也不多说了,佛系有三只能说一句,在这个茫茫人海和信息淹没的世界里,有缘千里来相会,无缘对面不相逢。如果是正确的人,遇到了有三AI平台你多半不会失望,有三AI不一定多么优秀,但一定足够独特,不接广告,只做原创,不跟热点,就是要做最好的AI学习平台,今天就来谈谈如何利用好我们平台进行学习,并且赚到钱。文/编...

weixin_39763640的博客 112

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

结构体数组 java_结构体数组java 中几种常用数据结构 Java中有几种常用

java 中几种常用数据结构Java中有几种常用的数据结构,主要分为Collection和map两个主要接口(接口只提供方法,并不提供实现),而程序中最终使用的数据结构是继承自这些接口的数据结构类。一、几个常用类的区别1.ArrayList: 元素单个,效率高,多用于查询2.Vector: 元素单个,线程安全,多用于查询3.LinkedList:元素单个,多用于插入和删除4.HashMap: 元素...

weixin_33474462的博客 998

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

从零构建角色扮演对话机器人:基于大模型API的本地部署实战

大语言模型(LLM)作为人工智能的核心技术,已广泛应用于各类对话系统。角色扮演对话机器人则是其中颇具趣味与实用价值的分支,其本质是通过精心设计的系统提示词(System Prompt)约束模型的性格、语气与行为边界,从而塑造出稳定的人设。理解提示词工程与多轮上下文管理,是打造高质量虚拟角色的关键。这类技术不仅能用于情感陪伴,还可迁移至智能客服、教育辅导、游戏NPC等场景。本文基于OpenAI兼容接口,以“JK小雾”天使人设为例,从环境配置、人设Prompt编写、上下文滑动窗口到完整代码实现,带你在本地搭建一

weixin_34060741的博客 464

推荐 | 一年写了320篇原创,70万+的AI原创公众号

微信公众号推荐作者/编辑 言有三今天给大家推荐一个微信公众号《有三AI》,堪称AI方向,尤其是计算机视觉方向的干货集中营,内容非常的丰富,已经原创发表300多篇高质量文章...

Oner.wv的专栏 952

推荐一位大佬 | 一年写了320篇原创,70万+的AI原创公众号

微信公众号推荐作者/编辑 言有三今天给大家推荐一个微信公众号《有三AI》,堪称AI方向,尤其是计算机视觉方向的干货集中营,内容非常的丰富,已经原创发表300多篇高质量文章...

算法channel 598

Octop:轻量级Python可复现性验证工具

可复现性是科研与工程交付的核心挑战,其本质在于确保代码在不同环境、时间、机器上输出一致结果。传统依赖管理(如pip freeze)仅记录包版本,无法约束Python解释器版本、输入数据完整性及输出语义一致性。Octop通过声明式YAML契约,实现执行前的Python版本校验、输入文件SHA256哈希验证,以及输出JSON/Numpy结构化比对(支持浮点容差与字段级校验),将‘能跑’升级为‘可验证’。它不替代pip或conda,而是补全从开发到交付的关键信任链,适用于学术论文复现、客户脚本交付与CI自动化验证

weixin_28829629的博客 298

FPGA基带与中频算法实现:从DDC到同步的工程实战指南

数字信号处理在现代通信系统中无处不在,而FPGA凭借其并行计算架构,成为实现基带与中频算法的核心器件。基带和中频处理链路包含数字变频、滤波器组、同步环路等关键模块,它们的数据吞吐率极高,对实时性要求严苛,FPGA的硬件逻辑恰好能提供多路并行乘加运算能力,从而满足这类处理需求。在工程实践中,算法落地往往面临定点化精度、时序收敛、跨时钟域等问题,需结合具体场景进行设计权衡。从数字下变频DDC、数字上变频DUC到匹配滤波、Gardner位同步与Costas环载波同步,这些基础算法构成了软件无线电、雷达、5G基站等

weixin_34343308的博客 445

【算法拾光】队列|在每个树⾏中找最⼤值 + 最后⼀块⽯头的重量

本文总结两道经典算法题:一是通过层序遍历(BFS)逐层找最大值,利用队列分层处理,每层维护最大值;二是用大根堆(优先队列)模拟石头碰撞过程,每次取最大两块石头,差值重新入堆,直至剩余一块或无石。前者适用于树的层次遍历,后者适合动态获取最值场景。核心思想:队列用于分层遍历,堆用于高效取极值。

wuqingyigexiaoba的博客 194

把 KV Cache 压到 FP4:BitDecoding-FP4 的算法-系统协同设计复盘

长上下文推理卡在KV Cache的显存与带宽上,而现有FP4方案要么精度崩、要么速度废。这篇文章复盘BitDecoding-FP4如何用三个算法补丁加一个系统重构,在B300上把服务吞吐提升2.4–3.0倍,精度几乎不掉。

helloagent的博客 318

【算法拾光】链表 哈希表|K个一组翻转链表 + 两数之和

K个一组翻转链表需分段反转,借助哑节点与前驱指针维护连接,避免断链;两数之和利用哈希表实现O(1)查找,空间换时间,高效定位目标组合。前者考察链表指针操作,后者聚焦映射关系构建,均为面试高频题。

wuqingyigexiaoba的博客 337

排序算法深度笔记(下):非比较类排序的线性突破与工程边界

排序算法时间复杂度额外空间复杂度稳定性是否基于比较选择排序O(N^2)(O(1))不稳定是冒泡排序O(N^2)(O(1))稳定是插入排序O(N^2)(O(1))稳定是归并排序O(N\log N)(O(N))稳定是快速排序O(N\log N)O(log N)不稳定是堆排序O(N\log N)O(1)不稳定是计数排序(O(N + M))O(M))稳定否基数排序O(N)稳定否桶排序平均O(N) / 最坏O(N^2)

2401_87069538的博客 615

优选算法:分治-归并排序

交易逆序对的总数

Wangshijie1015的博客 151
上一篇: 【视频课】深度掌握模型剪枝+模型量化+知识蒸馏3大核心模型压缩技术理论!...
下一篇: 【视频课】模型剪枝+模型量化+知识蒸馏典型实践!
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值