AI长眼睛了 | 谷歌Gemini「实时看世界」功能上线‌‌多模态AI助手进入「视觉交互」时代

最新推荐文章于 2025-05-05 14:07:50 发布
最新推荐文章于 2025-05-05 14:07:50 发布
阅读量142 收藏 2
点赞数 2
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013862740/article/details/146489719
版权

📱 划时代更新：你的手机AI会“睁眼”了‌
3月24日，谷歌正式推出‌Gemini Live实时视觉功能‌，让人工智能首次具备‌动态观察能力‌！通过👇两种方式实现突破性交互：
✅ ‌手机屏幕共享‌：直接解析日程/地图/文档
✅ ‌摄像头实时画面‌：拍摄物体即刻获得建议

‌🔍 核心功能解读‌
‌❶ 屏幕内容秒解析‌
▸ 自动识别屏幕上显示的‌日期、天气、图表‌等数据
▸ 实测案例：用户共享日历页面后，Gemini可快速定位并标记会议时间段

‌❷ 摄像头变身AI之眼‌
▸ 拍摄陶器 → 推荐釉色配方
▸ 对准机械零件 → 分步骤指导维修
▸ 未来场景：‌食材保质期提醒、外文菜单翻译、穿搭建议生成‌

❸ 背后的黑科技‌
基于谷歌‌Project Astra项目‌（2024年公开），实现：
→ 毫秒级图像识别响应
→ 多模态数据无缝衔接
（技术对标OpenAI的GPT-4o）

‌💡 用户必看：如何体验？‌
⏰ ‌上线时间‌：3月下旬
🎁 ‌获取方式‌：订阅‌Google One AI Premium套餐‌（19.99美元/月，含2TB云存储）
🔮 ‌生态野心‌：将逐步取代Google Assistant，成为安卓系统核心AI

‌🌐 行业战场：巨头集体押注“视觉AI”‌

公司

动态

进度

亚马逊

Alexa Plus升级视觉模块

预计Q3上线

苹果

新版Siri延迟发布

内部测试中

‌分析师预警‌：2025年将成为AI助手“感知能力”决胜年！

‌📌 划重点‌
这次升级不仅是技术突破，更预示着：
🔹 ‌生活场景‌：AI从“语音助手”升级为“视觉管家”
🔹 ‌工作场景‌：可辅助代码调试/设计检查/财务分析
⚠️ 争议点：隐私保护与伦理问题亟待解决

‌📲 延伸讨论‌
你觉得“能看见世界的AI”会怎样改变你的生活？
👉 在评论区聊聊你的期待与担忧！

本文基于环球市场播报、财联社、IT之家等权威信源综合整理

功能实测效果请以官方更新为准。

🎁今日福利（每天为大家找一份福利，感谢你们的支持）

搜索“布尔算力” 关注公众号，发送“免费算力”，解锁 4000万免费算力

Gemini 与 AI 人工智能的融合创新实践
AI智能探索者的博客
04-23 878
本博客的目的在于全面剖析 Gemini 与 AI 人工智能融合创新的相关内容，深入探究这种融合在技术原理、实际应用等方面的情况。范围涵盖从 Gemini 和 AI 人工智能的基本概念出发，到核心算法原理、数学模型，再到具体的项目实战和实际应用场景，同时提供学习和开发所需的资源推荐，以及对未来发展趋势与挑战的分析。本文首先介绍背景信息，让读者了解文章的目的和适用人群。接着阐述核心概念与联系，帮助读者建立对 Gemini 和 AI 人工智能的基础认知。核心算法原理和数学模型部分将深入讲解技术细节。
六万字长文详细分析AGI的应用方向和场景，解析多模态的生成能力，大模型微调实现AI Agent工作记忆、长期记忆，克隆任何人的语音、视频生成、AI玩游戏、AI陪伴、ERP助手、数字生命、打造超级智能体
代码讲故事
06-21 2276
六万字长文详细分析AGI的应用方向和场景，解析多模态的生成能力，大模型微调实现AI Agent工作记忆、长期记忆，克隆任何人的语音、视频生成、AI玩游戏、AI陪伴、ERP助手、数字生命、打造超级智能体。
Gemini 2.0 Flash重磅发布：多模态AI大模型，赋能实时交互与智能助手新体验
m0_66917422的博客
12-13 823
谷歌 Gemini 2.0 Flash 的发布，标志着AI技术正在进入一个全新的发展阶段。无论是多模态能力、实时交互，还是智能助手，Gemini 2.0 Flash 都展现出了强大的潜力。未来，我们有理由相信，AI技术将在更多领域发挥重要作用，为人类带来更多的便利和价值。
谷歌AI智能体 上线手机，Gemini看懂屏幕实时交流！
AI天才研究院
03-26 408
打开完整的Gemini Live界面，开启视频流之后，界面右下角有个按钮，点一下就能切换到前置摄像头，这样就能和周围环境直接互动了。这是一个实时、多模态的人工智能助手，它可以看见世界，知道事物是什么以及你把它们放在哪里，并且可以回答问题或帮助你做几乎所有事情。比如，谷歌本月发布的演示视频里，有人想用颜料给新做好的釉陶上色，拿不定选什么颜色，就可以借助这个功能向Gemini求助。对此谷歌表示，会在3月下旬「作为谷歌One AI高级计划的一部分，向Gemini高级订阅用户逐步推送」。
一文看完多模态：从视觉表征到多模态大模型
Z4400840的博客
10-31 1312
由于是讲“图文多模态”，还是要从“图”和“文”的表征方法讲起，然后讲清楚图文表征的融合方法。对于文本模态的表征发展，我们在《闲话NLP：文本表征的半世今生》(https://zhuanlan.zhihu.com/p/473195206)一文中有过一轮的梳理，因此本文只要讲两件事情： 视觉表征：分为两个部分问题，一是如何合理建模视觉输入特征，二是如何通过预训练手段进行充分学习表征，这两点是基于视觉完成具体算法任务的基础； 视觉与自然语言的对齐（Visul Language Alignment）或融合：目的是
AI Agent与多模态大模型：智能革命的新纪元
Code1994的博客
01-05 1840
2024年，AI能力不断进化，各类AI应用也遍地开花，理解语义、生成高质量文本内容已成常态，AI情感陪伴与人类“共情”，AI助手为几百页英文判决做摘要，视频生成模型的高歌猛进使得AI闯入电影制作领域……如果说2023年是百模大战、千模大战，那2024年则是应用之战，新一代的AI技术正在开始进入普通人的工作与生活。大模型的出现，成了AI第三次浪潮的新拐点。正值热议之际，“看过去七、八十年，每一次新的科技浪潮背后都有一些本质规律，即随着模型参数、及计算能力提升，模型效果也会有巨大提升。
2025年开篇｜AI Agent与多模态大模型：智能革命的新纪元
qingkahui24689的博客
02-20 901
2024年，AI能力不断进化，各类AI应用也遍地开花，理解语义、生成高质量文本内容已成常态，AI情感陪伴与人类“共情”，AI助手为几百页英文判决做摘要，视频生成模型的高歌猛进使得AI闯入电影制作领域……如果说2023年是百模大战、千模大战，那2024年则是应用之战，新一代的AI技术正在开始进入普通人的工作与生活。
【微软：多模态基础模型】（1）从专家到通用助手
youcans的博客
11-14 1805
2023 年 9 月，微软在 CVPR2023 发表论文「 多模态基础模型：从专家到通用助手 」（Multimodal Foundation Models: From Specialists to General-Purpose Assistants） 。本文全面综述了多模态基础模型的分类和演化，这些模型展示了视觉和视觉语言能力，并重点关注了从专家向通用助手的过渡。
NVIDIA 推出智能体构建工具 Agentic AI Blueprints；VITA-1.5：实时多模态交互，1.5 秒延迟
声网的博客
01-07 1013
我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。素材来源官方媒体/网络新闻。
走向多模态AI之路（一）：什么是多模态 AI？
Alexinyu的博客
04-03 1261
过去，人工智能一直专注于单一类型的数据处理，比如自然语言处理只懂文本，计算机视觉只会看图像。但人类的感知是多模态的，我们不是单靠文字或图像理解世界，而是结合视觉、听觉、触觉等多种信息来做决策。 为了让 AI 更接近人类的认知方式，多模态 AI 诞生了。这项技术能让 AI 同时理解和处理不同类型的数据，比如让 ChatGPT 不仅能聊天，还能看懂图片，甚至听懂语音指令。接下来就让我带大家认识一下什么是多模态AI。
昨晚谷歌Gemini 2.5 Pro震撼发布：AI性能实现历史级跃升，横扫全球权威评测榜单
Lethehong
03-26 3042
测试，别的AI还在加载进度条，它已经秒答+附赠三种解题思路（弹幕刷屏：这波是学霸人设焊死在身上了📚）：连夜把GPT-4.5的PPT改成了"Pro Max Ultra"版本（但实验室还在疯狂报错💥）（虽然看着低，但已经是AI界的珠穆朗玛峰了🏔️——毕竟这考试难度相当于让猩猩解微积分！：恐龙跳跃时连脚趾头都有物理引擎（谷歌：我们的AI连恐龙脚踝的摩擦力都算得明明白白）：这波是AI界的降维打击，谷歌连夜给服务器焊死天花板——根本摸不到顶啊！，星云特效比好莱坞五毛特效强百倍（程序员：这代码写的比我毕设还炫！
教你利用多模态视觉大模型做目标检测 Object Detection！制造业能有那些场景使用大模型呢？还看YOLOv8，YOLOv9，YOLOv10，YOLOv11呢，烂怂卷积有啥好看的？
shiter编写程序的艺术
03-17 2035
最近的多模态大型语言模型（MLLMs）在视觉-语言任务（如图像标注和问题回答）中表现出色，但它们缺乏基本的感知能力，即对象检测。在这项工作中，我们通过引入一个新的研究问题——上下文对象检测，来解决这一局限性，即在不同的人机交互上下文中理解可见对象。有一次我在单位汇报的时候，大领导问：深度学习先在还这么落后嘛？每次解决一个问题还要重新训练一个模型？后Sora时代，CV从业者如何选择模型？阿里云学习平台与通义千问。
【人工智能】Google I/O 2023：让 AI 对每个人都更有帮助 Making AI more helpful for everyone
热门推荐
AI天才研究院
05-13 1万+
目录​编辑AI in our products 我们产品中的人工智能“Help me write” in Gmail Gmail 中的“帮我写”New Immersive View for routes in Maps地图中路线的新沉浸式视图A new Magic Editor experience in Photos“照片”中的全新魔术编辑器体验Making AI more helpful for everyone让 AI 对每个人都更有帮助PaLM 2 and Gemini PaLM 2和双子座AI r
自然语言处理实战：用CRF打造高精度命名实体识别系统
Loving_enjoy的博客
05-03 1211
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
解锁DeepSeek模型微调：从小白到高手的进阶之路
邓邓子的博客
05-05 1175
本文围绕 DeepSeek 模型微调展开系统阐述。首先介绍 DeepSeek 模型在 AI 领域的重要地位及其优势，点明微调对提升模型性能的关键意义。接着深入解析微调原理，涵盖迁移学习基础与参数更新机制。随后详细讲解数据准备、模型选择加载、微调训练实战等核心步骤，包括数据收集标注预处理、参数设置与策略选择。还通过实战案例展示微调全流程，并基于评估结果提出优化改进方法。最后对 DeepSeek 模型微调进行总结，展望其未来发展方向，为希望掌握 DeepSeek 模型微调技术的读者提供全面指导。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 1152
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势
高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。
05-01 1714
存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。
我让AI接管了浏览器！Browser Tools MCP教程：自动Debug+截屏+SEO分析
seeyouintokyo的博客
05-03 1471
小白友好，且效率翻倍
英伟达语音识别模型论文速读：Token-and-Duration Transducer（TDT）架构
最新发布
weixin_52582710的博客
05-05 1100
论文提出的 TDT 模型通过在传统 Transducer 模型中加入显式的持续时间建模，在语音识别、语音翻译和口语理解等多个序列任务中均优于传统 Transducer 模型。TDT 模型不仅在准确率上表现相当或更好，而且在推理速度上显著提升，最高可达 2.82 倍加速。此外，TDT 模型在抗噪声和处理重复 token 方面也展现出更强的鲁棒性。未来的工作将致力于进一步提高 TDT 模型的计算效率和准确性，并开发高效的 TDT 模型束搜索算法。
比deepseek更好的ai
03-29
<think>好的，用户现在问的是“比deepseek更好的ai”。首先，我需要明确用户所说的“deepseek”具体指的是哪一个AI产品或公司。因为“DeepSeek”可能指的是深度求索公司，他们专注于AGI的研究，也有自己的AI模型，比如DeepSeek-R1。也有可能是用户拼写错误，或者指的是其他类似名称的产品。所以首先需要确认这一点。 用户可能已经了解过DeepSeek，现在想寻找比它更好的AI，但“更好”的标准是什么？不同场景下对AI的需求不同。比如，有的用户可能更关注模型的通用能力，有的关注特定领域（如编程、数学），有的关注多模态能力，或者响应速度、成本等。所以需要先分析用户的需求点。 接下来，我需要比较目前主流的AI模型，看看哪些在特定方面可能优于DeepSeek。例如，GPT-4在通用任务上表现优异，Claude 3在长文本处理上更强，Gemini 1.5 Pro支持超长上下文，而国内的一些模型如GLM-4、通义千问、Kimi可能在中文处理或特定功能上有优势。此外，开源模型如Llama 3和Mistral也可能在某些定制化场景下更好。 用户可能没有明确说明应用场景，所以需要建议根据具体需求选择模型。比如，如果是需要处理超长文本，Kimi可能更适合；如果是编程，GitHub Copilot或ChatGPT更合适。另外，用户可能对成本敏感，这时候可能需要推荐性价比高的模型，或者开源可自行部署的选项。 还要考虑用户是否有技术背景。如果他们有能力自己部署和调优模型，开源模型可能更合适；否则，商业化的API或服务更方便。此外，用户可能对数据隐私有要求，这时候需要推荐可以本地部署的模型。 最后，需要提醒用户，AI领域发展迅速，模型的优劣可能随时间变化，建议持续关注最新动态。同时，不同模型的优势领域不同，没有绝对的“更好”，只有更适合的。</think>在AI领域，"更好"的定义取决于具体需求场景（如通用能力、垂直领域表现、成本效益等）。以下从不同维度分析当前（2024年）具有竞争力的AI模型/产品，并附对比建议： --- ### 一、**综合能力领先的通用大模型** #### 1. **GPT-4 & GPT-4o（OpenAI）** - **优势**： - 多模态能力最强（支持文本/语音/视觉交互） - 复杂推理能力突出（如解决包含$$ \sum_{k=1}^n \frac{k^3}{2^k} $$的数学推导） - 知识截止时间更新至2023年10月（比多数模型的2022年更近） - **适用场景**：科研分析、跨领域问题解决、创意生成 #### 2. **Claude 3 Opus（Anthropic）** - **突破点**： - 支持200K tokens超长上下文（相当于15万汉字） - 法律/医疗等专业领域理解更精准 - 根据论文测试，在GSM8K数学基准测试准确率达95.2% --- ### 二、**垂直领域特化模型** #### 1. **GitHub Copilot（代码场景）** - **对比优势**： - 直接集成在VS Code等IDE中 - 支持全栈语言（从Python到Rust） - 根据2024 Stack Overflow调查，开发者使用率高达73% #### 2. **AlphaGeometry（DeepMind）** - **数学能力突破**： - 在IMO级别几何题上达到人类金牌选手水平 - 可自动生成包含$$ \frac{AB}{CD} = \frac{BC}{AD} $$的证明步骤 --- ### 三、**国产自研模型** #### 1. **GLM-4（智谱AI）** - **特点**： - 中文理解能力优于GPT-4（诗词创作/古文翻译） - 支持10万字长文本处理 - 单位token成本比DeepSeek低约30% #### 2. **通义千问2.5（阿里云）** - **行业应用**： - 企业级知识库微调响应速度提升50% - 内置金融/法律等专业模式 #### 3. **Kimi（月之暗面）** - **长文本突破**： - 支持200万字上下文（技术白皮书/长篇小说分析） - 根据输入内容自动生成思维导图 --- ### 四、**开源替代方案** #### 1. **Llama 3（Meta）** - **技术参数**： - 700亿参数版本数学推理能力超过GPT-3.5 - 支持商业免费使用（需自行微调） #### 2. **Mistral 8x22B** - **性价比优势**： - 相同硬件下推理速度比DeepSeek快1.8倍 - 在HuggingFace开源模型排行榜持续前三 --- ### 五、**选择建议** | 需求维度 | 推荐方案 | 关键指标对比 | |------------------|------------------------------|------------------------------| | 多模态交互 | GPT-4o | 支持视频理解/实时语音 | | 中文专业领域 | GLM-4 | 中文NER准确率92.7% | | 企业私有化部署 | 通义千问 | 支持全链路数据隔离 | | 长文本处理 | Kimi | 200万字上下文记忆 | | 数学/逻辑推理 | AlphaGeometry + GPT-4 | IMO级问题解决率85% | | 低成本开发 | Llama 3 70B | 商用授权成本为0 | --- ### 六、**未来趋势观察** 1. **多模态融合**：Google Gemini 1.5 Pro已实现音频/视频/代码多模态统一表示 2. **小型化模型**：Phi-3-mini（微软）仅38亿参数但数学能力超越部分70B模型 3. **具身智能**：Figure 01等机器人正实现大模型与物理世界的直接交互 建议根据具体场景需求组合使用（如用Kimi处理长文档+GPT-4做分析），同时关注AI进化速度，主流模型每3-6个月会有显著能力跃升。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

callmedaphy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值