百度高说服力数字人再升级,基于文心大模型实现体验、内容、视觉、效果四大突破

部署运行你感兴趣的模型镜像

6月17日,在百度AI Day开放日上,百度官宣打造业界首个超头主播罗永浩数字人,并发布了高说服力数字人的四大技术突破。此前,罗永浩数字人直播首秀创下超1300万人次观看、GMV突破5500万元的行业新纪录,部分核心品类带货量反超真人直播。

新一代高说服力数字人 引领智能电商新篇章

百度副总裁、电商总经理平晓黎表示,今年 4 月百度发布的高说服力数字人已让数字人带入 3.0 时代,这是一个新的里程碑,标志着智能电商迈入新篇章,新一代高说服力数字人成为了一个像真人一样,形神音容高度协调、会思考决策、能协作完成特定任务的超级智能体。“百度的罗永浩数字人已达到媲美超头主播的体感效果,随着大模型与多模能力发展,数字人未来超越真人效果极具潜力 ”,她补充道。

在高说服力数字人的基础之上,百度电商慧播星再一次迭代,围绕慧播星首席体验官罗永浩,发布了业界首个超头主播的数字人,并实现了体验、内容、视觉、效果的四大突破,使得数字人带货能力媲美真人。首先是体验突破,通过复刻罗永浩跟朱萧木的丝滑配合,上线了业界首个双数字人互动直播间,给营销转化和C端体验,打开了新的想象空间;二是内容新突破,得益于文心4.5T的升级,通过深度训练,使数字人做到了“懂创作”,带货时塑品专业度更高,数字人可以“有个性”,甚至能“玩梗”,为数字人注入灵魂;三是视觉新突破,这次的罗永浩数字人直播,是业内首个多模态高度融合的数字人应用场景,实现了在直播实时环境下的超长演绎,做到了动作、表情、语调等贴合话术,且稳定可控;四是效果新突破,AI大脑基于直播间信号灵活控场,数字人可以主动邀评、高频互动,极大提升用户沉浸感;通过多智能体实时调度,在数字人直播间实现了和真人直播间一样的互动玩法,如抽奖、发福袋等;强大的运营场控能力、多样化营销手段,有效提升用户转化。

百度电商商业业务部负责人、数字人创新业务部负责人吴晨霞表示,为了支撑本次罗永浩数字人的突破,慧播星重磅升级了新版本,实现了剧本、动作、声音、脚本、问答、互动等维度的全方位升级。吴晨霞对罗永浩数字人的诞生过程进行了揭秘,通过罗永浩、朱萧木的海量数据训练生成数字人主播,同时结合商品特性与罗永浩人设量身定制直播剧本,实现了神形音容全模态高度统一,还原了罗永浩、朱萧木的惯性动作、表情等,做到如同真人一样自然。在此基础上,慧播星以大师级的创作能力,生成人物高光片段,复刻罗氏幽默,在直播中能够接梗、玩梗,使得数字人表现力有了真人般的魅力。此外,本次突破技术难题的双人剧本,实现了双数字人的默契配合,属于行业首创。最后,慧播星作为业界首家实现「AI大脑」多智能体调度的产品,实现了灵活场控,并支持一个数字人直播间上线多种玩法,有效提升了用户转化。罗永浩数字人首秀大捷,标志着慧播星产品力迈向全新阶段。

背后“黑科技”揭秘:多模协同的数字人技术

百度集团副总裁吴甜系统性地介绍了多模协同的数字人技术。百度研制的多模协同的数字人技术,基于文心 4.5T 实现了融合多模规划与深度思考的剧本生成,由剧本驱动数字人多模协同,实现动态决策的实时交互,使数字人的“神、形、音、容、话”达到高度统一。最终呈现出一个具备高表现力,内容吸引人,人-物-场可自由交互的超拟真数字人。

她介绍道,剧本生成技术包含台词生成、多模驱动和动态交互三部分。以罗永浩数字人剧本为例,基于文心大模型4.5 Turbo生成的剧本,充分展现了主播的个人特色,具备典型的罗氏幽默风格,并能够实现双人主播的内容协同,动态实现丰富的实时互动。通过文本自控的语音合成大模型,实现高复原的语音合成能力,再结合直播台词及发音人特征,合成风格恰当、自然流畅的声音。为解决罗永浩数字人直播双人声音配合的难点,百度采用对话上下文编码器,将对话历史输入和当前对话进行语音合成的统一推理计算,最终实现流畅、自然的双人对话效果。在数字人形象生成以及驱动方面,通过结合多模态视频理解、跨模态信号生成、视频生成等技术,克服了高可控交互,高精度、长时间一致性保持等难点,实现了高一致性超拟真罗永浩数字人长视频生成。

吴甜表示,百度在今年4月发布了最新的文心 4.5 Turbo和文心X1 Turbo,罗永浩数字人是基于文心大模型的最佳实践。百度在大模型技术的持续探索和创新,将为用户带来更优质的体验、为行业带来更具创新力的业务模式。

“AI +直播” 模式开启电商新想象 超头主播的数字人或将涌现

会上,平晓黎正式宣布,罗永浩将正式担任百度慧播星首席产品体验官,罗永浩在入驻百度优选进行真人直播带货外,其数字人也将不定期开播、常态化为用户带来更多福利。罗永浩的数字人作为新一代高说服力数字人的首秀,引发了用户侧的广泛讨论与行业热议,特别是用户的转化效果媲美真人,意味着用户对于数字人的接受度已经被验证。

随着百度电商与交个朋友战略持续落地,未来,罗永浩作为超头主播,也将发挥引领作用,吸引更多超头主播加入,共建慧播星数字人矩阵,中国直播电商的竞争或将迎来新变局。

此外,百度电商还推出两大计划:梦蝶计划将通过流量扶持,超头主播数字人打造、预算扶持,实现百度优选超头主播的数量倍增;繁星计划则将再次追加10万个慧播星数字人,投入1亿元数字人消费补贴、千万级别的运营扶持,帮助更多的普通人、中小企业开启数字人直播。

据罗永浩所属机构交个朋友代表、公司副总裁吴加录表示,百度的AI能力与交个朋友的直播运营经验和供应链资源实现了技术与场景的完美结合,这类“技术+IP”的协同模式也将为行业探索智能化转型提供实践样本。

您可能感兴趣的与本文相关的镜像

GPT-SoVITS

GPT-SoVITS

AI应用

GPT-SoVITS 是一个开源的文本到语音(TTS)和语音转换模型,它结合了 GPT 的生成能力和 SoVITS 的语音转换技术。该项目以其强大的声音克隆能力而闻名,仅需少量语音样本(如5秒)即可实现高质量的即时语音合成,也可通过更长的音频(如1分钟)进行微调以获得更逼真的效果

说服力数字人技术是一种融合了多种先进技术,旨在创建出能够度模拟人类行为、语言和思维,从而具备强大说服力的虚拟数字形象的技术。 在外观表现上,运用精度的三维建模和渲染技术,为数字人打造出极其逼真的外貌和细腻的表情动作。精度的三维建模可以精确地还原人类的面部特征、身体比例和细节结构,而先进的渲染技术则能够模拟出真实的光照、材质质感和光影效果,使数字人的外观几乎与真人无异。例如在影视和游戏领域的一些数字角色,其外貌已经达到了以假乱真的程度。 语音交互方面,结合了先进的语音合成和自然语言处理技术。语音合成技术能够生成自然流畅、富有情感和个性化的语音。通过对大量人类语音数据的学习和分析,合成的语音可以模拟出不同的口音、语调、语速和情感状态,让数字人的语音表达更加生动和真实。自然语言处理技术则使数字人能够理解和处理人类的语言输入,实现智能对话。它可以进行语义理解、知识推理和对话生成,根据用户的问题和语境给出准确、恰当的回答,并且能够进行多轮对话和上下文感知,就像与真人交流一样。 在行为动作模拟上,借助动作捕捉和机器学习技术,数字人可以模仿人类的各种动作和姿态。动作捕捉技术通过在真人演员身上安装传感器,记录他们的动作数据,然后将这些数据映射到数字人模型上,使数字人能够重复和再现这些动作。机器学习技术则可以让数字人根据不同的场景和任务,自主生成合适的动作和反应。例如在虚拟客服场景中,数字人可以根据对话内容做出相应的手势和表情,增强与用户的互动效果。 此外,为了实现说服力数字人还需要具备情感计算和知识图谱技术。情感计算技术能够识别用户的情感状态,并根据这些情感做出相应的回应。例如当用户表现出不满或焦虑时,数字人可以调整语言和态度,给予安慰和解决方案。知识图谱技术则为数字人提供了丰富的知识储备,使其能够在各种领域进行专业的知识讲解和问题解答。数字人可以基于知识图谱进行推理和判断,提供准确、全面的信息,从而增强其说服力和可信度。 ```python # 以下是一个简单的数字人语音交互示例代码(使用Python和一些开源库) import pyttsx3 import speech_recognition as sr # 初始化语音合成引擎 engine = pyttsx3.init() # 定义识别语音输入的函数 def recognize_speech(): r = sr.Recognizer() with sr.Microphone() as source: print("请说话...") audio = r.listen(source) try: text = r.recognize_google(audio, language='zh-CN') print(f"你说的是: {text}") return text except sr.UnknownValueError: print("无法识别语音") except sr.RequestError as e: print(f"请求错误; {e}") return None # 定义语音合成并输出的函数 def speak(text): engine.say(text) engine.runAndWait() # 主交互循环 while True: user_input = recognize_speech() if user_input: if "退出" in user_input: speak("再见!") break response = f"你说的是 {user_input},我已经了解了。" speak(response) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

优快云资讯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值