- 博客(11)
- 收藏
- 关注
原创 【论文复现】WonderWorld:Interactive 3D Scene Generation from a Single Image
该论文提出WonderWorld,用于交互式3D场景生成,通过单个图像生成广阔的沉浸式3D场景,实现用户交互地指定场景内容和布局,并实现低延迟创建场景。WonderWorld在A6000 上不到10秒就可以生成多样的3D场景,也为用户驱动内容创建和探索提供了新的潜力。相比于以往的3D场景生成基于离线的方式,需要大量的时间,适用于小型场景或视频,该方法考虑生成场景更大、更多样,更受到用户自由探索的交互式场景。
2024-12-31 22:51:04
1205
2
原创 AI绘画本地部署教程及原理简介(ComfyUI+flux.1)
扩散模型是文生图工作流的关键。Stable Diffusion通过大量的图片和文本数据训练,将图片压缩成关键特征的表示,并将文本标签转化为计算机能理解的形式。在这个过程中,它建立了一个内部的、用于存储和处理这些数据的空间latent space(潜在空间)。在这个空间里,图片的特征和文本标签以一种压缩和转化后的形式相互对应,使得模型能够基于文本描述生成或理解图像内容。
2024-09-25 17:00:34
922
原创 手部动作识别实践
由于项目需求,对人体姿态识别这块做了一些学习调研,主流的落地方案是基于一种两阶段的思路。先利用一些算法计算人体骨架关键点,再基于关键点检测结果构造动作特征进行动作识别。这里也采用了这种思路来进行尝试。
2024-06-26 11:31:30
1273
2
原创 LangChain学习记录(四)Agent
除了利用一些现有的工具外,也可以根据任务需要自定义一些工具供代理使用,只需要一个langchain的tools装饰器就能实现将函数当成工具使用。例如,我需要一个工具来返回今天的日期。@toolllm,这里需要在函数的注释当中说明输出的格式要求,这段注释也是代理判断在何种情况下使用这个工具的一个说明。看一下运行结果')>>Action:`````````Action:``````Action:``````
2024-06-05 17:27:43
1921
4
原创 LangChain学习记录(三)Chain
langchain框架通过chain这个基本模块,让我们可以根据需求,对大模型进行灵活组合搭配,也能将大模型一次无法很好执行的大任务拆分成一个个细分的子任务去更精细地实现。包括后续的文档问答、代理等也都会用到链。从对chain的学习也能看出,想要用好大模型,提示词的构建依然是关键。
2024-06-03 11:44:12
824
原创 LangChain学习记录(二)Memory
刚接触语言大模型时,对话过程中大模型表现出的“记忆力”令人惊叹。这种记忆力原理是什么,在langchain中是如何实现的,就是本篇笔记的内容了。
2024-05-28 11:25:23
1478
原创 LangChain学习记录(一)prompt与输出解析
langchain是个非常实用的开源LLM应用构建框架,里面集成了很多我们在构建自己的大模型应用时可能需要用到的模块组件,显著降低了开发者的工作量。最近也在学习调研langchain这个框架,看看这个开源工具都能为我们做什么,以及现阶段我们能利用语言大模型做出什么样的应用。这里分几篇博客简单记录一下学习过程。本篇首先记录的是langchain是怎样构造提示(prompt)以及提供我们想要的结构化的输出,也就是输出解析。
2024-05-27 17:45:51
1146
原创 知识图谱搭建流程学习记录
知识图谱,是一种高度结构化的,用图形式存储的语义知识库。用于迅速描述物理世界中的概念及其相互关系,通过知识图谱能够将Web上的信息、数据以及链接关系聚集为知识,使信息资源更易于计算、理解以及评价,并能实现知识的快速响应和推理。其基本单元结构就是由“实体-关系-实体”构成的三元组,实体自身还包含一些属性信息,由“实体-属性-值”构成。本体则是实体的抽象,也可以理解为集合或者编程里面的类。例如:“梁朝伟-妻子-刘嘉玲”就是一个包含两个实体和其关系的三元组,它包含了二者关系的信息。
2024-05-10 17:57:06
1912
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人