specssss的博客

训练生成式人工智能模型是一个具有挑战性的过程，需要专业技能，因为它涉及：·理解复杂的算法·优化神经网络架构·处理大型数据集·微调模型以生成高质量的输出，同时避免过度拟合或模式崩溃等陷阱。在这里，我们探讨了 7 种类型的生成式人工智能服务，这些服务有助于增强企业对生成式人工智能技术的使用，从而获得竞争优势。人工智能基础模型是任何生成式人工智能系统的支柱。亚马逊的 SageMaker 是一项完全托管的服务，为开发人员和数据科学家提供构建、训练和部署机器学习模型（包括生成式 AI 模型）的能力。

项目简介Open-Sora项目是一项高效制作高质量视频的工作，明确所有权使用其模型、工具和内容的计划。通过采用开源原则，Open-Sora 不仅实现了先进的视频生成技术的普及，还提供了一个专业且用户界面的方案，简化了视频制作的复杂性。通过 Open-Sora，我们希望更多的开发者一起探索内容创作领域的创新、创造和遏制。项目展示。

进一步的集成，包括add_multiple_conditional、conditional_entity_addition和conditional_relationship_addition，协同工作，以确保应用程序数据模型的完整性和增强。模式确保由AI生成的知识图不仅与应用程序的数据模型一致，而且丰富详细，捕捉输入文本中描述的实体之间的微妙关系。欢迎来到MindGraph，这是一个概念验证、开源的、以API为先的基于图形的项目，旨在通过自然语言的交互（输入和输出）来构建和定制CRM解决方案。

DUSt3R(Dense and Unconstrained Stereo 3D Reconstruction，密集无约束立体三维重建)是由来自芬兰阿尔托大学和Naver欧洲实验室的研究人员推出的一个3D重建框架，旨在简化从任意图像集合中重建三维场景的过程，而无需事先了解相机校准或视点位置的信息。官方项目主页:https://dust3r.europe.naverlabs.com/c。GitHub代码库:https://github.com/naver/dust3re。DUSt3R的官网入口。

当然，仍然有很多人不相信自己会被AI做出来的图片迷惑，我们来看看，国外的滑铁卢大学所发起了一项研究，名为《眼见为实：对 Deepfakes、人工智能生成的人类和其他非真实媒体现状的调查》。而且，这个研究的过程中，志愿者是可以仔细查看图片的。但是在实际的生活当中，当我们看到一个图片，可能往往是在看资讯刷视频等顺便看到了，并不会那么仔细的去分别，那么就可能会更加不准。根据他们陈述的原因，在寻找AI合成的内容时，会更多的去关注一些细节，比如手指、眼睛、牙齿等等，但是这些评估并没有预期的那么准确。

Anthropic发布的通用大语言模型Claude，在各项能力方面号称是全方面超越GPT，实测究竟如何呢？主要是以一些有趣幽默的脑筋急转弯为题目，来看看不同大模型对此的反馈。本次测试均采用各自最牛的大模型版本出战！在一间屋里，有三个杀手，然后来了一个人，把其中一个杀手杀了，问，现在屋里有几个杀手？以上三道题这三个大模型回答的如何，小编就不对结果做评价了，欢迎大家在评论区踊跃讨论！Amy 有 3 个兄弟，每个兄弟有 2 个姐妹，Amy 有几个姐妹？我有 6 个鸡蛋，碎了2个，煎了2个，吃了2个，还剩下几个？

/*** 发送post请求* @param string $url 请求地址* @param array $post_data post键值对数据* @return string*/function http_request($url, $post_data, $headers, $image) { $postdata = file_get_contents($image);

这种合成通常只涉及图像中的脸部和头部区域。可以将从各种 AI 应用生成的静态图像，应用于传统的创作流程中，如 2D 平面剪贴、数字编辑、图像拼贴，甚至可以作为其他 AI 工具的素材来源，例如那些能够将静态图像转换为视频的工具。理论上，这种方法的可能性是无限的，无论是追求真实拍摄效果，还是超现实和风格化的视觉效果，只要你能描述出来，就像静态图像生成那样。当在转换型工作流中使用的源视频进行光流估算时，这种技术可以应用于扭曲生成的帧，从而让生成的纹理随着物体或摄像机在画面中的移动而紧密地“贴合”在物体上。

包括OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等。GitHub：https://github.com/Portkey-AI/gateway官网：https://portkey.ai/features/ai-gateway。Portkey AI Gateway就像是一个AI模型的交换站，让开发者可以方便地使用和切换多种AI服务。安装体积只有45kb，处理速度提升了9.9倍，可以在多个不同的AI模型中来回切换。可以根据自己的需要进行灵活配置。

他们在图像编辑、图像生成等领域表现出了强大的能力。我们发现，在严格保持使用指定对象身份不变的情况下生成新内容是一项巨大的需求，但具有挑战性。它可以用于许多场景，如人体置换、服装置换、背景置换等。这个框架可谓是电商商家的利器，大大提升了作图的效率，减少 了用人成本。可以看到，上图的酒瓶是有缺失的，但是处理完毕后补全了一部分，效果还不错。但是可以想到不久的将来，肯定是让更多的C端用户能够用到。⭐️ 步骤3：输入提示或参考图像（强烈推荐）以生成新内容。⭐️ 步骤2：单击输入图像以选择要保留的对象。

它使用 GPT-4 Vision 生成代码，并使用 DALL-E 3 生成外观相似的图像。众所周知，作为一个前端开发来说，尤其是比较偏营销和页面频繁改版的项目，大部分的时间都在”套模板“，根本没有精力学习前端技术，那么这个项目可谓是让前端的小伙伴们看到了一丝丝的。如果您希望在不同端口上运行后端，请更新 VITE_WS_BACKEND_URLfrontend/.env.local。项目地址：https://github.com/abi/screenshot-to-code。感兴趣的小伙伴们，可以操练起来啦。

模型性能：•不同的方法和模型（如 Platypus、Chain-of-Verification、Chain-of-Knowledge 等）在减少幻觉和提高安全性方面取得了进步 •例如Platypus在TruthfulQA上比GPT-3.5-turbo表现出约20%的改进。基准测试：包括工具使用（API-Bank、ToolBench）、自我调试（InterCode-Bash、MINT-HumanEval），遵循自然语言反馈（MINT），和环境探索（ALFWorld、WebArena）。

如果OpenAI努力提高Assistants API的质量，使其达到GPT的水平并消除文件限制，那么我可以想象公司可能会考虑迁移到OpenAI的RAG，前提是他们愿意放弃LlamaIndex提供的一些可定制性。请记住，我使用的设置是针对我提出的问题类型进行调整的（即，短问题，其答案在文本中非常明显）。我应该指出，通过调整一些LlamaIndex参数，包括将块大小更改为80个令牌，块重叠为60个令牌，提供的块数为12，并使用LlamaIndex中的混合搜索选项，我获得了稍微更好的结果。

Stable Video Diffusion是第一个以Stable Diffusion模型作为基础的影片生成模型，官方在其研究论文提到，近来研究人员在原本用于2D图像生成的潜在扩散模型（Latent Diffusion Model，LDM），加入时间层，并且使用小型、高品质的影片资料集加以训练，试图将其改造成影片生成模型。虽然高帧数的影片看起来更顺畅，但是在目前的模型限制下，如要产生每秒达30帧数的影片，则两个模型产生的影片长度皆会少于1秒钟。模型能生成接近真实的视频内容，细节丰富，色彩逼真。

如果你只是简单要求它写一个英文Prompt，它很可能只是把你的要求翻译一遍，这样效果可能不够理想。要让Prompt质量高，可以让Prompt遵循一个好的结构，并应用一些好的策略，例如思考链、慢思考等等。“Prompt Engineer，擅长写 GPT-4 能理解并输出高质量结果的”，让它明白它擅长写Prompt，生成时生成高质量Prompt内容的概率能高一点点。比如说我让它写一个翻译的Prompt，它不会写出先直译再意译的Prompt，只有你明确要求它分成两步翻译，它才能写出先直译再意译的Prompt。

它不仅允许你使用自然语言来生成你想要的音乐风格、节奏或旋律，还支持通过多轮对话对已生成的音乐进行进一步的编辑和修改。除了基础的生成和编辑功能，Loop Copilot还支持更高级的音乐制作任务，比如混响、添加乐器等。为了确保音乐创作过程的连续性和一致性，Loop Copilot维护了一个全局属性表，用于记录与音乐相关的各种属性。所有任务执行完成后，LLM会负责生成一个综合的输出，这通常是一个音乐片段或者是与用户交互的自然语言响应。首先，系统接收用户的自然语言输入，并进行预处理，以统一输入的形式。

由于目前市场的医疗垂直大模型大部分不支持公测，小编无法对比其他大模型，后续有机会接触其他大模型后，会给大家带来一手的评测信息。例如：人们可以通过遇到简单的医疗问题的时候，可以去搜索引擎去搜索，但是事实上搜索引擎的搜索结果，仅仅是通过文本的语义匹配和相关度来呈现有可能相关的内容。点评：我提问了一个问题，并且追问了后续的检查结果，两个模型的回答都比较保守，当然这是正常的，两者的回答都没什么大问题，但是MediSearch会给与一些下一步的提问，引导用户提问，效果更好一些。，AI大模型能否代替一部分初级的问诊？

随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里，完全可控，避免任何的数据隐私泄露以及安全风险。整个DB-GPT的架构，如下图所示。SFT模型准确率 截止20231010，利用本项目基于开源的13B大小的模型微调后，在Spider的评估集上的执行准确率，已经超越GPT-4!DB-GPT 是一个开源的以数据库为基础的GPT实验项目，使用本地化的GPT大模型与您的数据和环境进行交互，

举个例子，在 2022 年，大多数 LLM 的上下文长度最多为 2k（例如 GPT-3），但现在，有些开源 LLM 已经可以扩展到 32k（比如 Llama-2-32k），甚至有些模型已经达到了 100k（比如 CodeLlama）。为了解决上述问题，FlashAttention 的作者 Tri Dao 等人提出了一项名为「Flash-Decoding」的技术，它显著加速了推理过程中的注意力计算，使长序列的处理生成速度提高到了原来的 8 倍。然后，有两个独立的核函数，分别用于执行步骤（2）和（3）。

模型可能包含的神秘学主题：占星术、炼金术、塔罗牌、灵媒与通灵、能量治疗、瑜伽与冥想、灵数学、符文学、魔法与巫术、神秘主义、克巴拉、精神自觉、意识扩展、灵性觉醒、晶石治疗、颜色疗法、光疗法、轮回转世、灵魂契约、灵性导师与指导、神圣几何学、气场与脉轮、神秘体验、神秘符号、神秘传统与教派、神秘文本与经典、神秘仪式与实践。该模型是基于一个100%合成的、由GPT-4生成的数据集进行训练的，该数据集包含大约35,000个示例，涵盖了与神秘学、灵性、神秘主义等相关的广泛和多样的任务和知识。

这是业界首创，用户可以从预选的图像列表中选择或上传自己的参考图像，以指导通过Firefly Web应用中的文本到图像提示生成新图像的风格。Firefly Image 2支持更逼真的图像质量和更高保真度的细节，包括皮肤毛孔和植被，以及更大的景深控制、动态模糊、视场和生成。Firefly Image 2 可以生成更高质量的图像和插图，通过改善皮肤、头发、眼睛、手和身体结构来增强人体渲染质量，提供更好的色彩和改进的动态范围，并为用户提供更大的控制输出的能力。• 摄影品质提升，生成更高质量和更真实的图像。

如果您使用的是带有 M1 或 M2 芯片的 Apple 设备，则可以使用标志指定 mps 设备--device：--device mps。

您可以看到选项卡，如"All", "Successful", 和 "Failed"，允许用户查看他们所有的微调作业、成功的作业、和失败的作业。5. 垂直领域的数据价值：垂直领域的数据通常被视为非常有价值的，因为它们反映了特定领域或行业的特定需求和趋势。但这也可能意味着他们需要权衡数据隐私和便利性之间的关系。但是，重要的是要注意，大多数这些公司都有数据隐私和使用政策来确保用户数据的安全和隐私。OpenAI已经更新了他们的微调功能，提供了一个直观的用户界面，使用户能够在不编写任何代码的情况下进行模型的微调。

例如，如果在一个故事中，一个角色想找到他的背包，模型首先会在预见阶段预测角色可能会去哪里找。然后，在反思阶段，模型可能会考虑其他因素，如角色过去在哪里找到过背包，或者在当前环境中哪些地方最可能存放背包，从而优化其行动建议。例如，如果一个故事中的角色正在寻找他的背包，而模型知道背包在厨房里，那么模型应该能推断出最好的行动是建议角色去厨房查看。在预见阶段之后，模型进入反思阶段。T4D 的目的就是要求模型不仅要能回答有关其他人心理状态的问题（这是许多现有评估方法的焦点），还要能根据这些推断来选择最佳的行动方案。

为了客观、定量地评估智能法律系统的法律知识和推理能力，我们设计了一个客观的评价数据集，由一系列中国法律标准化考试和知识竞赛的单项和多项选择题组成，并根据内容复杂性和演绎难度，将问题分为困难、正常和容易三个层次。为了训练检索增强后的模型，我们构造了 DISC-Law-SFT-Triplet 子数据集，数据为 < 输入、输出、参考 > 形式的三元组，我们使用指令对构造中列出的三种策略对原始数据进行处理，获得输入和输出，并设计启发式规则来从原始数据中提取参考信息。这构成了法官的一个基本的法律推理过程。

然而，这种全量的Embedding-Search在面对多知识点聚合处理的场景下，存在召回精度低的问题。外挂知识库的本质在于不修改基座模型参数，通过提示词工程（Prompt Engineering）将特定知识作为prompt中的context，即召回相关性最高的几个文档，让模型分析这些蕴含知识后，并返回答案。相较于传统数据库的精确搜索，即完全匹配，向量数据库使用最邻近（Approximate Nearest Neighbor，ANN）算法和相似度度量（如余弦相似度，内积等）来找到和查询问题最相似的向量。

RoboTAP的核心是一个通用控制器，该控制器能够对场景中的点进行对齐。这种精确的控制也意味着 RoboTAP 可以在多变的环境中工作，包括那些物体姿态和位置不断变化的环境。它能够在每一时刻检测对动作最重要的物体上的点（标记为红色），推断这些点应该移动到哪里（标记为青色），并计算一个将它们移动到那里的动作（标记为橙色箭头）。该系统能够通过只需几分钟的示范，就能让机器人学会新的视觉运动任务。这种方法的优势在于它能够从少于或等于 6 次的示范中快速学习和解决任务，这大大减少了训练时间和复杂性。

伴随着AIGC的火热，AIGC的各类的各类应用如雨后春笋般冒了出来。

此外，还存在许多有趣的未解问题，例如RLHF与RLAIF的结合是否可以优于单一方法，直接使用LLM分配奖励的效果如何，提高AI标签制作者的对齐度是否能够转化为改进的最终策略，以及使用与策略模型大小相同的LLM标注器是否可以进一步改进策略（即模型是否能够“自我改进”）。我们发现，用详细的说明提示我们的LLM，并征求思维链的推理可以提高一致性。令人惊讶的是，我们观察到，少量样本的上下文学习和自一致性 - 一个过程，在这个过程中，我们采样多个思维链的理由，并平均最终的偏好 - 不会提高准确性，甚至会降低准确性。

随着AI大模型不断更新迭代，AI应用也呈现出爆炸式的增长趋势，而利用人工智能工具提高工作效率，已经成为今年来越来越受欢迎的工作方式。除了大名鼎鼎的chatgpt之外，小编在体验了超多各种类型、各种功能的AI工具后，给大家收集了8款实用的宝藏AI工具，涵盖AI聊天、文案写作、图像生成、视频分析、智能办公等领域。

北京 5 家大模型产品分别是百度的 “文心一言”、抖音的 “云雀”、百川智能的 “百川大模型”、清华系 AI 公司智谱华章旗下的 “智谱清言” 以及中科院的 “紫东太初”。目前，“紫东太初” 已在文本创作、医疗、物流、政务等多个行业实现应用落地。8 月 31 日，智谱华章正式上线首款生成式 AI 助手 —— “智谱清言”，现已在各大应用商店上线，用户可通过苹果商店 App Store、安卓主流商店（包括华为、OPPO、vivo 及小米等）进行下载，或在微信小程序中搜索 “智谱清言” 体验其功能。

提示（例如）：“以下是按品牌划分的美国笔记本电脑的演变和销售数据（百分比）。确定最适合可视化这些数据的图表类型并创建它。这就像用自然语言与电子表格交谈一样。ChatGPT的诞生使Excel公式变得过时。作为示例，我将分析并创建美国笔记本电脑销售图表。当然，任何数据都可以。让我们开始简短的教程吧！非常简单，大家都学会了吗，赶紧实操起来吧！

用于Cmd+R通过简单的窗口刷新来开始新的对话。

如果您希望为您的组织定制 ChatGPT，您可以使用我们新的共享聊天模板来协作并构建通用工作流程。如果您需要将 OpenAI 扩展为您的组织的完全定制解决方案，我们的定价包括使用我们的API的免费积分以及。我们不会根据您的业务数据或对话进行训练，我们的模型也不会从您的使用情况中学习。请参阅我们的隐私页面和信任门户，了解有关我们如何处理您的数据的更多详细信息。ChatGPT企业版提供企业级安全和隐私、无限的高速 GPT-4 访问、用于处理更长输入的更长上下文窗口、高级数据分析功能、自定义选项等等。

如果他们真的关心效率，特别是在客户端方面，他们会运行像MoE这样的稀疏模型架构，在这些更大的数据集上进行训练，并像前沿的LLM实验室（OpenAI、Anthropic、Google Deepmind）那样实现推测解码。需要明确的是，来自Nvidia的DGX云服务这些宣布客户的收入是未知的，但考虑到Nvidia的云计算支出和内部超级计算机建设的规模，似乎更多的服务可以/将从Nvidia的云中购买，而不仅仅是HuggingFace、Together和Databricks所能提供的。

基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全性等方面的期望。然而，它也给 NLP 引入了一些 RL 相关的复杂性: 既要构建一个好的奖励函数，并训练一个模型用以估计每个状态的价值 (value);又要注意最终生成的 LLM 不能与原始模型相差太远，如果太远的话会使得模型容易产生乱码而非有意义的文本。

在上期文章中，我们简要回顾了Llama模型的概况，本期文章我们将详细探讨【关于Llama 2】，你需要知道的那些事儿。

可靠的输出格式：微调提高了模型一致的格式化响应的能力，这对于需要特定响应格式的应用程序（例如代码完成或编写 API 调用）来说是一个至关重要的方面。例如，一个gpt-3.5-turbo包含 100,000 个代币的训练文件并训练 3 个 epoch 的微调作业的预期成本为 2.40 美元。自定义音调：微调是磨练模型输出质量感觉的好方法，例如其音调，因此它更适合企业品牌的声音。8月22日，OpenAI官网发布最新公告：GPT-3.5 Turbo 的微调现已推出，GPT-4 的微调将于今年秋天推出。

项目效果演示。

具体而言，我们将待评测模型与ChatGPT进行双盲对比测试：对于每一个Query，我们隐藏模型信息，并打乱两个模型的答案顺序，然后分配给多名评测者，评测人员根据内容正确性、内容相关性、内容详实性等维度进行打分，然后从“模型A好”、“模型B好”、“两者一样好”、“两者都一般”以及“两者一样差”五个选项中进行选择，最终再根据多名评测人员的GSB评测结果，按照规则拟合成该条数据的统一GSB结果。从人工评估的结果来看，KwaiYii-13B-Chat超过了同等规模的开源模型，并接近ChatGPT同等水平。