图解 LangChain 知识库导入导出,连续奋战只为你简化数据迁移

Ollama 可以在 Windows 上运行了 阅读详情

LangChain 就像是一个智能搬运工,可以帮你轻松搬运和转换各种知识库数据。

基本功能

1. 导入数据

# 从文件导入数据到知识库
from langchain.document_loaders import TextLoader, PDFLoader
# 加载文本文件
text_loader = TextLoader("我的笔记.txt")
text_docs = text_loader.load()
# 加载PDF文件
pdf_loader = PDFLoader("重要资料.pdf")
pdf_docs = pdf_loader.load()
# 打印文档数量
print(f"加载了 {len(text_docs) + len(pdf_docs)} 个文档")

2. 转换处理

# 文档切分处理
from langchain.text_splitter import RecursiveCharacterTextSplitter
# 创建文本分割器
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,  # 每块大约1000字符
    chunk_overlap=100,  # 重叠100字符避免割裂内容
    separators=["\n\n", "\n", "。", "!", "?", " ", ""]  # 优先按段落分割
)
# 应用分割器
分割后文档 = text_splitter.split_documents(text_docs + pdf_docs)
print(f"分割后共有 {len(分割后文档)} 个块")

在这里插入图片描述

实用功能

1. 向量存储导入

# 将文档转成向量存储
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
# 创建词嵌入模型
embeddings = OpenAIEmbeddings()
# 创建向量数据库
try:
    vectordb = Chroma.from_documents(
        documents=分割后文档,
        embedding=embeddings,
        persist_directory="./我的知识库"  # 持久化存储位置
    )
    # 保存到磁盘
    vectordb.persist()
    print("知识库创建成功!")
except Exception as e:
    print(f"创建失败: {e}")

2. 知识库迁移

# 知识库格式转换与迁移
from langchain.vectorstores import FAISS, Pinecone
import pinecone
# 从Chroma导出到FAISS
def 知识库迁移(源路径, 目标路径):
    # 加载原始知识库
    源库 = Chroma(
        persist_directory=源路径,
        embedding_function=OpenAIEmbeddings()
    )
    # 获取所有文档和向量
    ids = 源库.get()["ids"]
    文档集 = 源库.get(ids)["documents"]
    # 创建FAISS知识库并保存
    新库 = FAISS.from_texts(
        texts=文档集,
        embedding=OpenAIEmbeddings()
    )
    新库.save_local(目标路径)
    return 新库

3. 远程存储同步

# 同步到Pinecone远程向量库
def 远程同步(本地库路径, pinecone_api, 索引名):
    # 初始化Pinecone
    pinecone.init(
        api_key=pinecone_api,
        environment="us-west1-gcp"
    )
    # 如果索引不存在则创建
    if 索引名 not in pinecone.list_indexes():
        pinecone.create_index(
            name=索引名,
            dimension=1536,  # OpenAI嵌入维度
            metric="cosine"
        )
    # 加载本地库
    本地库 = Chroma(
        persist_directory=本地库路径,
        embedding_function=OpenAIEmbeddings()
    )
    # 获取文档和向量
    检索结果 = 本地库.get()
    文本列表 = 检索结果["documents"]
    向量列表 = 检索结果["embeddings"]
    # 上传到Pinecone
    远程库 = Pinecone.from_existing_index(
        索引名, OpenAIEmbeddings()
    )
    # 批量添加
    远程库.add_texts(texts=文本列表)
    print(f"成功同步{len(文本列表)}条记录到Pinecone")

在这里插入图片描述

常见任务示例

1. 批量文档导入

# 批量处理文件夹中的所有文档
import os
from langchain.document_loaders import DirectoryLoader
from langchain.document_loaders import TextLoader, CSVLoader, PDFLoader
# 定义加载器映射
加载器映射 = {
    ".txt": (TextLoader, {}),
    ".csv": (CSVLoader, {"encoding": "utf-8"}),
    ".pdf": (PDFLoader, {})
}
def 批量导入(文件夹路径, 存储路径):
    所有文档 = []
    # 遍历文件夹内所有支持的文件
    for 根目录, _, 文件列表 in os.walk(文件夹路径):
        for 文件名 in 文件列表:
            完整路径 = os.path.join(根目录, 文件名)
            扩展名 = os.path.splitext(文件名)[1].lower()
            # 检查是否支持该文件类型
            if 扩展名 in 加载器映射:
                加载器类, 参数 = 加载器映射[扩展名]
                try:
                    加载器 = 加载器类(完整路径, **参数)
                    文档 = 加载器.load()
                    所有文档.extend(文档)
                    print(f"成功加载 {文件名}")
                except Exception as e:
                    print(f"加载 {文件名} 失败: {e}")
    # 分割文档
    分割器 = RecursiveCharacterTextSplitter(
        chunk_size=1000,
        chunk_overlap=200
    )
    分块 = 分割器.split_documents(所有文档)
    # 创建向量存储
    向量库 = Chroma.from_documents(
        documents=分块,
        embedding=OpenAIEmbeddings(),
        persist_directory=存储路径
    )
    向量库.persist()
    return f"已导入 {len(所有文档)} 个文档,共 {len(分块)} 个文本块"

2. 知识库导出备份

# 创建知识库备份工具
def 知识库备份(源路径, 目标格式="json", 保留向量=True):  # 默认JSON格式
    # 加载源知识库
    源库 = Chroma(
        persist_directory=源路径,
        embedding_function=OpenAIEmbeddings()
    )
    # 获取所有内容
    数据 = 源库.get()
    文档列表 = 数据["documents"]
    元数据列表 = 数据["metadatas"]
    向量列表 = 数据["embeddings"] if 保留向量 else None
    # 准备导出数据
    导出数据 = {
        "documents": 文档列表,
        "metadatas": 元数据列表
    }
    if 保留向量:
        导出数据["embeddings"] = 向量列表
    # 根据不同格式保存
    import json
    import pickle
    备份路径 = f"{源路径}_backup"
    os.makedirs(备份路径, exist_ok=True)
    if 目标格式 == "json":
        # JSON格式不能直接存储复杂向量,需要转换
        if 保留向量:
            for i, 向量 in enumerate(导出数据["embeddings"]):
                导出数据["embeddings"][i] = 向量.tolist()
        with open(f"{备份路径}/backup.json", "w", encoding="utf-8") as f:
            json.dump(导出数据, f, ensure_ascii=False, indent=2)
    elif 目标格式 == "pickle":
        with open(f"{备份路径}/backup.pkl", "wb") as f:
            pickle.dump(导出数据, f)
    return f"备份完成,保存在 {备份路径}"

在这里插入图片描述

注意事项

  1. 向量库转换会耗时,大型库可能需要几小时。哎,别急,慢工出细活嘛~
  2. 存FAISS比Chroma快,但占磁盘,自己选咯
  3. 备份一定要测试能否恢复,不然哭都来不及
  4. 导出前先检查磁盘空间,别卡在半路上

总结

LangChain库是知识数据管理的得力助手,可以帮你:

  • 多格式文档导入
  • 知识库格式转换
  • 本地/远程同步
  • 快速备份恢复

掌握这些技巧,你就能灵活管理AI知识库了,再也不怕迁移麻烦!反正我都连续肝了三天才把这套方案搞定,现在专门写出来,就是想让你少走弯路!

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

DeepSeek本地部署详细指南 通过上述步骤,你可以在本地成功部署DeepSeek模型,并通过Ollama或Open Web UI与模型进行交互。本地部署不仅能够保护数据隐私,还能根据需求灵活调整模型参数,满足不同场景下的使用需求。如果你在部署过程中遇到任何问题,可以在评论区留言,我们将一起解决。希望这篇教程能帮助你顺利部署DeepSeek模型,开启高效开发的新旅程! 阅读详情

相关推荐

LLM的MCP协议:初识MCP,搭建第一个MCP Server

MCP(Model Context Protocol),是一个开发的协议,标准化了应用程序如何为大模型提供上下文。MCP提供了一个标准的为LLM提供数据、工具的方式,使用MCP会更容易的构建Agent或者是基于LLM的复杂工作流。

Criss@陈磊 2万+

一文彻底整明白,基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南

在上一篇博文中,我们在本地部署了**Llama 3 8B**参数大模型,并用 Python 写了一个控制台对话客户端,基本能愉快的与 Llama 大模型对话聊天了。但控制台总归太技术化,体验不是很友好,我们希望能有个类似 ChatGPT 那样的 Web 聊天对话界面,本博文就安排起来……

老牛啊 1万+

uses ARM-Compiler ‘Default Compiler Version 5‘ which is not available. MDK5.37安装ARM_Compiler_5

MDK5.37安装ARM_Compiler_5 最后一个AC5编译器,从MDK5.37开始,不再默认安装,需要独立安装 ARMCompiler_506_Windows_x86_b960.zip (80.94MB) 否则使用AC5编译代码报错如下: Build started: Project: Project *** Target 'STM3210C_EVAL' uses ARM-Compiler 'Default Compiler Version 5' which is not available. *

mowwwcom的专栏 2万+

使用ollama在本地部署llama3-8b大模型

使用ollama在本地部署llama3-8b大模型

weixin_39945822的博客 1万+

【强化学习】强化学习中,训练过程的稳定性是什么?该如何进行衡量?请详细进行解释

在强化学习中,训练过程的稳定性指的是算法在训练过程中表现出一致的行为,并且能够稳定地收敛到一个好的策略。收敛性:算法是否能够在有限的时间内收敛到一个近似最优的策略。鲁棒性:算法在不同的初始条件或环境扰动下的表现是否稳定。方差:算法在多次运行中表现出的变异程度。稳定的训练过程意味着算法的训练曲线平滑奖励信号变化小,且策略或价值函数的变化是渐进的。

wq6qeg88的博客 1631

避坑指南:LAMMPS做GCMC模拟时,化学势mu和压力p到底怎么设?

本文详细解析了LAMMPS中巨正则蒙特卡洛(GCMC)模拟的关键参数设置,特别是化学势(mu)与压力(p)的正确计算方法。通过理论分析、实用公式和黄金法则,帮助用户避免常见误区,提升模拟精度和效率,适用于各类复杂体系的分子模拟研究。

weixin_42525289的博客 432

大模型入门实战:通过 HuggingFace 调用 Llama3

至此,我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型,并获取了模型的回答。但是如果你的需求只是简单地调用模型,而无需进行微调或复杂的部署,可以尝试使用 Ollama。它不仅操作更加便捷,还提供了开箱即用的 RESTful 接口,适合快速集成到生产环境中。下一篇,我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。

python12345_的博客 2604

CST软件中SPICE模型的高效导出与转换技巧(txt到cir实战指南)

本文详细介绍了在CST Studio Suite中高效导出与转换SPICE模型的实战技巧,重点讲解了如何将txt格式的模型转换为通用的cir格式。内容涵盖三种模型存在形式的处理方法、格式检查与内容清理、端口一致性验证等关键步骤,并提供了利用LTspice Export功能、批处理脚本以及结果一致性校验等进阶指南,帮助工程师实现场路协同仿真模型的无缝迁移与应用。

silver的专栏 1185

一文玩转本地化部署DeepSeek!

本文将详细介绍如何本地化部署DeepSeek,并应用于生活和工作。在大多数情况下,优先推荐官网chat或者官网API调用,效果更佳。本文的主要面向场景在于:免费、稳定、高效且隐私安全。

huang9604的博客 1万+

Circos图审美拯救计划:用TBtools复刻Nature级共线性分析图谱

本文针对Circos图在共线性分析中的审美提升问题,提供了一套基于TBtools的完整优化方案。通过构建和谐的色彩体系、精细控制信息层布局以及模仿顶刊构图逻辑,详细讲解了如何从配色、透明度、标签显示到高级参数设置,将默认图表升级为具有高级学术美感的Nature级图谱,助力研究者提升论文图表质量。

cherry的博客 911

【纯干货分享】常用高速接口眼图模板合集

文章汇集了常见的高速接口的信号眼图测试模板技术要求,比如,LPDDR5/4、PCIe 5.0/4.0、USB、MIPI等等,方便工程师快速进行查询和使用。

一只豌豆象的博客 3119

无需GPU!三步实现DeepSeek开源模型本地化部署。

deepseek和chatGpt最大的区别就在于,它是开源的模型,并且训练成本更低,这使得我们普通人也能够在自己的电脑部署大语言模型,训练自己的AI智能体。我们需要谨记的就是,AI是工具,是为了提高我们的效率,它能够给我们提供更精确,更具逻辑的回答,你再根据自身的需求进行修改和采用。最近Deepseek访问量剧增,导致App时常访问不了,但是不用担心,官方给我们提供了本地部署大模型的方案。

m0_48891301的博客 2万+

【反卷积算法】Richardson-Lucy (RL) :通过不断迭代更新图像估计值

Richardson-Lucy(RL)反卷积算法:是一种基于最大似然估计(Maximum Likelihood Estimation, MLE)的图像去卷积方法,常用于去模糊和图像增强。通过不断地更新图像估计值,来最小化模糊图像和恢复图像之间的误差,逐步消除模糊,最终接近真实的原始图像,每次迭代都会根据当前估计的图像来修正下次迭代的结果。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 3044

DeepSeek本地化部署全攻略,轻松拥有专属 AI 助手

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。2.页面下拉,根据自己电脑的配置选择合适的参数规模(7b 代表 70 亿参数,14b 代表 140 亿参数,参数越多,模型越大,效果理论上也会更好,但对电脑配置要求也更高),然后复制对应的下载命令。观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

zhishi0000的博客 9701

YOLO系列算法改进 | 自研篇 | C3k2融合SEFN空间增强前馈网络模块 | 去模糊和提升图像细节特征,精度涨点!| WACV 2025

YOLO系列算法改进 | 自研篇 | C3k2融合SEFN空间增强前馈网络模块 | 去模糊和提升图像细节特征,精度涨点!| WACV 2025 (以YOLO26最新目标检测模型为基础,C3k2融合SEFN空间增强前馈网络模块改进Backbone)

2502_91881744的博客 241

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

DeepSeek本地化部署:3步搞定,让你的AI体验更稳定

通过本地化部署,用户可以在自己的设备上运行DeepSeek模型,无需依赖外部网络连接,从而实现更稳定、更可靠的使用体验。

2301_81888214的博客 3万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

LLMChain使用初探 -- OLLaMA+LangChain搭建本地大模型

LLMChain是一个简单的链,接受一个提示模板,使用用户输入格式化它并从LLM返回响应。其中,prompt_template是一个非常关键的组件,可以让你创建一个非常简单的链,它将接收用户输入,使用它格式化提示,然后将其发送到LLM。

sinat_29950703的博客 2万+

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

AI初识--LLM、ollama、llama都是些个啥?

Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。library因此,Ollama与LlamaLlama是大语言模型,而Ollama是大语言模型(不限于Llama模型)便捷的管理和运维工具。

weixin_66196770的博客 4万+

DeepSeek-R1本地部署,再也不怕宕机,还有语音功能!

最近国产大模型DeepSeek特别火,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前ChatGPT的遭遇颇为相似。万幸,DeepSeek是一个开源模型,我们大可以通过本地部署,在自己的终端上随时使用!接下来就教大家具体的操作:**一、用Ollama下载模型**首先我们需要安装Ollama,它可以在本地运行和管理大模型。

2401_84204207的博客 7万+

零基础入门AI:一键本地运行各种开源大语言模型 - Ollama

Ollama 是一个可以在本地部署和管理开源大语言模型的框架,由于它极大的简化了开源大语言模型的安装和配置细节,一经推出就广受好评,目前已在github上获得了46k star。不管是著名的羊驼系列,还是最新的AI新贵Mistral,等等各种开源大语言模型,都可以用Ollama实现一键安装并运行,支持的更多模型的列表可以查看Ollama官网。本文就让我们一起入门Ollama。

2401_84495725的博客 1982

一文教你如何本地部署玩转DeepSeek-V3,免费体验100度算力包跑通!

只需三步,免费体验100度算⼒包就能完成DeepSeek-V3的私有化部署!

weixin_46880696的博客 9万+

一文搞懂 MCP Servers

一文搞懂 MCP Servers什么是MCPMCP概念MCP(Model Context Protocol,模型上下文协议)是由 Anthropic 提出并于 2024 年 11 月开源的一种通信协议,旨在解决大型语言模型(LLM)与外部数据源及工具之间无缝集成的需求。它通过标准化 AI 系统与数据源的交互方式,帮助模型获...

cnzzs的博客 4985

大模型必学——Ollama是什么?

Ollama 是一个强大的本地推理大模型平台,旨在简化模型的本地部署、管理和推理工作流。它允许用户在本地机器上拉取、管理、运行大模型,并提供多种访问方式,包括本地 CLI、HTTP 接口以及通过 OpenAI 客户端的集成。这篇文章将详细介绍 Ollama 的功能,如何使用 Ollama 拉取模型、运行模型,并通过多种方式访问推理服务。前排提示,文末有大模型AGI-优快云独家资料包哦!

大模型工程师老蓝的博客 1万+

本地部署DeepSeek大模型

最近DeepSeek大火,本文将尝试将其部署至本地,大致部署路径:准备电脑-部署Ollama-部署DeepSeek R1模型硬件型号CPUi5-13490F内存32GB显卡AMD RX6800 (16GB显存)硬盘1TB SSD提示:以下是本篇文章正文内容,下面案例可供参考。

weixin_40001694的博客 8850

ollama 安装

以上是不同操作系统下Ollama的安装步骤,希望对您有所帮助。如果在安装过程中遇到任何问题,可以参考Ollama的官方文档或社区资源进行故障排查。

zengliguang的专栏 8239

这怕是全网最强最简单的DeepSeek 本地化部署教程吧,赶紧收藏了!

DeepSeek持续爆火,估计有很多同学跟我一样一直在探索或者甚至到了深度的使用。但这些天我已经被「服务器繁忙,请稍后再试」搞得一点脾气没有了。作为一个前程序员,怎么能忍受呢?!于是,今天我花了一上午时间,直接在自己电脑本地上部署了DeepSeek-R1。下面是我记录本次部署的全过程,相信但凡你有一点点电脑使用经验,按着我这大白话的教程,只要三步,都能完成自己的AI本地化部署。注意:这里是两个“l”。进来之后是可以看到如下这样的一个界面,如果你没有看到的话,可能你进入错了。

python12345_的博客 3万+
上一篇: AI大模型从概念到实践:RAG:从零开始,100行代码实现一套RAG系统(附代码)
下一篇: 10分钟搭建AI聊天机器人:Python与LangChain实战教程
AI大模型_学习君
博客等级 码龄3年 6138粉丝 551原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值