Ollama 部署的大模型如何输出结构化响应?

Spring AI集成Ollama本地大模型:从环境搭建到生产部署全攻略 大语言模型(LLM)作为人工智能的核心技术,通过海量数据训练获得理解和生成自然语言的能力。其原理基于Transformer架构,通过自注意力机制捕捉长距离依赖关系。在工程实践中,将LLM集成到应用系统能显著提升智能化水平,尤其在需要数据隐私和低延迟的场景中。Spring AI作为Java生态的AI应用框架,提供了统一API来简化模型调用。结合Ollama这一本地大模型部署工具,开发者可以在私有环境中快速部署开源模型如Llama、Mistral,实现成本控制和数据安全。本文聚焦于**Spring AI**与* 阅读详情

使用 Ollama 进行结构化 LLM 输出

有效控制模型响应

随着 Ollama 0.5 版本的发布,Ollama 对其 LLM API 进行了重大增强。通过引入结构化输出,Ollama 现在可以约束模型的输出为特定格式,该格式由 JSON 模式定义。在底层,大多数系统使用 Pydantic 的功能来实现这一点。

结构化输出解决了许多开发人员在系统或过程需要进一步处理 LLM 输出时面临的一个棘手问题。该系统需要“知道”预期的输入是什么,以便每次都能准确处理并获得可重复的结果。

同样,您希望每次向用户显示模型输出时都使用相同的格式,以避免混淆和错误。

到目前为止,确保大多数模型的输出格式一致一直很麻烦,但 Ollama 的新功能使这一过程变得相当简单,我希望通过我的示例代码片段展示这一点。

Ollama 可以在 Windows、Linux 和 macOS 上运行,您可以通过导航到https://ollama.com/[1] 并点击屏幕上的大黑色下载按钮来安装最新版本。我将使用 Linux 系统,并通过运行以下命令来安装它,

$ curl -fsSL https://ollama.com/install.sh | sh

下载完成后,运行安装程序。接下来,我们需要设置开发环境。

设置开发环境

在编码之前,我总是创建一个单独的 Python 开发环境,以便安装任何需要的软件。现在,我在这个环境中所做的任何事情都是隔离的,不会影响我的其他项目。

我使用 Miniconda 来实现这一点,但您可以使用任何您熟悉且适合您的方法。

如果您想使用 Miniconda 并且还没有安装它,您必须先安装 Miniconda。使用此链接获取它,

Miniconda - Anaconda 文档[2]

1. 创建新的开发环境并安装所需的库

(base) $ conda create -n ollama_test python=3.12 -y
(base) $ conda activate ollama_test
(ollama_test) $ pip install ollama --upgrade
(ollama_test) $ pip install pydantic bs4
# 检查安装的版本是否 >= 0.5
(ollama_test) $ ollama --version
ollama version is 0.5.1
(ollama_test) $

2.决定使用 Ollama 的模型

Ollama 可以访问数百个开源模型。选择您想要使用的模型并从 Ollama 中拉取它们。Meta 最近发布了他们最新的 llama 模型(版本 3.3),因此我将使用它。此外,由于我将尝试一个基于图像的任务,我将使用 Meta 的 Lama3.2 视觉模型。

(ollama_test) $ ollama pull llama3.2-vision
(ollama_test) $ ollama pull llama3.3

我通常在 Jupyter Notebook 中编写我的示例代码。然而,目前尝试使用最新版本的 Jupyter 与 Ollama 运行时存在一个问题,因为与第三方库不兼容。

Jupyter 期望存在某个版本的库,而 Ollama 期望存在另一个版本的库。

因此,这次我只是在 Python 文件中保存我的代码,并通过命令行使用 Python 运行它。

示例代码 1 — 图像解释

在这个示例中,我要求模型识别 PNG 图像中的不同动物类型。这是该图像。

在这里插入图片描述
None

以下是代码。它有大量注释且简短,因此我不会详细介绍它的作用。

from ollama import chat
from pydantic import BaseModel

# 定义一个 Pydantic 模型来表示单个动物及其类型。
class Animal(BaseModel):
    animal: str

# 定义一个 Pydantic 模型来表示动物列表。
# 该模型包含一个 Animal 对象列表。
class AnimalList(BaseModel):
    animals: list[Animal]

# 函数分析图像并识别其中的所有动物。
# 使用 Ollama `chat` 函数与基于视觉的模型(`llama3.2-vision`)交互。
# 返回结果为 AnimalList 对象。
def analyze_animals_in_image(image_path: str) -> AnimalList:
    # 使用指定模型、格式和参数调用 `chat` 函数。
    response = chat(
        model='llama3.2-vision',
        format=AnimalList.model_json_schema(),
        messages=[\
            {\
                'role': 'user',\
                'content': '''分析此图像并识别所有动物。对于每个动物,提供:\
                - 动物类型\
                返回图像中所有可见动物类型的信息。''',\
                'images': [image_path],\
            },\
        ],
        options={'temperature': 0}  # 通过将温度设置为 0 确保确定性输出
    )
    # 验证并将响应 JSON 解析为 AnimalList 对象。
    animals_data = AnimalList.model_validate_json(response.message.content)
    return animals_data

# 主块执行脚本。
if __name__ == "__main__":
    # 要分析的图像路径。
    image_path = "D:/photos/2024/animals.png"

    # 开始分析前打印初始消息。
    print("\nAnalyzing image for animals...")

    # 调用函数分析图像并获取结果。
    animals_result = analyze_animals_in_image(image_path)

    # 打印分析结果。
    print("Animal Analysis Results:")
    print(f"Found {len(animals_result.animals)} animals in the image:")

    # 遍历动物列表并打印每个动物的详细信息。
    for i, animal in enumerate(animals_result.animals, 1):
        print(f"Animal #{i}:")
        print(animal.model_dump_json)

这产生了以下输出。

Analyzing image for animals...
Animal Analysis Results:
Found 5 animals in the image:]
Animal #1:
<bound method BaseModel.model_dump_json of Animal(animal='Walrus')>
Animal #2:
<bound method BaseModel.model_dump_json of Animal(animal='Elephant Seal')>
Animal #3:
<bound method BaseModel.model_dump_json of Animal(animal='Zebra')>
Animal #4:
<bound method BaseModel.model_dump_json of Animal(animal='Elephants')>
Animal #5:
<bound method BaseModel.model_dump_json of Animal(animal='Kittens')>

这还不错。模型可能对左上角的图像感到困惑。我不确定它是海象还是象海豹。我认为是前者。

示例代码 2— 文本摘要

如果您有一堆不同的文本想要摘要,但希望摘要具有相同的结构,这很有用。在这个示例中,我们将处理一些著名科学家的维基百科条目,并以高度组织的方式检索有关他们的某些关键事实。

在我们的摘要中,我们希望为每位科学家输出以下结构,

科学家的名字出生时间和地点他们的主要成就他们获得诺贝尔奖的年份死亡时间和地点

以下是代码。

from pydantic import BaseModel
import requests
from bs4 import BeautifulSoup
from ollama import chat
from typing import List
import json  # 用于解析响应中的 JSON 内容

# 维基百科 URL 列表
urls = [\
    "https://en.wikipedia.org/wiki/Albert_Einstein",\
    "https://en.wikipedia.org/wiki/Richard_Feynman",\
    "https://en.wikipedia.org/wiki/James_Clerk_Maxwell",\
    "https://en.wikipedia.org/wiki/Alan_Guth"\
]

# 从 URL 中提取的科学家名称以进行验证
specified_scientists = ["Albert Einstein", "Richard Feynman", "James Clerk Maxwell", "Alan Guth"]

# 函数抓取维基百科内容
def get_article_content(url):
    try:
        print(f"Scraping URL: {url}")  # 调试打印
        response = requests.get(url)
        soup = BeautifulSoup(response.content, "html.parser")
        article = soup.find("div", class_="mw-body-content")
        if article:
            content = "\n".join(p.text for p in article.find_all("p"))
            print(f"Successfully scraped content from: {url}")  # 调试打印
            return content
        else:
            print(f"No content found in: {url}")  # 调试打印
            return""
    except requests.exceptions.RequestException as e:
        print(f"Error scraping {url}: {e}")
        return""

# 从每个 URL 获取内容
print("Fetching content from all URLs...")  # 调试打印
contents = [get_article_content(url) for url in urls]
print("Finished fetching content from all URLs.")  # 调试打印

# 摘要任务的提示
summarization_prompt = '''
    您将获得一篇关于著名科学家的文章的内容。
    您的目标将是对文章进行摘要,遵循提供的模式。
    仅关注文章中指定的科学家。
    以下是参数的描述:
    - name: 科学家的名字
    - born: 科学家出生的时间和地点
    - fame: 他们的主要成就摘要
    - prize: 他们获得诺贝尔奖的年份
    - death: 他们死亡的时间和地点
'''

# Pydantic 模型类
class ArticleSummary(BaseModel):
    name: str
    born: str
    fame: str
    prize: int
    death: str

class ArticleSummaryList(BaseModel):
    articles: List[ArticleSummary]

# 函数对文章进行摘要
def get_article_summary(text: str):
    try:
        print("Sending content to chat model for summarization...")  # 调试打印
        completion = chat(
            model='llama3.3',
            messages=[\
                {"role": "system", "content": summarization_prompt},\
                {"role": "user", "content": text}\
            ],
            format=ArticleSummaryList.model_json_schema(),
        )
        print("Chat model returned a response.")  # 调试打印

        # 解析并验证 JSON 响应
        articles = ArticleSummaryList.model_validate_json(completion.message.content)
        print("Successfully validated and parsed articles.")  # 调试打印
        return articles
    except Exception as e:
        print(f"Error during summarization: {e}")
        return None

# 函数格式化和过滤摘要
def format_summary(summary: ArticleSummaryList):
    formatted = []
    for article in summary.articles:  # 直接访问 'articles' 属性
        # 过滤掉不在指定列表中的科学家
        if article.name in specified_scientists:
            formatted.append(
                f"The name of the Scientist: {article.name}\n"
                f"When and where they were born: {article.born}\n"
                f"Their main claim to fame: {article.fame}\n"
                f"The year they won the Nobel Prize: {article.prize}\n"
                f"When and where they died: {article.death}\n"
            )
    print("Finished formatting summary.")  # 调试打印
    return"\n".join(formatted)

# 主函数处理所有文章
def main():
    summaries = []
    for i, content in enumerate(contents):
        print(f"Processing content {i+1}/{len(contents)}...")  # 调试打印
        if content.strip():  # 跳过空文章
            summary = get_article_summary(content)
            if summary:
                formatted_summary = format_summary(summary)
                if formatted_summary:  # 仅在过滤后不为空时添加
                    summaries.append(formatted_summary)

    # 打印所有格式化的摘要
    print("Final Summaries:")
    print("\n\n".join(summaries))

if __name__ == '__main__':
     main()

以下是最终输出。它大约需要 5 分钟才能完全运行,我的系统配置相当高,因此请注意。此外,响应的质量在很大程度上取决于您使用的 LLM 的质量。我尝试使用 Llama3.2,输出明显比使用 3.3 版本时差。

(ollama_test) C:\Users\thoma\ollama-test>python tomtest.py
Fetching content from all URLs...
Scraping URL: https://en.wikipedia.org/wiki/Albert_Einstein
Successfully scraped content from: https://en.wikipedia.org/wiki/Albert_Einstein
Scraping URL: https://en.wikipedia.org/wiki/Richard_Feynman
Successfully scraped content from: https://en.wikipedia.org/wiki/Richard_Feynman
Scraping URL: https://en.wikipedia.org/wiki/James_Clerk_Maxwell
Successfully scraped content from: https://en.wikipedia.org/wiki/James_Clerk_Maxwell
Scraping URL: https://en.wikipedia.org/wiki/Alan_Guth
Successfully scraped content from: https://en.wikipedia.org/wiki/Alan_Guth
Finished fetching content from all URLs.
Processing content 1/4...
Sending content to chat model for summarization...
Chat model returned a response.
Successfully validated and parsed articles.
Finished formatting summary.
Processing content 2/4...
Sending content to chat model for summarization...
Chat model returned a response.
Successfully validated and parsed articles.
Finished formatting summary.
Processing content 3/4...
Sending content to chat model for summarization...
Chat model returned a response.
Successfully validated and parsed articles.
Finished formatting summary.
Processing content 4/4...
Sending content to chat model for summarization...
Chat model returned a response.
Successfully validated and parsed articles.
Finished formatting summary.
Final Summaries:
The name of the Scientist: Albert Einstein
When and where they were born: 14 March 1879
Their main claim to fame: Einstein became one of the most famous scientific celebrities after the confirmation of his general theory of relativity in 1919.
The year they won the Nobel Prize: 1921
When and where they died: 18 April 1955

The name of the Scientist: Richard Feynman
When and where they were born: May 11, 1918
Their main claim to fame: Physicist and mathematician
The year they won the Nobel Prize: 1965
When and where they died: February 15, 1988

The name of the Scientist: James Clerk Maxwell
When and where they were born: 13 June 1831
Their main claim to fame: Scottish physicist and mathematician
The year they won the Nobel Prize: 0
When and where they died: 5 November 1879

The name of the Scientist: Alan Guth
When and where they were born:
Their main claim to fame: theoretical physics
The year they won the Nobel Prize: 2014
When and where they died:

请注意,Alan Guth 仍然健在;因此,他的死亡时间和地点部分为空白。James Clerk Maxwell 没有获得诺贝尔奖,因为在他的一生中没有诺贝尔奖。此外,请注意,模型无法提取任何科学家的死亡地点,尽管该信息包含在维基百科的摘录中。

总结

在本文中,我提供了代码并展示了使用 Ollama 进行结构化输出的两个关键能力。第一个示例展示了结构化输出在图像处理中的应用,而第二个示例则专注于文本摘要。

指定 LLM 的结构化输出是 Ollama 的一大进步,具有许多应用。通过以可预测的 JSON 格式组织信息,结构化输出提高了清晰度,并使 LLM 的响应更加一致,减少了歧义。这种结构化方法使 LLM 能够无缝集成到下游应用程序中,如 API、数据库或可视化工具,而无需大量预处理,同时简化了数据解析和自动化。

验证预定义规则变得更加容易,最大限度地减少了错误,并确保符合预期的标准。最终,结构化输出将 LLM 转变为适用于各种现实世界用例的高度实用工具。

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

下面这些都是我当初辛苦整理和花钱购买的资料,现在我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

避坑指南:Ollama+GraphRAG本地部署实战与疑难解析 本文详细介绍了在本地部署GraphRAG与Ollama的完整实战流程与关键避坑指南。通过将GraphRAG默认的OpenAI API替换为本地Ollama托管的LLM和Embedding模型,实现了完全离线的知识图谱构建与智能问答。文章重点解析了环境配置、核心源码适配、索引构建及高频报错解决方案,帮助开发者成功搭建私有化GraphRAG应用,有效规避了模型选择、配置修改与依赖项兼容性等常见陷阱。 阅读详情

相关推荐

大模型—Ollama 结构化输出

Ollama现在支持结构化输出,使得可以按照由JSON模式定义的特定格式来约束模型的输出。Ollama的Python和JavaScript库已经更新,以支持结构化输出。

1万+

Ollama 结构化输出:引领模型输出新范式

Ollama 现在支持结构化输出,这意味着可以通过 JSON 模式来约束模型的输出格式。无论是解析文档数据、从图像中提取信息,还是对语言模型的所有响应进行结构化处理,这一功能都能发挥重要作用。与传统的 JSON 模式相比,结构化输出具有更高的可靠性和一致性,能够为开发者提供更精确、可预测的结果。Pydantic(Python)和 Zod(JavaScript)的优势在 Python 中使用 Pydantic,在 JavaScript 中使用 Zod 来定义模式是推荐的做法。

敖行客 Allthinker的博客 3704

几率大的Redis面试题(含答案)

本文的面试题如下: Redis 持久化机制 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 热点数据和冷数据是什么 Memcache与Redis的区别都有哪些? 单线程的redis为什么这么快 redis的数据类型,以及每种数据类型的使用场景,Redis 内部结构 redis的过期策略以及内存淘汰机制【~】 Redis 为什么是单线程的,优点 如何解决redis的并发竞争key问题 Red...

睶 38万+

本地使用 Ollama 驱动 Llama 3,Phi-3 构建智能代理(附代码)

本地使用 Ollama 驱动 Llama 3,Phi-3 构建智能代理(附代码)

weixin_41496173的博客 2335

大模型蒸馏实战:让小模型获得大模型的知识

本文为初学者提供了一份大模型蒸馏实战指南,通过情感分析任务演示如何将 BERT 的知识迁移到轻量级 TextCNN。文章结合原理图解与 PyTorch 代码,详解软标签生成、温度调节和双损失设计等核心概念,并对比蒸馏前后的性能差异(准确率提升 4.6%,推理速度达 1200 句 / 秒)。内含可直接运行的代码片段、训练技巧及常见问题解答,助力开发者快速掌握模型压缩核心技术,实现工业级部署效率。适合 NLP 入门者学习实践。

1371

ESP32-CAM 赋能 AI 视觉巡检小车:自主避障与目标追踪实现全解析

本文基于 ESP32-CAM 实现了低成本 AI 视觉巡检小车的核心功能,硬件成本<100 元,兼顾自主避障与目标追踪。算法升级:移植 YOLOv5nano 量化模型(INT8),提升目标检测精度(如识别巡检场景中的 “异常物体”“人员”);无线拓展:通过 MQTT 协议将巡检图像、距离数据上传到阿里云 / 腾讯云,实现远程监控;多传感器融合:增加温湿度(DHT11)、红外测温(MLX90614)模块,扩展巡检维度;路径规划:结合 SLAM 算法,实现自主建图与路径巡检。

weixin_42300449的博客 368

Cursor使用及接入教程(非常详细),零基础入门到精通,看这一篇就够了

Cursor使用及接入教程(非常详细),零基础入门到精通,看这一篇就够了

Python单行客的博客 1万+

【数据分析】基于多组学数据整合的微生物与宿主互作网络构建及可视化分析

综上所述,本教程通过详细的步骤和方法,展示了如何整合微生物群落数据、宿主基因表达数据和代谢组数据,构建微生物与宿主互作网络,并进行可视化分析。这种方法为研究微生物与宿主之间的复杂关系提供了一种有力的工具,有助于推动相关疾病的研究和治疗。然而,在实际应用中,需要注意数据处理和分析过程中的各种问题,并结合实验验证来提高研究结果的可靠性和科学性。未来,随着多组学技术的不断发展和完善,以及数据分析方法的创新,相信我们能够更深入地理解微生物与宿主之间的互作机制,为疾病的预防、诊断和治疗提供更有力的支持。

专注生信领域 372

Ollama日志结构化输出:JSON格式与字段解析

想要更好地监控和分析Ollama本地大语言模型的运行状态?掌握日志结构化输出是关键!本文将详细介绍如何配置Ollama的JSON日志格式,并深入解析每个字段的含义,帮助您从日志数据中获得有价值的洞察。 ## 什么是Ollama日志结构化输出? **Ollama日志结构化输出**是将系统运行日志以标准化的JSON格式进行记录和输出的功能。与传统的文本日志相比,JSON格式的日志具有更好的可读性、

gitblog_00330的博客 1008

Java:PriorityQueue详解——从零基础到应用

看了网上的详解,我反是一篇没看懂,都是什么垃圾玩意也发出来,无语,我自己根据这两天的学习总结出来了下面这些干货,我就是这么学会的,大家要是零基础看肯定木问题。

流楚丶格念的博客 6145

ESP32 WIFI 智能巡线小车设计与实现(四足 / 四轮通用)

本文设计的 ESP32 WIFI 智能巡线小车,硬件模块化、软件轻量化,兼容四足与四轮两种结构,实现了自动巡线与 WIFI 远程控制双功能。系统成本低、易上手,适合嵌入式初学者学习 WIFI 通信、传感器应用、运动控制等核心知识点,也可在此基础上扩展蓝牙控制、避障、视觉识别等功能。

weixin_42300449的博客 152

告别API依赖:Pydantic-AI本地部署Ollama大模型完全指南

你是否正面临这些困扰:调用云端API费用高昂、数据隐私安全风险、网络延迟影响体验?本文将带你通过Pydantic-AI框架,在本地部署Ollama大模型,实现完全自主可控的AI应用开发。读完本文,你将掌握从环境配置到高级功能实现的全流程,让大模型真正为你所用。 ## 为什么选择Ollama本地模型 在AI开发中,模型选择直接影响项目的成本、安全性和灵活性。Ollama作为轻量级本地大模型管理工...

gitblog_00595的博客 647

Cartographer实现双雷达建图

TRAJECTORY_BUILDER_2D.num_accumulated_range_data = 2 --执行一次前端匹配需要的激光扫描分段数量。关于num_subdivisions_per_laser_scan。num_laser_scans =2,--订阅激光扫描话题数量。Frame改为 前雷达laser_1 后雷达laser_2。雷达的话题由scan改为,前scan_1 后scan_2。有些人说需要改成2,但我这里改成2反而不行,1才可以。

Studying…… 1261

【保姆级教程】小白也能上手:Ollama本地运行大模型实战教程

文章介绍了如何使用Ollama框架在本地计算机上运行开源大模型。内容包括:下载安装Ollama、下载运行特定模型(如phi-2)、自定义模型、以及使用流式传输、思考能力、结构化输出、视觉任务和工具调用等高级功能。Ollama简化了本地部署LLM的流程,便于开发者构建基于开源LLM的应用程序。

m0_59162248的博客 1199

MiniQMT国债逆回购策略Python代码全解析

通过本文的介绍,我们不仅学习了如何在MiniQMT平台上使用Python编写国债逆回购策略,还对策略的逻辑构建、代码实现以及风险管理有了深入的了解。国债逆回购策略是一种适合初学者的低风险投资方式,希望本文能帮助你在量化交易的道路上迈出坚实的一步。

木头大左的博客 1919

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

10行代码轻松实现大模型本地部署(亲测有效)

我们将使用 Ollama 运行 Microsoft 的 phi-2,Ollama 是一个框架,可以直接从本地计算机运行开源 LLM(Llama2、Llama3 等)。

2301_81940605的博客 955

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Ollama+FastAPI+LangChain强强联合:本地大模型实战指南,打造未来AI应用!

本文详细介绍了Python+AI三件套(Ollama+FastAPI+LangChain)的实战应用,包括搭建本地大模型API避免云端费用、用FastAPI快速构建AI接口、实现结构化输出与本地RAG系统、流式响应、带记忆功能的ChatGPT服务以及并行运行多个模型。这些技术组合让开发者能够构建本地运行、零成本的AI应用,无需依赖云端服务。

2401_85725028的博客 1113

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Java 开发者零成本上手:用 Spring AI Alibaba + Ollama 本地跑通 DeepSeek 大模型

摘要: 本文介绍如何在本地部署DeepSeek开源大模型,并通过Java开发应用实现无API Key、零云费用的AI对话。使用Ollama工具(一条命令启动模型)和Spring AI Alibaba框架(十几行Java代码完成调用),整个过程数据不出本机,适合隐私敏感场景。文章详细演示了从模型选择(推荐1.5B/7B等不同规格)、Ollama安装、到Spring Boot集成开发的完整流程,并提供了流式输出等进阶用法示例,为Java开发者提供开箱即用的大模型本地化解决方案。

专注分享原创技术干货。大厂资深架构师,多年技术架构与技术管理经验,多年面试官经验。一对一技术指导培训,带你从小白到入门到架构设计到技术管理。关注我,免费领取学习资料。一对一免费面试指导,快速拿offer。 1183

Qwen2.5-7B实战指南|通过Ollama实现低门槛AI推理

通过设置system{"role": "system", "content": "你是一位资深旅游顾问,说话专业且富有亲和力"},{"role": "user", "content": "我想去杭州旅行,给我些建议"}Qwen2.5-7B 能很好适应多样化的 system prompt,实现精准的角色控制。通过本文的完整实践,你应该已经成功完成了以下目标:✅ 在本地环境中部署了 Qwen2.5-7B 大模型✅ 使用 Ollama 实现一键启动与管理。

weixin_36197669的博客 984

金融AI入门实战:用daily_stock_analysis镜像理解大模型在垂直领域的结构化输出

本文介绍了如何在星图GPU平台自动化部署AI股票分析师daily_stock_analysis镜像,实现本地化股票分析。该镜像通过集成Ollama框架和精心设计的提示词工程,能够自动生成包含近期表现、风险评估和未来建议的结构化股票分析报告,帮助用户快速获得专业级金融分析,保障数据隐私与使用成本。

weixin_42612405的博客 390

如何在本地运行OpenAI的gpt-oss-20b大模型

通过Ollama工具,用户可在Windows、Linux和macOS上轻松部署gpt-oss-20b模型。该模型需16GB以上内存,性能受硬件影响显著,配备高性能GPU或新款Mac可获得更佳体验。

weixin_34413326的博客 894

【Model】【llm61】Ollama LLM 使用示例

本案例演示如何使用 LlamaIndex 集成 Ollama 本地大语言模型,展示基本文本补全、聊天对话、流式响应、JSON 模式输出、结构化输出、多模态支持以及思维链等功能。

rengang66的博客 543

SpringAI+Deepseek大模型应用开发实战笔记

摘要: 2026年Spring AI与国产DeepSeek大模型(如DeepSeek-R1/V3)的集成已趋成熟,推荐四种接入方式: OpenAI兼容接口(生产首选,硅基流动/官方API,配置简单) Ollama本地部署(免费私有化,适合内网/测试) 阿里云百炼中转(高可用,预算充足场景) Spring AI官方Starter(尝鲜使用)。 核心实践: 代码模板:流式响应(ChatClient.stream())、会话记忆(MessageChatMemoryAdvisor)、思维链推理(R1原生支持)。 进

likuoelie的博客 870

Qwen2.5-VL-7B-Instruct部署指南:Ollama镜像+结构化JSON输出配置

本文介绍了如何在星图GPU平台上一键自动化部署【ollama】Qwen2.5-VL-7B-Instruct镜像,实现多模态AI视觉理解。该模型能自动分析图片内容,并输出结构化JSON数据,典型应用于智能票据识别、商品信息提取等场景,大幅提升数据处理效率与自动化水平。

weixin_36303807的博客 221

通义千问2.5-0.5B实战:用React集成AI聊天功能

本文介绍了基于星图GPU平台,如何自动化部署通义千问2.5-0.5B-Instruct镜像,并在React前端应用中集成AI聊天功能。该方案支持流式响应与多轮对话,适用于构建轻量级本地化AI助手,实现高效、低延迟的智能交互体验。

weixin_42348783的博客 461
上一篇: 产品经理怎么赶上 AI 这波浪潮?
下一篇: 现在,一行命令使用Ollama运行任意魔搭GGUF模型
少喝冰美式
博客等级 码龄3年 6847粉丝 517原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值