- 博客(290)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Springboot+Vue+Nginx配置HTTPS访问
keytool 是 Java Development Kit (JDK) 中的一个工具，用于管理公钥和私钥对以及相关的证书。这时候启动 springboot 如果读取密钥库报错，大概率是 maven 对密钥文件进行了重新编码导致的，需要将密钥文件排除。-keysize 指定 RSA 密钥对的大小，这里是 2048 位。这是一个常见的选择，因为它提供了足够的安全性，同时也在性能上是可接受的。-keyalg 指定生成密钥对时使用的算法，这里是 RSA。-alias 为生成的密钥对指定一个别名，可填写网站域名。
2024-12-09 13:50:58
500
原创 Qwen2模型Text2SQL微调以及GGUF量化
Qwen2-1.5B微调准备python环境conda create --name llama_factory python=3.11conda activate llama_factory部署llama-factorygit clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip3 install -e ".[torch,metrics]"# 如果要在 Windows 平台上开启量化
2024-07-26 19:28:36
1535
原创 内网环境使用Docker部署Qwen2模型
在我参与的一个国企项目中，我们基于大语言模型开发了一些应用，但是甲方公司所有的资源环境都是纯内网。更为有趣的是，甲方公司已自主搭建并运行着一套百度机器学习平台（BML），客户要求所有的大模型部署必须依托于现有的BML平台进行，而非独立构建全新的基础设施，资源申请也相当严苛。面对这一系列限定条件，我们只能试着利用Docker容器技术进行大语言模型的部署。
2024-06-21 22:17:18
3035
3
原创 Qwen2在Java项目中如何实现优雅的Function_Call工具调用
在当今AI技术飞速发展的背景下，大语言模型如Qwen2和GLM-4凭借其强大的语言处理能力，在诸多领域展现出了巨大的潜力。然而，大模型并非全知全能，它们在处理特定任务时，尤其是在需要与外部系统交互或执行具体功能时，会遇到一定的局限性。这主要是因为大模型通常被设计为封闭的文本生成系统，缺乏直接调用外部工具或API的能力。这种局限性凸显了工具调用在实际应用中的必要性，它能够扩展模型的功能边界，使其能够在真实世界场景中执行更加复杂和具体的操作。
2024-06-20 17:36:05
2450
5
原创 解决Nginx反向代理SSE请求卡顿的问题
最近开发了一个大模型的应用，采用SSE流式响应技术开发。前后端联调的时候，页面内容的响应还是很丝滑的。但使用Nginx部署前端程序后，页面内容的响应就感觉一卡一卡的，好像是每隔两三秒返回一部分内容一样。修改完以上内容，重启，就OK啦。
2024-06-19 14:41:36
2090
1
原创 本地部署Llama3-8B并进行弱智吧问题测试
当地时间4月18日，Meta开源了Llama3大模型，目前开源版本为8B和70B。Llama 3模型相比Llama 2具有重大飞跃，并在8B和70B参数尺度上建立了LLM模型的新技术。由于预训练和后训练的改进，Llama3模型是目前在8B和70B参数尺度上存在的最好的模型。训练后程序的改进大大降低了错误拒绝率，改善了一致性，增加了模型响应的多样性。我们还看到了推理、代码生成和指令跟踪等功能的极大改进，使Llama 3更具可操控性。
2024-04-19 09:49:43
2539
原创 使用Ollama加载微软开源WizardLM2-7B模型，并进行“弱智吧”问题测试
当然基于以上的测试，我们也可以有理由猜测WizardLM2训练语料可能并不包含“弱智吧”的内容，另外，WizardLM2的中文语境下的效果可能确实没有英文语境下表现得好。开发团队在发布模型之前忘记对其进行毒性测试，微软删除了WizardLM2所有相关模型，HuggingFace的WizardLM仓库已经清空。接下来，我们使用ollama来加载测试一下WizardLM2-7B模型，看看他是否有微软宣称的那么强大。首先声明，此项测试并不严谨，仅仅作为一项娱乐测试，不具有任何参考意义。
2024-04-17 17:44:49
1211
原创 使用Java+Qwen+SearXNG构建本地AI搜索问答
，拓展大模型的网络搜索能力，但存在一个问题就是SerpAPI每月只能使用100次的免费调用。），调用SearXNG搜索(本地运行)在多个搜索引擎上进行搜索，可以实现完全免费、私人和本地运行的搜索聚合器。作为一个Java程序员，博主借鉴FreeAskInternet的思路，使用Java+Qwen+SearXNG构建了本地AI搜索问答，相比原来使用SerpAPI，使用上将不受限制。
2024-04-17 11:34:22
2108
原创 微软开源 WizardLM-2，70B优于GPT4-0613，7B持平阿里最新的Qwen1.5-32B
当地时间4月15号，微软发布了新一代大语言模型 WizardLM-2，新家族包括三个尖端型号:WizardLM-2 8x22B, WizardLM-2 70B，和WizardLM-2 7B，作为下一代最先进的大型语言模型，它在复杂聊天、多语言、推理和代理方面的性能有所提高。
2024-04-16 14:11:38
2020
原创 FreeAskInternet：本地AI搜索引擎，一周收获6.4K Star
FreeAskInternet是一个完全免费，私人和本地运行的搜索聚合器和答案生成使用LLM，无需GPU。用户可以提出一个问题，系统通过搜索进行多引擎搜索，并将搜索结果合并到ChatGPT3.5 LLM中，根据搜索结果生成答案。所有进程在本地运行，不需要GPU或OpenAI或Google API密钥。
2024-04-12 16:06:04
845
原创 Google开源代码大模型CodeGemma-7B力压CodeLLaMa-13B
CodeGemma 以 Gemma 模型为基础，为社区带来了强大而轻量级的编码功能。该模型可分为专门处理代码补全和代码生成任务的 7B 预训练变体、用于代码聊天和指令跟随的 7B 指令调优变体、以及在本地计算机上运行快速代码补全的 2B 预训练变体。
2024-04-11 11:46:37
1560
原创 挑战GPT4，开源大模型王者Llama3即将来袭
他的话语暗示着可能会有多次迭代或不同版本的发布。尽管现有报道仅确认 Llama 3 将同 Llama 2 一样集成代码生成能力，对于全面的多模态功能并未明确提及，然而，在官方发布的预告视频中，Meta 展示了将“人工智能”与“元宇宙”深度结合的愿景。去年七月，Meta 进一步推出了性能更为强劲的 Llama 2 版本，并在此基础上实现了开源协议的重大转折，由“仅限研究使用”升级至“完全免费商用”，尽管这一举措导致市场上出现大量基于 Llama 内核的衍生模型，但无疑重塑了大型语言模型行业的整体格局。
2024-04-10 10:43:42
436
原创 一篇文章读懂大模型Function_call和Agent的联系与区别
function_call通常指的是模型调用特定函数的能力，这些函数可以是内置的，也可以是用户自定义的。在执行任务时，模型可能会通过分析问题来决定何时以及如何调用这些函数。例如，一个语言模型在回答数学问题时，可能会使用内部的计算函数来得出答案。function_call机制允许模型利用外部工具或内部功能来增强其处理特定任务的能力。
2024-04-09 17:14:48
6062
原创 阿里开源Qwen-1.5-32B模型，性能超Mixtral MoE
开源社区长期以来一直在寻求一种能在性能、效率和内存占用之间达到理想平衡的模型。尽管出现了诸如Qwen1.5-72B和DBRX这样的SOTA模型，但这些模型持续面临诸如内存消耗巨大、推理速度缓慢以及显著的微调成本等问题。当前，参数量约30B的模型往往在这方面被看好，得到很多用户的青睐。顺应这一趋势，阿里推出Qwen1.5语言模型系列的最新成员：Qwen1.5-32B和Qwen1.5-32B-Chat。
2024-04-08 15:32:32
2343
原创 使用Java拓展本地开源大模型的网络搜索问答能力
开源大模型通常不具备最新语料的问答能力。因此需要外部插件的拓展，目前主流的langChain框架已经集成了网络搜索的能力。但是作为一个倔强的Java程序员，还是想要用Java去实现。可以选择Free Plan，提供每月100次的免费使用。接下来就是使用自己的邮箱和手机号进行注册。Serpapi 提供了多种搜索引擎的搜索API接口。
2024-04-03 13:42:02
1206
原创 微软开源的面向初学者的生成式人工智能课程
微软开源了一套面向初学者的生成人工智能课程，旨在通过18节课教我们开始构建生成式AI应用程序所需知道的一切。
2024-04-02 09:21:19
422
原创 AI程序员Devin的开源替代品-Devika
Devika是一名高级人工智能软件工程师，可以理解人类的高级指令，将它们分解成步骤，研究相关信息，并编写代码来实现给定的目标。Devika利用大型语言模型、规划和推理算法以及网页浏览能力来智能地开发软件。Devika的目标是通过提供一个人工智能结对程序员来彻底改变我们构建软件的方式，他可以在最少的人工指导下完成复杂的编码任务。无论您是需要创建新功能，修复错误，还是从头开始开发整个项目，Devika都可以为您提供帮助。Devika是模仿Devin设计的，旨在成为Devin的开源替代品。
2024-04-01 09:51:42
1591
原创 阿里通义千问Qwen1.5开源MoE模型
此外，相比Qwen1.5-7B，Qwen1.5-MoE-A2.7B的训练成本降低了75%，推理速度则提升了1.74倍。在这个比较分析中，阿里将Qwen1.5-MoE-A2.7B与最好的7B模型，比如Mistral-7B（base模型为v0.1，chat模型为v0.2）、Gemma-7B以及Qwen1.5-7B进行了对比。如果要使用量化模型，只需将模型名称Qwen1.5-MoE-A2.7B-Chat替换为Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4（暂时不支持AWQ）。
2024-03-29 08:40:19
1720
原创 借鉴LangChain思想使用Java实现大模型Function_Call工具开发及调用功能
虽然，使用以上框架实现了自定义工具，但是调用工具时，均需要依赖于python环境和以上框架，觉得还是有一定的限制。再加上，博主之前的基于大模型的所有功能（本地知识库、Text2SQL等）均是使用Java调用OpenAI接口实现，没有使用类似langChain这样的python框架。作为倔强的Java程序员，还是想用Java去实现自定义工具。博主之前研究的是ChatGLM3模型，该模型提供了Openai方式调用工具的代码。但后续转到Qwen1.5模型后，好像不可以直接用Openai接口的方式调用工具了。
2024-03-28 10:18:14
1488
原创 Ollama部署马斯克Grok-1模型
并且在Hugging Face上有大佬放出了Grok-1的非官方GGUF量化模型。在ollama官网，有大佬也已经上传了Grok-1模型。近日llama.cpp添加了对grok-1模型的支持。
2024-03-26 11:25:06
1481
1
原创 Xorbits Inference比Ollama更强大的模型部署与推理框架
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
2024-03-26 09:21:14
2743
原创 预训练大语言模型研究资料整理分享
关注公众号，发送关键字“大模型资料”获取1、大规模语言模型-从理论到实践【复旦大学】2、大规模预训练语言模型方法与实践【崔一鸣】3、大语言模型综述4、行业大模型标准体系及能力架构研究报告
2024-03-25 14:55:46
395
原创 Open WebUI大模型对话平台-适配Ollama
Open WebUI是一种可扩展、功能丰富、用户友好的大模型对话平台，旨在完全离线运行。它支持各种LLM运行程序，包括与Ollama和Openai兼容的API。
2024-03-25 10:55:41
4391
原创 Prompt提示词工程构建指南
这有助于理解为什么要执行这个任务，以及它与更广泛的目标或项目的关系。Role (角色) ：指定负责执行任务的个体或团队的角色或职责。OutputFormat（输出）：指定任务完成后的结果应该呈现的格式或样式，例如报告、演示文稿或数据表。Suggestions（建议）：提供有关如何改进或最优化任务执行的建议。Constrains（限制）：说明在执行任务过程中可能遇到的限制或挑战，如时间、预算或资源的限制。Profile（轮廓）：描述执行任务的个体或团队的特征，可能包括经验、技能或其他相关特质。
2024-03-08 17:40:28
2030
原创 LangChain自定义工具Tool
SYSTEM_MESSAGE_PREFIX = """尽可能用中文回答以下问题。您可以使用以下工具"""# 初始化大模型实例，可以是本地部署的，也可是是ChatGPTdescription = "当查询手机号的归属地时，使用这个工具"# 初始化工具# 初始化对话存储，保存上下文# 配置agentsystem_message=SYSTEM_MESSAGE_PREFIX, # 指定提示词前缀verbose=True # 是否打印调试日志，方便查看每个环节执行情况。
2024-03-07 16:09:33
1045
原创 Qwen-Agent自定义Tool
description = '手机号归属地查询服务，输入手机号，返回该手机号的归属地。'description': '输入的手机号',}]
2024-03-07 10:52:58
2809
5
原创 Ollama内网离线部署大模型
1、创建一个名为 Modelfile 的文件，并使用 FROM 指令，填写的模型的本地文件路径。访问huggingface下载qwen1_5-0_5b-chat-q5_k_m.gguf模型。2、在Ollama中创建模型。
2024-03-06 11:45:33
17637
17
原创 GGUF模型的不同量化模式说明
在下载Qwen1.5-72B-Chat_GGUF模型时，发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。q6_k：将Q8_K用于所有张量。q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。q5_0： 原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
2024-03-06 11:15:13
11305
1
原创 Linux系统CPU模式部署Qwen1.5-14B
Qwen1.5已适配Ollama。Ollama 是一个命令行聊天机器人，它使得几乎可以在任何地方使用大型语言模型变得简单。
2024-03-04 16:49:48
1119
原创 Qwen-VL本地化部署及微调实践
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
2024-02-23 11:59:17
4926
3
原创 利用ChatGLM3构建Prompt实现Text2SQL
将自然语言文本（Text）转换成结构化查询语言 SQL，帮助用户快速生成想要查询的 SQL 语句；或者是用户输入一段话，然后系统完成一系列自动化查询和报表展示的操作，过自然语言描述完成复杂数据库的查询工作，得到想要的结果。
2024-01-04 10:02:14
4742
原创 使用ChatGLM3自定义工具实现大模型查询MySQL数据库
大模型虽然强大，但是由于训练的时间和语料限制。只能获取训练数据集中有的事件和内容，这意味着大模型不具备访问最新资料的能力。ChatGLM3-6B模型以通用语料训练为主，因此，缺少专业领域的知识。ChatGLM3-6B体量较小，虽然拥有较强的数学，英语等能力，但仍然无法与GPT4等大模型进行抗衡，因此，会出现数学计算不准确等问题。简而言之，就是给大模型加上“四肢“，让大模型学会使用工具，很多问题将迎刃而解。
2023-12-28 15:53:56
4050
原创 使用LLaMA-Factory微调ChatGLM3
解决方法：将源模型中除了bin文件和pytorch_model.bin.index.json 以外的文件全部复制到导出目录中覆盖。待执行完，即可看到/root/LLaMA-Factory-main/merge路径下有了合并的模型了。（3）启动LLaMA-Factory的web页面。输入微调数据中的问题，回答贴合数据集，微调成功。将数据梳理好之后上传到data目录下。web页面和后台都会显示日志信息。可以看到也是没问题的。
2023-12-25 16:52:35
6321
2
原创 微软Autogen框架加载本地ChatGLM2-6B&ChatGLM3-6B
（1）使用Fastchat框架搭建运行ChatGLM2-6b模型openai兼容API。需要分别启动控制器、模型执行器和API服务。（3）测试AutoGen。
2023-12-14 18:11:13
1651
原创 ChatGLM2-6B微调实践-QLora方案
chatGLM_6B_QLoRA.json文件为所有transformers框架支持的TrainingArguments，可根据实际情况自行修改。使用的项目目前使用的peft为dev的版本，在合并lora model和base model时，会报错。原因是训练的步数太少，连保存checkpoint的step都没有达到。修改model_name_or_path参数为本地真实的模型路径。合并微调的Lora model和基座base model。适当调整chatGLM_6B_QLoRA.json中的配置。
2023-10-10 12:00:20
2420
2
原创 ChatGLM2-6B微调实践-P-Tuning方案
准备我们自己的数据集，分别生成训练文件和测试文件这两个文件，放在目录 ChatGLM2-6B/ptuning/myDataset/ 下面。执行web_demo.sh，访问http://xxx.xxx.xxx.xxx:7860。加载模型，需要从网上下载模型的7个分片文件，总共大约10几个G大小，可提前下载。如提示找不到conda命令，需配置Anaconda环境变量。训练集文件： train_file.json。测试集文件： val_file.json。根据提示一路安装即可。
2023-10-08 14:18:54
1858
2
apache-hive-2.3.5-bin.tar.gz
2020-06-23
tg-jdbc-driver-1.2.jar
2020-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人