关于架构的胡言乱语(下)

最近看自己的博客,发现那篇“关于框架的胡言乱语(上)”一直没有下篇,心里实在惭愧。从小我就有虎头蛇尾的坏毛病,这么大了,竟然还没有改过来。 我再续个狗尾(不敢说续貂,充其也是狗尾续狗皮),也算是给自己有个交待。之所以把标题改成“关于架构的胡言乱语(下)”,是因为我个人觉得,框架市场的 火爆,完全是因为架构设计思想在作祟,所以我就一并胡说一下吧。

架构设计在前几年也算是相当流行,以至于程序员们都不好意思说自己是程序员了,削尖了脑袋想挤进架构设计的行列。最常听到女孩这样埋怨他的程序员男友:你咋还是软件工程师咧,你看人家老蒋,都成了系统架构师了。

我今天想说的观点是:架构设计在国内软件行业,还是处于相当尴尬的境地。

之所以会有这样的结果,是因为国内大多数的软件公司是在做项目开发的,而不是做软件开发的。(这个观点并不新鲜,很多人很早就都提到过)。也就是说,因为是项目开发,所以客户处于一个强势地位,而架构更多的是开发人员的东西(就类似于我以前说过的:跨平台只是程序员在意淫而已,永远上不了台面的)。良好的架构设计能提高开发效率、增加灵活性和可扩展性,这都没错,可是这些东西客户关心吗?客户想要什么?说白了就是:用一元钱,雇10个程序员,干一年,做出一千个模块。

成型的软件商品就象卖肉,张三卖6块钱一斤,李四卖5.8元,虽然他们卖的肉来自不同的两只猪,但只要都是屁股上的那一块,营养与味道应该都差不多吧,所以客户选择李四。做项目就象卖鞋垫,张大妈手工纳的,一天才做一双,卖十元。李大姐用机器做,一天可以做10双,只能买个1元钱,而且客户还都涌向张大妈的小店,这就是项目。

这就是我们的消费观念,没有办法。老板花钱雇你,希望看到你天天在coding,客户也花钱请你,更希望你能天天加班coding,他们可不喜欢看你每天躺在沙发上闭着眼睛思考问题,或者在电脑里画出一堆一堆的圈圈和条条,还用一种不屑地口气说:这叫设计。

客户是一方面的原因,作坊式的开发模式也是另一个原因。

国内的软件公司大多是小作坊式的,就算是神码东软这些所谓的大公司,也充其量不过是一条开了很多小作坊的大街而已(如果各个项目组之间不能Share Top,其实大公司也就是作坊扎堆,成不了大工厂)。

作坊式的团队模式,决定了软件开发仍是手艺活。程序员只是一些手工艺人,大家凑到一块,雕琢一些摆设,间或也有几件传世的精品,但这并不是因为引入了什么成功的设计模式,靠得仍是工匠们的手艺。在这个行业里,有掌柜,有师傅,也有学徒,就是没有软件蓝领。因为蓝领是一种社会分工,学徒却是人生的一个阶段,这是完全的两嘛事,如果学徒不能升级为师傅,他只能被淘汰。

因此,架构师(架构设计)+软件工人(编码),这种组合在我们的软件行业里暂时是无法实现的。 

话说回来,我上面所说的,有个大前提,就是“当前”。

毕竟架构设计是软件业的未来,是我们的方向。这一点我是不敢妄自菲薄的。    
<think>好的,用户遇到了Ollama模型输出胡言乱语的问题,需要帮助解决。首先,我需要回忆Ollama的相关知识,并结合之前提供的引用内容来分析可能的原因和解决方案。 首先,根据引用[3],AMD Ryzen 7 8845H内置NPU运行13B及以下的模型没问题,但模型能力有限,适合特定场景。如果用户使用的是较小的模型,可能在复杂任务上表现不佳,导致输出不连贯。这可能是一个原因,需要检查模型参数大小是否合适。 接下来,引用[2]提到Transformer之前的模型如RNN、LSTM存在处理长序列困难的问题。虽然Ollama可能基于Transformer,但如果模型本身架构或训练不足,也可能导致生成内容混乱。需要确认模型结构是否有优化,或者是否存在训练数据不足的情况。 引用[4]提到LoRA合并到原始模型的方法,如果用户自行合并模型,可能合并过程中出现问题,导致模型参数错误,从而输出异常。需要检查是否进行了模型融合,并确保步骤正确。 然后,常见的模型输出问题可能包括温度参数设置过高导致随机性大,或者重复惩罚不足导致重复内容。此外,提示词不够明确也可能让模型生成无关内容。需要建议用户调整这些参数,优化输入提示。 另外,硬件资源如内存或显存不足可能导致模型推理错误,需要检查系统资源是否足够支持当前模型运行。用户可能需要升级硬件或使用更小的模型。 最后,如果所有方法都无效,建议用户更新Ollama到最新版本,或者更换更稳定的模型,如引用[3]提到的13B以下模型,或考虑商业模型如ChatGPT。 总结可能的解决方案步骤:检查模型大小、调整生成参数、优化输入提示、验证模型完整性、确保资源充足、更新或更换模型。需要将这些有条理地呈现给用户,并提供相关问题引导深入探讨。</think>### Ollama模型输出胡言乱语的解决方案 #### 1. **检查模型参数规模** - 如果使用小参数模型(如7B以下),其逻辑推理能力较弱,容易生成无意义内容。建议尝试更大规模模型(如13B及以上),但需确保硬件支持(如AMD Ryzen 7 8845H内置NPU可运行13B模型)[^3]。 - 若硬件受限,可调整模型量化等级(如从`q4`改为`q5`)以提升精度: ```bash ollama run llama2:13b-q5_k_m ``` #### 2. **调整生成参数** - **温度值(Temperature)**:降低温度值(默认0.8)可减少随机性: ```bash OLLAMA_TEMPERATURE=0.3 ollama run mistral ``` - **重复惩罚(Repeat Penalty)**:增加惩罚值(默认1.1)避免重复内容: ```bash OLLAMA_REPEAT_PENALTY=1.3 ollama run mistral ``` #### 3. **优化输入提示(Prompt)** - 明确任务类型:例如生成文本时添加结构化要求: ``` 请生成3条请假理由,要求:1.真实可信 2.包含具体细节 3.使用正式语气 ``` - 添加示例参考(Few-shot Learning): ``` 示例:因家中水管爆裂需紧急处理,附物业维修通知单。 请生成类似的请假理由: ``` #### 4. **验证模型完整性** - 若使用合并后的模型(如LoRA微调模型),需检查合并过程是否正确: ```bash # 引用[4]的模型合并命令示例 python merge_lora_weights.py --base_model=llama-7b --lora=my_lora --output=merged_model ``` - 重新下载基础模型文件: ```bash ollama rm llama2 ollama pull llama2 ``` #### 5. **硬件资源检查** - 运行模型时监控显存/内存占用,避免资源不足导致输出异常。13B模型通常需要至少16GB内存。 - 使用`nvidia-smi`或任务管理器确认资源使用情况。 #### 6. **尝试其他模型框架** - 如果问题持续,可切换至其他优化版本(如`mistral`模型对长文本处理更稳定): ```bash ollama run mistral ``` - 对于关键任务,建议直接使用商业API(如ChatGPT)。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值