结构之法 算法之道

通义千问Qwen3系列大模型在架构、训练和数据方面实现全面升级。该系列包含6个稠密模型和2个MoE模型，其中2350亿参数的旗舰模型Qwen3-235B-A22B在多项基准测试中超越同类产品。模型采用分组查询注意力、SwiGLU等先进架构，通过三阶段预训练（通用、推理、长上下文）处理36万亿token的多语言数据。后训练创新性地引入"思维控制"和"强到弱蒸馏"技术，显著提升模型推理能力和训练效率。相比前代Qwen2.5，新模型在参数效率、多语言支持和长文本处理等方面均

2023年7月11日，百川智能发布Baichuan-13B(这是其GitHub地址Baichuan-13B 是继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，本次发布包含以下两个版本预训练(对齐(，July注：我看了下代码，这里的对齐指的是通过对话数据对齐，即只做了SFT，没做RLHF)更大尺寸、更多数据Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到130亿，并且在高质量的语料上训练了1.4。

第一部分 各种医疗类ChatGPT：或中英文数据微调LLaMA、或中文数据微调ChatGLM1.1基于LLaMA微调的中英文版ChatDoctor11.1.1 ChatDoctor：通过self-instruct技术提示API的数据和医患对话数据集微调LLaMA

随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《