- 博客(37)
- 收藏
- 关注
RSS订阅原创 基于XiaothinkT6语言模型的文本相似度计算：轻量方案实现文本匹配与去重
本文介绍了一种基于Xiaothink框架的轻量级文本相似度计算方案，主要特点包括：1）使用预训练的Xiaothink-T6-0.15B-ST模型，无需额外训练；2）适配普通电脑，8GB内存即可运行；3）提供完整代码实现。方案通过4个核心步骤实现：安装依赖、下载模型、构建嵌入提取器、计算余弦相似度（0-1范围，值越大越相似）。该方案特别适合问答系统、内容去重等需要快速判断文本语义关联的场景，具有低门槛、高效率的优势。
2025-08-26 17:07:17
1030
原创 教程：用XiaothinkT6语言模型快速实现文本情感分类，附轻量模型推荐
基于Xiaothink-T6-0.15B-ST模型实现低算力高效文本情感分类。该工具优势包括：零额外模型负担、适配轻量模型、即插即用API。通过pip安装后，只需3步即可实现情感分析：导入模块、初始化模型、调用分类接口。该方案采用指令微调技术，支持零样本迁移，无需额外训练数据。使用时需注意路径正确性和版本兼容性，适合资源有限的端侧应用场景。模型可通过ModelScope下载。
2025-08-19 13:40:01
655
原创 Xiaothink-T6-0.15B混合架构模型深度解析
Xiaothink-T6-0.15B模型突破性地采用MoF混合架构，融合Transformer与RNN优势，在仅0.15B参数和2.5GB训练数据条件下实现接近chatGLM-6B的性能。其核心创新包括：1）双专家协同系统（窄深Transformer处理复杂短上下文+宽浅RNN处理知识型长上下文）；2）思维空间模块增强语义理解；3）智能路由动态分配计算资源。该模型支持移动端部署，在基础问答任务中展现出色表现，为边缘计算场景提供高效解决方案。模型已开源并推出多轮对话优化版本，显著降低AI应用门槛。
2025-08-16 14:37:42
1068
原创 论80M参数如何以小博大：用小模型生成媲美GPT-4o的古典诗词
千言2（Xiaothink-T6-0.08B-Poem）是一款仅8000万参数的轻量级AI作诗模型，在单颗Intel Core i7上完成全流程训练。该模型通过150MB诗歌专项数据微调，在诗词创作效果上超越大100倍的ChatGLM-6B模型。用户可通过简单三步安装使用：1）安装专用库；2）下载模型文件；3）调用API生成诗词。模型支持风格仿写、诗句续写等功能，提供温度参数调节创作自由度，并能离线运行于树莓派等设备。其出色的文化传承性和硬件兼容性，为边缘计算设备上的AI创作提供了新可能。
2025-08-04 20:17:24
351
原创 芥象（Img-ZIP）图像超压缩模型
芥象（Img-ZIP）是一种基于深度学习的图像超压缩模型，通过智能分块（80×80区块）将图像压缩为整数序列（-40~40范围），实现1%的超高压缩率（7z二次压缩可达0.41%）。提供16-100维不同版本，16维版压缩率达0.15%但色彩还原弱，100维版（pro2.2_all）支持真实场景。使用时需通过xiaothink库调用，支持图像/视频压缩，并能赋能文本LLM实现多模态扩展。典型应用包括边缘传输（1MB→15KB）、文档存档等，在同等PSNR下体积仅为JPEG的10-15%。
2025-08-01 10:04:47
971
原创 小模型颠覆大模型：0.08B如何战胜670B？技术路径与未来风口全解析
【AI革命新范式：小模型时代来临】256MB模型性能超越80B巨兽，9美元训练成本颠覆行业。核心突破在于：1）算法革新（强化学习优化/慢思考机制）；2）架构革命（模块化组装/稀疏激活）；3）工具增强（自验证链/具身接口）；4）数据优化（精准配比/难度采样）；5）场景压缩（垂直领域特化）。未来四大风口：具身智能、边缘计算、AI民主化、绿色AI。产业格局正从"参数竞赛"转向"智能密度"竞争，开源工具链推动轻量化AI普及。这场静默革命宣告大模型时代的终结，智能效率成为新王道
2025-07-17 15:53:13
609
原创 【真·CPU训模型！】单颗i7家用本，4天0成本跑通中文小模型训练！Xiaothink-T6-0.08B-Instruct-Preview 技术预览版开源发布！
《突破GPU限制：基于CPU的低资源中文模型训练实践》在单颗i7-1165G7移动CPU上通过4天训练实现0.08B参数中文模型。核心创新包括：1）混合专家架构MoF，结合RNN的长文本处理与Transformer的高效推理；2）思维空间机制增强全局理解；3）线性注意力优化降低计算复杂度。实验证明该方案在32GB内存下达成基础NLP任务能力，为技术民主化提供可行路径。研究开源了完整代码与模型，展示了在民用设备上实现AI训练的可能性，为低资源环境下的模型开发树立了新范式。
2025-07-17 11:00:14
1358
原创 星尘：打造你的专属AI伙伴，引爆你的创意无限
星尘”不仅仅是一个平台，它更像是一场关于创意、科技和人性交汇的盛宴。在这里，你可以找到或创建各种各样的智能体——它们是根据特定人物或角色精心设计的AI模型。无论是古代诗人、现代医生，还是虚拟的胖猫，每一个智能体都有其独特的性格和背景故事。你可以与它们对话，获取灵感，甚至让它们帮助你续写自己的小说。而这一切，都只需要通过简单的点击就能实现。
2024-12-06 23:10:16
727
1
原创 清韵千言APP：一款基于RNN架构并深度优化的语言模型应用
清韵千言APP以其独特的GRU架构和单字token化技术，为用户提供了高效、智能的语言处理能力。它不仅支持在消费级CPU上进行高效训练与微调，还在消费级CPU上甚至能够超过25tps的处理速度，确保了对话的流畅性和实时性，同时还支持根据URL页面内容进行微调，从而快速实现基于某本小说进行微调的小说风格续写、基于微调的新闻续写等。此外，该应用所使用的模型省略了预训练步骤，所有官方模型的所有训练数据均由人工编写，无任何无不良信息，为用户营造了一个安全、健康的交流环境。
2024-10-06 11:12:09
852
原创 补充：关于GRU的详细运作原理以及特殊的优化思路
在GRU中引入一个内部的循环机制，这个机制可以进一步处理候选隐藏状态，以便更好地控制信息流。这种内部循环可以用来模拟更复杂的逻辑处理过程，类似于大脑中的多层次处理。
2024-08-05 13:12:23
1314
原创 利用清韵千言-小思构建AI生成模拟新闻应用
通过精心设计prompt，我们可以利用清韵千言-小思接口生成各种类型的新闻内容。这种方法不仅可以帮助我们快速生成大量高质量的新闻稿件，还可以作为自动化新闻生成的基础。随着技术的进步，未来我们甚至可以看到更加复杂和精细的新闻生成应用。今天，我们将介绍如何利用清韵千言-小思这个强大的AI大语言模型接口，创建一个简单的AI生成模拟新闻应用。我们将重点讨论如何设计有效的prompt以生成高质量且具有新闻价值的内容。为了从清韵千言-小思中获取高质量的新闻内容，我们需要精心设计prompt。
2024-08-05 12:34:35
410
1
原创 清韵千言-小思——一个强大的AI大语言模型接口
清韵千言-小思 是一款由我们的团队自主研发的大规模语言模型接口。该模型不仅能够处理各种自然语言任务，而且它的大部分能力已经超越了GPT-3.5等模型。尽管如此，小思也有一些特定的限制条件，比如不支持上下文记忆、不支持并发请求等。下面将详细介绍这些特点以及如何使用它。
2024-08-05 11:41:57
1026
1
原创 【基础模型】开始构建我们自己的大语言模型3：训练我们的模型（内附免费完整训练资源）
在本篇博文中，我们介绍了如何设置训练循环来训练一个语言模型，包括监控训练进度、保存模型检查点、以及进行中间测试。这些步骤对于训练任何深度学习模型都是非常重要的，希望这篇博文能帮助你更好地理解和实践模型训练的过程。
2024-08-03 15:59:37
1003
原创 【基础模型】开始构建我们自己的大语言模型2：模型构建部分
首先，我们需要一个函数来定义并构建我们的模型。这个函数将接收多个参数，如词汇表大小（vocab_size）、嵌入维度（）、RNN单元数（rnn_units）、批量大小（batch_size）以及模型版本（mt）和窗口大小（window，目前他没用但以后我们优化模型的时候会用到）。这是GRU的简单流程图：fill:#333;color:#333;color:#333;fill:none;输入层: 接收当前时间步的输入数据重置门: 即sigmoid函数 决定新输入与旧记忆的结合。
2024-07-26 15:45:44
659
原创 如何使用Python调用颜值评分接口
我们可以轻松地从Python中调用颜值评分接口，获取任何图片的颜值评分。这不仅可以用于娱乐目的，还可以作为面部识别系统的一部分，或者在社交媒体应用中评估用户上传的图片。在当今社会，人工智能技术被应用于各个领域，包括图像识别和分析。今天，我们将利用Python来调用小思框架颜值评分接口，该接口可以接收一张人脸图片，并返回一个表示颜值水平的分数。请确保在实际应用中遵守所有相关的隐私法规和道德准则，尊重个人隐私权。本文只是示例，实际应处理更多异常情况，例如网络错误、超时等。
2024-07-18 23:01:04
527
原创 开始构建我们自己的大语言模型：数据处理部分
接上集，本章我们将深入说一下大语言模型数据处理部分的细节，并直接提供本部分的完整代码以及免费公开的的配套资源。
2024-07-18 22:08:04
1807
原创 将独热码应用到神经网络中
接上回，本文继续说如何用TensorFlow将独热编码应用到一个简单的神经网络中，以实现从一段随机文本到另一段随机文本的转换。
2024-07-12 23:13:44
684
原创 回归主题：语言模型——独热码（One-Hot Encoding）在TensorFlow中的应用
独热编码是一种数据预处理技术，用于将类别型特征转换为数值型特征。它的工作原理是为每一种可能的类别创建一个新列（或特征），当原始类别出现时，对应的新列值为1，其余均为0。
2024-07-05 13:43:09
1114
原创 纯Numpy实现简单的深度学习：从零开始构建神经网络
在本文中，我们将通过使用Python的Numpy库，从头开始构建一个简单的神经网络模型，以此来深入理解深度学习的基本原理。我们将涵盖神经网络的基础、前向传播与反向传播过程、损失函数以及梯度下降法等核心概念，并通过代码示例展示如何利用Numpy实现这些概念。最后，我们还将探讨如何保存与加载模型。
2024-06-22 21:26:39
1641
原创 配置Python环境和下载TensorFlow
首先，我们需要安装Python。Python是一种广泛使用的编程语言，非常适合进行数据处理和机器学习。TensorFlow是一个开源的深度学习框架，我们可以用它来构建和训练神经网络模型。现在你已经成功配置了Python环境并安装了TensorFlow。（针对Windows用户）
2024-04-27 15:49:26
794
1
原创 认识一个强大的深度学习框架——TensorFlow
其实，TensorFlow就像是一个强大的“工具箱”，它里面装满了各种各样的工具，可以帮助我们更容易地搭建和训练神经网络模型。此外，虽然还有其他一些深度学习框架，比如PyTorch，但我们选择TensorFlow的原因在于它的易用性和稳定性。相信我，通过这一章的学习，你会对TensorFlow有一个初步的了解，并且能够为后续的深入学习打下坚实的基础。其次，TensorFlow有很好的生态系统和社区支持。它有着庞大的用户群体和丰富的资源，这意味着当我们遇到问题时，可以很容易地找到解决方案或者得到他人的帮助。
2024-04-26 19:24:19
262
原创 深入探索神经网络的内部工作机制！
相信通过这一章的学习，你对神经网络语言模型的工作原理有了更加深入和直观的理解。以RNN为例，它的核心思想是能够“记住”之前的信息，从而对当前的输入进行更好的处理。RNN也是如此，它会将之前的信息传递给当前的状态，使得模型能够更好地理解文本的上下文关系。它们就像是神经网络语言模型的“骨架”，支撑着整个模型的结构和功能。LSTM通过引入“门”的机制，使得模型能够选择性地保留和遗忘之前的信息，从而解决了RNN的“记忆衰退”问题。通过不断地调整模型的权重参数，使得模型的预测结果越来越接近真实的标签。
2024-04-26 19:15:28
363
原创 学习搭配词语的小朋友
我们会一起了解它的基本架构（比如循环神经网络RNN、长短时记忆网络LSTM和Transformer等），探究它是如何训练的，以及它是如何通过不断的学习来提升对自然语言的理解和生成能力的。相信我，通过这一章的学习，你会对神经网络在语言模型中的神奇之处有更加直观和深入的理解。首先，它会从大量的文本数据中“阅读”并学习词汇间的关联性、语法结构以及上下文信息等深层次的语言特征。当面对海量的文本数据时，它并不是像人类那样逐字逐句地理解和记忆，而是通过强大的计算能力和模式识别能力来探寻语言的奥秘。
2024-04-26 19:10:24
337
原创 输入法算法与神经网络
比如，你输入“明月”，它可能会联想到“几时”，甚至能继续联想出“明月几时有，把酒问青天”这样的句子。有时候，它可能会写出像“今天晚上吃火锅非常的辣椒真的确”这样的句子，明显不通顺。举个例子，我们常用的手机输入法联想功能，其实就有点类似于语言模型。手机输入法的联想功能一般用的都不是神经网络，而是像贝叶斯算法、隐马尔可夫模型或者决策树这样的传统算法。神经网络，可以说是语言模型的“心脏”，没有它，语言模型就像蒸米饭没有大米一样，难以成型。当然可以，但效果嘛，可以说是天壤之别，基本上都写不出连贯的句子来。
2024-04-26 19:08:26
385
原创 让机器写作文？
它们首先会仔细分析你给出的Prompt，然后在它们的大脑（词汇表）里计算每个词出现的可能性。每次，它们都会选出最有可能的那个词，加到回复里。而每一个新生成的词，都是基于之前的内容，所以整个回复在意思上都是连贯和合理的。当你给它们一个Prompt（提示）时，它们会根据自己的“知识库”，预测并选择一个最可能出现的词汇作为下一个词，然后继续预测下一个，直到生成完整的回复。如果你用过文心一言、GPT系列模型、讯飞星火或通义千问等，你会发现它们有一个共同的“秘密”——它们都是逐词、逐字地生成文本的。
2024-04-26 19:05:42
361
原创 介绍一下：NLP
传统的讲解通常从简单的分类任务开始，然后逐步深入到复杂的生成任务。通过这种巧妙的方式，让你在轻松愉快的氛围中快速入门NLP，感受语言处理的魅力！像GPT、BERT这样的“语言巨匠”，它们通过海量数据的训练，学会了丰富的语言知识和上下文信息，可以生成更加自然、准确的文本，并在各种NLP任务中大放异彩。想象一下，当你和电脑聊天时，它不再是一个冷冰冰的机器，而是一个能懂你心思的“小伙伴”。NLP就是这么神奇，它让计算机可以分析、理解，甚至生成人类的语言，使得人机交互变得更加自然、高效。
2024-04-26 19:02:57
806
原创 【创新模型解析】揭秘Tiny GRUs（TGS）：一种面向大语言模型训练的高效网络架构
在深度学习和自然语言处理领域，我们不断探索更高效、更具表现力的模型结构。今天，我将为您介绍一款新颖的大语言模型训练架构——Tiny GRUs（简称TGS）。这种模型架构凭借其独特的设计思路与卓越的性能特点，在大规模语言任务上能够展现出显著的技术优势。TGS模型架构的核心设计理念是精细化和层次化。其结构采用了一系列嵌套的GRU（门控循环单元）层，这是一种擅长捕捉序列数据长期依赖关系的递归神经网络结构。
2024-04-21 12:29:23
858
1
原创 【深度解析】低资源环境下的循环神经网络：用RNN挑战Transformer的实践策略
在资源受限的情况下，通过精心设计和优化的RNN模型，以及创新的数据加载与训练流程，我们能够在一定程度上缩小与先进Transformer模型的性能差距。长远来看，随着硬件技术和新型模型架构的发展，低资源环境下的NLP解决方案将进一步得到改善与丰富。尽管一维卷积可以在一定程度上缓解RNN中的梯度消失问题，但相比于Transformer的自注意力机制，它无法灵活地捕获任意位置之间的依赖关系，且随着卷积核尺寸增加，内存开销和计算复杂度也会迅速增长，这在低资源环境下并不理想。
2024-03-10 18:13:37
1295
1
原创 Python快速无限制使用接口实现AI小说续写：API详解与代码示例
本文将分享一个基于Python实现AI小说续写的便捷方式，通过小思框架的小说续写API接口，您可以快速、自由地运用AI技术为您的小说创作提供灵感和续写内容。
2024-02-13 18:39:09
2665
4
原创 国内接口 四行代码搭建一个属于自己的AI聊天机器人
AI语言模型在最近很火，今天介绍一个中文的聊天语言模型api：SKchat-v3聊天，回复时间大概在9秒左右。不支持大量并发或频繁调用。
2023-10-29 20:13:05
1116
2
原创 可以用于判断收作业概率的一些模型或算法
建立一个模型或算法，来预测哪些作业老师不会收。这个模型或算法可以根据历史数据和学科特点等因素，计算出每科作业被收取的概率或可能性。
2023-10-06 16:58:43
120
1
原创 基于cefpython3的浏览器
这个例子就不兼容较新版的浏览器（上传图片会失败）。我们可以使用cefpython3，借助它版本较旧的特点。基于一个开源的浏览器代码（博客太久找不到了），制作了一个简单的标签页浏览器。含有基本的功能，但是不支持cookie保存，可以自己加上。
2023-10-05 17:17:54
955
2
原创 tensorflow报错：KeyError: ‘Unable to open object (bad local heap signature)‘
检查了一下，报错的原因是在加载模型的时候，训练模型的代码同时在保存模型，最后加载失败。加一个try...except...语句就能解决了。
2023-09-24 17:03:03
306
1
SKchat小说续写模型
2023-06-25
tensorflow自定义层报错：无法在第一维度未知的张量上迭代
2024-07-21
深度学习的自定义层的call方法中如何将tensor转为numpy矩阵？
2024-05-03
从头训练RNN语言模型，这样的loss正常吗？
2024-04-21
用pytorch训练对抗网络时矩阵乘法报错
2023-10-04
如何解决微信公众号自动回复Unicode码的问题
2023-07-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人