- 博客(57)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 伯明翰machine-learning bayesian regression
本课阐述了MLE与MAP方法在回归分析中的应用。在随机高斯噪声假设下，线性回归的MLE等价于最小二乘法；当引入参数先验分布时，MAP则对应于岭回归。通过贝叶斯公式推导，将后验概率表示为似然函数与先验的乘积。对多元高斯分布进行MLE处理时，将概率转化为对数似然函数。进一步证明最大化该函数等价于最小化误差项。在MAP方法中，通过假设参数服从均值为0的高斯先验分布，最终推导出岭回归的解形式。这一过程完整展示了从频率学派到贝叶斯学派的统计推断思路。
2025-08-01 00:20:43
175
原创 【工作流】Fastgpt配置豆包模型-火山引擎
V4.9.7 Fastgpt现在不通过oneapi 来配置模型和渠道了， 可以直接在页面进行设置。在RestAPI的 model 里面可以看到模型名字，对应刚刚填入的 模型映射的 value。映射之后还要在火山引擎打开这个模型权限，需要操作3次 ，每个模型一次。渠道名随便填，厂商选豆包， 然后选3个模型，如图所示。
2025-05-22 21:00:58
844
1
原创 初学者如何学习AI问答应用开发范式
技术范式现在超过80%的AI问答是 提示词+ 大模型， 然后就是RAG 方案，这两种无疑是主流方案。1、提示词+大模型适合于本身业务不超过大模型的知识范围， 也就是说， 不存在太多的私有知识或sop2、RAG适合有私有知识 ，或者私有知识特别多 且对 答案的准确率有很高要求的场景除了这两种呢？第三种是工作流（function call），这种方案可以定制任意的流程，设计独一无二的业务处理方案，因此，再任何情况下，工作流都是一个必须的方案。第四种是 Agent：平心而论，现
2025-05-01 19:52:05
785
原创 MetaGPT姐妹项目OpenManus的agent和 tool模块理解
距离 OpenManus 开源第一天到现在，已经过去了 12 天，GitHub 上的 Stars 已经超过了 37k+。 本篇文章初步探索Tool 工具
2025-03-30 16:34:04
308
原创 【autodl】stable-diffusion-3-medium快速部署
stable diffusion 3 medium 是一个开源模型，本教程是在autodl上部署modelscope上的sd3模型、
2024-08-04 17:08:14
646
原创 快手文生图模型-Kolors快速上手
可图(Kolors)：用于真实感文本到图像合成的扩散模型的有效训练可图，是快手开源的一个文生图模型，架构上使用了chatglm，比普通的sd模型在中文理解上要强大很多，以往sd模型的提示词理解能力往往只有两种 1、理解英文单词 2、理解中文单词，但是不理解中文俗语， 更不理解句子。可图解决了这个问题， 可以理解长文本中的语义，不需要学习复杂的提示词可图的一个亮点就是生成图片有文字。（测试发现并不能生成太长的文字）
2024-07-30 14:40:59
726
原创 【ChatBI】text2sql-不需要访问数据表-超轻量Python库Vanna快速上手，对接oneapi
oneapi 接入 ， kimi moonshot ， vanna接入
2024-06-24 20:04:59
1175
5
原创 【AI工作流-AI-Agent】FastGPT新建应用并用openai接口调用
FastGPT 简介 。 openai 调用FastGPT的API
2024-06-22 01:01:08
2051
3
原创 Python 实现Jaccard 相似度 计算排序
基本原理Jaccard 的核心就是。交集/并集。公式为 Jaccard(a,b) =. | F(a) ^ F(b)| / |F(a) U F(b)||如何理解这个 指标呢 ？ 比如说 我和 我朋友都喜欢 听歌， 我们在 网易云音乐听歌，我听过的歌 和 他听过的歌 类似，那么我们这两个 用户就 非常相似。 可以 通过 jaccard 来根据我们的听歌的记录的交集和并集来计算相似度。如果我和 我的朋友 听过的歌完全一样 ，那么 fa = fb ， jaccard 为1。如果我们之间没有共同的播放
2022-04-11 15:57:37
3944
原创 判断numpy 中 infinite 和NAN的问题
在numpy中由于numpy太强大了，经常会计算出一些不合法的结果，若不注意放入model中训练。就会报错今天教大家一个测试数据是否合法的函数np.isnan(y)上面的y是一个数 ，return返回值为TrueFalsenp.isnan(vec).any()np.isnan(vec).all()上面的vec是一个nparray，可以判断数组中的任意元素是否合法，特...
2020-02-17 20:33:42
3597
原创 pytorch从glove词向量源文件中生成embedding并载入
首先是下载glove文件格式为txt，每一行开头是单词，后面是100个float类型数，空格隔开，因此我们载入这个文件，并取出每一行def get_numpy_word_embed(word2ix): row = 0 file = 'zhs_wiki_glove.vectors.100d.txt' path = '/home/socialbird/platform...
2019-11-19 20:12:35
5771
2
原创 中文词性标注part of speech tagging数据汇总序列标注数据语料
2014人民日报1998人民日报国家语委treebankmsra微软亚洲研究院
2019-10-28 00:29:22
880
原创 【最新试验】用预训练模型xlnet做序列标注_自然语言处理_使用XlnetForTokenClassification做命名实体识别pytorch版
ner，命名实体识别是关系抽取中非常重要的一个任务。通常命名实体指的是时间，地点，人名，组织名等等。而中文命名实体识别由要比英文更加复杂。这里我用xlnet来做ner。首先第一步是处理数据我们首先在github上找到一个数据汇总的repo，下载下来或者git clone下来都可以。https://github.com/InsaneLife/ChineseNLPCorpus/tre...
2019-10-12 19:09:22
2326
4
原创 【最新试验】用预训练模型Roberta做序列标注_自然语言处理_使用RobertaForTokenClassification做命名实体识别pytorch版
有了ｂｅｒｔ,roberta还会远吗，目前ｐｙｔｏｒｃｈ ｔｒａｎｓｆｏｒｍｅｒ上已经放出了ｂｅｒｔＦｏｒＴｏｋｅｎＣｌａｓｓｉｆｉｃａｔｉｏｎ然而,在工业界前进的我们，不能忍受如此慢速的更新于是我们自己写好了robertaForTokenClassicification类，准备使用了！以下是代码class RobertaForTokenClassification(Be...
2019-09-17 21:06:18
4117
原创 【最新试验】使用BertForTokenClassification做命名实体识别序列标注pytorch版
阅读这篇文章你需要知道什么是bert？bert几乎时最新最强的预训练模型之一。使用方法很简单，只需要一块gpu，大概8g显存，再取github上找到pytorch transformer这个repo，最后运行里面的run glue.py恭喜你！成功打开新世界大门但是，如何用bert做ner呢？我们现在的run glue只能解决句子分类，而ner相当于词级分类，所以只能自己想怎么搭建模...
2019-09-16 20:31:04
11659
2
原创 【对话系统】rasa源代码阅读-探索memoization policy是如何实现的
很久没更新这个博客了，今天工作中需要实现rasa的story流程功能，所以先看看rasa的源代码找一些灵感。首先我们先train一个对话模型，rasa -core是用来训练和使用对话管理模型的。下面是train部分的代码。from rasa_core.agent import Agentfrom rasa_core import configimport uuiddef a...
2019-07-09 14:45:59
2990
原创 Keras 中加入lambda层无法正常载入模型问题
刚刚解决了这个问题，现在记录下来问题描述当使用lambda层加入自定义的函数后，训练没有bug，载入保存模型则显示Nonetype has no attribute 'get'问题解决方法:这个问题是由于缺少config信息导致的。lambda层在载入的时候需要一个函数，当使用自定义函数时，模型无法找到这个函数，也就构建不了。m = load_mode...
2019-05-30 15:14:22
3115
9
原创 如何从头开始用rasa根据自己的任务设计一个任务型对话机器人
以订电影票为例子。我们首先要列出所有intent的名称，rasa的intent的粒度较细，任何用户输入都可以被看做一个intent。因此我们需要枚举出在一个场景下所有可能的用户输入的意图。如我要订电影票的intent是订电影票，我要看钢铁侠的intent是报告电影名，我要两张票的intent是报告票数用户输入 ...
2019-04-19 19:35:58
1903
原创 CNN句子分类TensorFlow网络解析
概要：这篇博客主要分析了如何用TensorFlow对句子建模，模型为CNN，涉及到常用函数的参数及解释。首先放入 序列，进入embedding层，得到维度为 [none,句子长度，词向量维度，1]的张量，多的维度是用来做卷积的。[None,sentence_length,embed_size]self.embedded_words_q = tf.nn.embedding_loo...
2019-04-01 18:54:35
390
原创 keras 问答匹配孪生网络文本匹配 RNN 带有数据
用途：这篇博客解释了如何搭建一个简单的匹配网络。并且使用了keras的lambda层。在建立网络之前需要对数据进行预处理。处理过后，文本转变为id字符序列。将一对question,answer分别编码可以得到两个向量，在匹配层中比较两个向量，计算相似度。网络图示：数据准备：数据基于网上的淘宝客服对话数据，我也会放在我的下载页面中。原数据是对话，我筛选了其中label为1的...
2019-04-01 14:23:49
1768
原创 Tensorflow卷积神经网络 CNN文本匹配 问答匹配 (accuracy 78%)附带数据
花了一点时间将之前的文本分类改成现在的QA匹配，实际上思路还是很简单的，原来的x 输入换成xq，xa,label不变。匹配层我用的是difference+ absolute value的操作。它计算两个句子，q，a相似程度。非常简单。代码一步步给。定义： 模型所需数据个数，qa的对数模型考虑的词汇表大小每个句子的长度词向量维度批次大小学习率# d...
2019-03-29 17:57:38
2156
原创 TensorFlow 情感分析句子分类CNN代码（附带数据）
原代码来自GitHub https://github.com/Delphine0379/text_classification/blob/master/a02_TextCNN/p7_TextCNN_predict.py加入数据 ，数据可以从我的下载页面找到。格式为 [sentence,label],sentence是id的list，label是1或0测试# -*- cod...
2019-03-29 14:46:08
2149
2
原创 Tensorflow 循环神经网络 RNN文本匹配 问答匹配 (accuracy 74%)(3)
这篇博客是记录我做文本匹配的一些尝试，现在依然用之前的淘宝数据，准确度74%。之前的博客已经讲解了句子序列是怎么回事了，现在我们把文本分类问题改写成问答匹配问题。那么显然现在我们的输入变成了两个句子，输出依然是分类标签。那么两个句子经过同样的RNN获得最后的sentence vector，如何匹配sentence vector呢？我这里用的是dot product，两个vector对应位置相乘...
2019-03-24 13:30:08
665
原创 TensorFlow 情感分析句子分类RNN循环神经网络代码（附带数据）
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport nltkimport pandas as pdfrom collections import Counterimport numpy as npMAX_FEATURES = 150MAX_SENTENCE_L...
2019-03-21 16:07:58
1135
3
原创 TensorFlow RNN循环神经网络代码nlp句子分类例子（非图像识别）
关键词：非图像识别，RNN，TensorFlow，代码，句子分类，NLP、【注意】这是一个测试数据没有实际意义，所以需要实际数据的请看我的其他博客里有说明有问题的留言问我就好。最近在看RNN的句子分类，发现网上的代码各种讲解不清楚，于是花了点时间试了试改了改网上的代码，总算对TensorFlow下的RNN有一个了解。机器学习三大关键点，数据格式，loss定义，网络结构。我们在...
2019-03-21 13:17:24
786
4
原创 【监督学习】第六课习得理论（learning theory）
这里是监督学习第六课，需要看其他课的请点击我的文章列表！ 统计学习模型：如何学习一个模型呢？通过定义联立分布P(X，y)，我们可以用积分得到模型函数的期望误差expected error。其中V函数为loss function，损失函数，参数为观测y和预测y。而让这个期望误差最小的时候，我们就得到了在给定数据下的最优解，可惜的是，分布是固定但未知的，所以我们无法得到最优...
2018-08-14 22:06:51
937
item2vec论文翻译
这里是item2vec 论文翻译 很多协同过滤算法都是基于item的，因为这些算法分析出item之间的关系来算出item相似度，最近NLP领域有了些新动向，这些东西建议用神经网络嵌入算法来学习单词的潜在表示。其中SGNS 也就是Word2Vec最厉害，在各种语言类任务中表现完美。在这片论文中，我们证明了基于item的协同滤波也能转成一样的嵌入框架中。受SGNS启发，我们讲述了一个item2...
2018-07-23 18:17:30
788
原创 使用tensorflow导入已经下载好的mnist数据集()
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist_data_folder="/home/socialbird/Downloads/MNIST_data"mnist=input_data.read_data_sets(mnist_data_folder,one_hot...
2018-07-16 17:24:57
7646
原创 【监督学习】第八课 树型学习方法与集成方法（Adaboost，回归树，分类树，bagging）
这节课讲的是各种树相关的学习算法或模型，以及它们是如何集成的。树方法试图将空间分割成长方形集合，然后在这些长方形上拟合一个模型。其中Rn表示一个 区域，region。也就是一个长方形。这些长方形彼此没有交集，共同构成整个空间。I函数则表示对或错。如果x属于Rn，那么I的值为1，否则为0.而cn代表自然选择。也就是在Rn区域中所有y的平均值。利用单阈值，我们可以对某个属性值进行切割，将一个平面分成两...
2018-07-15 17:52:29
1303
1
原创 网络多媒体 - 邀请协议
这里是internetworking multimedia读书笔记。还是一样放链接http://www.cl.cam.ac.uk/~jac22/books/mm/book/node176.html然后开始读（翻译）对于多道通信来说，我们不需要什么正式的建立机制。发送端发送信息到一组地址上，然后接收端订阅这组地址就能保证通信的进行了。不过实际上，我们还需要一个方法让程序员知道用哪个通信地址，什么传输...
2018-07-09 16:23:31
388
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人