- 博客(129)
- 收藏
- 关注
RSS订阅
原创 词权重 (term weight)方案总结
目录1 无监督 (unsupervised) 方法1.1 统计方法（TF, TF-IDF, YAKE)1.2 图方法 (TextRank, SingleRank, TopicRank, PositionRank)2 有监督 (supervised ) 方法2.1 Delta TF-IDF2.2 TF-IDF-ICF2.3 TF-RF2.4 TF-IGM3 语义学习方法3.1 基于关键词学习3.2 基于文本分类3.3 基于检索语义向量匹配4 文本分计算4.1 BM254.2 结合term weight1 无
2021-09-06 19:47:03
5837
1
原创 BiLSTM, CRF，BiLSTM+CRF原理讲解以及viterbi算法python实现
目录1 bilstm2 CRF3 bilstm+crf4 约束关系应用bilstm+crf解读：1 bilstm1.只有bilstm，只学习token到label的关系，但是分词还有一个特性，就是label与label之间存在约束bilstm的计算和学习过程loss，以及预测过程流程说明2 CRF3 bilstm+crf2.bilstm+crf解读crf分值：发射概率+转移概率路径的分值：发射分值：x1+x2+x3，+ 转移分值：y1->y2+y2->y3 =s最终 t
2021-08-08 17:08:02
3990
原创 正则化(regularization)方法总结
8.7 归一化和正则化的区别https://arxiv.org/pdf/1706.05350.pdf?source=post_page(https://arxiv.org/pdf/1706.05350.pdf?source=post_pagehttps://ai-pool.com/a/s/understanding-of-regularization-in-neural-networks
2021-06-30 23:19:15
19637
5
原创 深度学习归一化 (normalization) 方法总结: BN, LN, WN, IN, GN, SN
方差是协方差的一种特殊情况，即变量与自身的协方差。https://zhuanlan.zhihu.com/p/37609917首先对各原理介绍讲解清楚然后综合考虑在DL模型中以及自己实际的业务场景，这样做的一个意图
2021-05-29 21:38:02
2194
1
原创 中文纠错（Chinese Spelling Correct）最新技术方案总结
目录1 传统技术2 深度学习技术2.1 FASPell2.1.1 技术方案2.1.2 优点和缺点2.2 SpellGCN2.2.1 技术方案2.2.2 优点和缺点2.3 Soft-Mask BERT2.3.1 技术方案2.3.2 优点和缺点2.4 Stand-alone2.4.1 技术方案2.4.2 优点和缺点2.5 Spelling Correction as a Foreign Language2.5.1 技术方案2.5.2 优点和缺点2.6 Hierarchical Attention2.6.1
2021-03-20 15:49:23
11505
3
原创 经典CTR预估模型：LR, FM, FFM, Wide&Deep, DeepFM, DSSE 算法对比总结
目录1 LR1.1 原理1.2 优点1.3 缺点2 FM (Factorization Machines)2.1 多项式回归模型2.2 为什么FM两两特征交叉的权重参数学习由n2n^2n2减少到n×kn\times kn×k？2.3 FM模型的时间复杂度如何从O(kn2)O(kn^2)O(kn2)降低到O(kn)O(kn)O(kn)？3 FFM3.1 引入Field-aware3.2 为什么权重数量为n×k×fn\times k \times fn×k×f，计算复杂度为k×n2k\times n^2k×n2
2021-01-17 22:30:31
2117
原创 噪声对比估计NCE (Noise-contrastive estimation)采样方法，提高训练速度，解决源码中正label个数必须相等问题
目录1 目的2 tensorflow源码解读3 batch正样本不一致解决方案3.1 pad label对应为负样本3.2 pad label 对应loss mask4 参考1 目的降低模型计算复杂度的一种方法2 tensorflow源码解读3 batch正样本不一致解决方案3.1 pad label对应为负样本3.2 pad label 对应loss mask4 参考Noise-contrastive estimation: A new estimation principle foru
2020-12-12 14:59:52
1330
原创 计算机求导方法：自动微分(Automatic Differentiation)
目录目的参考目的1.归纳求导方法2. tensorflow怎么求导3. 平时自己定义的loss，怎么求导的，有没有有些loss没法求导的？参考https://www.youtube.com/watch?v=wG_nF1awSSYhttps://www.youtube.com/watch?v=ZGSUrfJcXmAhttps://www.youtube.com/watch?v=sq2gPzlrM0ghttps://www.youtube.com/watch?v=boIOgsu-Q8Ehtt
2020-11-29 12:16:24
8699
1
原创 NLP中的attention机制总结
目录1 attention机制原理2 attention类型2.1 依据attention是否参数化可导分类2.1.1 Soft attention2.1.2 Hard attention2.2 依据输入是否全部用来计算attention向量分类2.2.1 Global attention2.2.2 Local attention2.3 依据attention实现功能分类2.3.1 Self Attention2.3.1.1 原理2.3.1.2 典型代表2.3.1.3 代码实现2.3.2 Multi-Hea
2020-11-01 14:58:44
2302
1
原创 seq2seq model: beam search和attention机制理解
目录1 seq2seq模型结构1.1 Encoder和Decoder1.1.1 Encoder1.1.2 Decoder1.2 attention机制1.2.1 为什么需要attention1.2.2 attention结构1.2.3 attention计算方法2 模型训练2.1 数据格式2.2 优化目标函数2.3 代码实现3 模型预测3.1 beam search3.1.1 为什么需要beam search3.1.2 与viterbi区别1 seq2seq模型结构1.1 Encoder和Decoder
2020-10-21 20:54:06
1428
原创 关键词提取（keyword extraction）技术
目录1 统计方法（Statistical Method）1.1 TF1.2 TFIDF1.3 YAKE2 图方法（Graph Based Approaches）2.1 TextRank2.1.1 PageRank2.2 SingleRank2.3 TopicRank2.4 PositionRank3 语义模型（Semantic Models）1 统计方法（Statistical Method）基于统计方法的核心思想就是计算文本中每个term的分值，有了分值，就可以对所有的term进行排序，然后获取top
2020-10-08 10:31:10
9759
原创 Deep Learning模型中常见的optimizer优化器算法总结
目录1. 优化算法在DL中的挑战1.1 优化算法定义1.2 挑战：局部最小值与鞍点2. 常见的优化算法2.1 梯度下降 (gradient descent)2.1.1 梯度下降算法可以降低目标函数值原因2.1.2 学习率设定2.2 随机梯度下降 (stochastic gradient descent)2.3 批量随机梯度下降 ( batch gradient descent)2.4 Momentum2.5 Adagrad2.6 RMSProp2.7 Adadelta2.8 Adam1. 优化算法在DL中
2020-10-01 11:20:24
2126
原创 Sigmoid，tanh，Relu，Leaky ReLu，ELU，GeLu 激活函数理解
为什么需要激活函数？SigmoidtanhReluLeaky ReluRectifier Nonlinearities Improve Neural Network Acoustic ModelsEluFAST AND ACCURATE DEEP NETWORK LEARNING BYEXPONENTIAL LINEAR UNITSGeluGAUSSIAN ERROR LINEAR UNITS (GELUS)参考文献添加链接描述添加链接描述......
2020-05-29 14:12:42
9186
1
原创 层次softmax (hierarchical softmax）理解
基于word2vec模型学习词的语义向量表示，已在NLP许多任务中都发挥了重要的作用，接下来对词向量学习中的hierarchical softmax的应用做一个分析和学习CBOW（Continuous Bag-of-Word）One-word context假设我们vocabulary size 为VVV，hidden layer 神经元个数为NNN，假设我们只有一个上下文单词，则根据这个上下文单词预测目标词，类似于一个bigram model，如下图所示：输入是一个one-hot编码的vecto
2020-05-17 17:29:29
9183
2
原创 金融市场中的时间序列预测：思考与方法
所以，在金融市场股市建模时，我们可以尝试将 ==机器学习（处理 X）+ 时间序列模型（处理 Y）+ 强化学习（优化决策） 结合起来==，以更全面地预测市场走势。
2025-03-29 15:15:49
1008
原创 DeepSeek核心关键技术 (冷启动，拒绝采样，蒸馏，多头潜注意力，MoE等) 解读
DeepSeek核心关键技术(冷启动，拒绝采样，蒸馏，多头潜注意力，MoE等）解读
2025-02-06 20:41:03
2268
原创 影响市场车险保费预测的外部信息汇总
保险市场竞争、保费调整策略、客户行为变化等对市场保费预测有重要影响。经济环境对车险市场有显著影响，例如GDP、通货膨胀率、收入水平等。政府对保险市场的监管、政策调整、税收政策等直接影响车险保费的变化。车辆的销售趋势、燃油价格、维修成本等对车险保费构成影响。：汽车市场趋势，政策等。：维修成本、质量问题。
2025-01-24 12:29:45
261
原创 探索AGI：智能助手与自我赋能的新时代
在这篇博文中，我从AGI（通用人工智能） 的基本概念出发，探讨了各类基于 AI 的自动化 Agent 工具如何改变我们的工作方式与生活方式。通过分析这些工具的特点和应用场景，我不仅展示了 AI 在自动化任务中的强大潜力，还分享了我个人的实践经验——如何利用 AI 开发工具提升工作效率，同时让兴趣爱好更加有趣和高效
2025-01-09 19:32:02
1167
原创 国内外大模型代码编程项目汇总: OpenAI Codex, GitHub Copilot, Tabnine, DeepMind AlphaCode等
现在国内外大模型编程工具重点集中在提升代码生成、调试、优化的智能化水平，并加强跨语言、跨框架的支持。集成化开发平台：未来的代码编程工具将不仅限于代码生成，它们将集成更多的开发功能，包括自动化测试、代码评审、性能优化等，成为全功能的智能编程助手。码智能化与自学习：这些工具将越来越智能，不仅能根据已有代码生成，还能根据项目历史和团队风格进行自学习，提供更加个性化的编码建议。跨语言与跨框架支持随着技术的进步，未来的编程工具将支持更多种类的编程语言、框架和库，能在多语言、多平台的环境下无缝工作。
2024-12-22 14:13:55
2342
原创 如果你有200万，如何科学合理的进行投资理财，实现财富的增长
投资规划需要根据个人的风险承受能力、财务目标、时间跨度 和 个人兴趣偏好来设计。如果你有200万，可以这样规划你的理财方案，在我们实现收益最大化的同时控制风险。
2024-12-18 18:24:38
4412
原创 编程实现爱心浪漫表达：python实现最受欢迎的10种语言表达“我爱你“
【代码】编程实现爱心浪漫表达：python实现最受欢迎的10种语言表达"我爱你"
2024-12-11 20:04:21
328
原创 一行命令获取Hadoop 文件系统 (HDFS) 的主节点地址
我们就会得到类似：hdfs://namenode_host HDFS 主节点地址，方便后续脚本操作中使用。
2024-11-30 16:27:07
152
原创 Agent理解以及基于大模型LLM的智能体Agent框架LlamIndex和LangChain介绍
Agent介绍以及如何基于LlamIndex和LangChain构建自己的Agent应用
2024-07-31 12:13:06
878
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人