GreatXiang888的博客

目录一、核心环境及代码修改二、详细介绍代码来源：https://github.com/zzy99/epidemic-sentence-pair目标：学习Keras来解决句子相似度问题关键词：keras，bert4keras，句子相似度，多折交叉，模型融合我的视频讲解：一、核心环境及代码修改作者代码环境：tensorflow 1.14，bert4keras 0.4.3但是现在(2021.2.6，周六)只能安装当前最新bert4keras 0.9.9版本，所以需要进行部分代码

文章目录环境CountVectorizer和TfidfVectorizerCountVectorizerTfidfVectorizer数据获取参考：numpy“手撕”文本主题模型之LSA环境scikit-learn == 0.22.2scipy == 1.4.1numpy == 1.18.1CountVectorizer和TfidfVectorizerCountVectorizer# 将文本中的词语转换为词频矩阵from sklearn.feature_extraction.text im

文章目录视频讲解章节介绍知识点说明Reference视频讲解视频链接 https://www.bilibili.com/video/BV1La4y1Y7ug近2小时视频（免费教程，但自认为不会比外面几万块的培训机构讲的差些）章节介绍1.预处理与GPT2模型构建2.模型训练与损失计算3.利用模型生成对话结果4.MMI模型训练与生成知识点GPT2、聊天机器人、MMI模型、预训练/微调说明该项目拷贝于 https://github.com/yangjianxin1/GPT2-chitch

文章目录零。安装步骤一、其他问题二2.12.22.3三四torch-geometric：一个图神经网络的工具包。零。安装步骤官方链接：https://pytorch-geometric.readthedocs.io/en/latest/notes/installation.html1，新建conda环境(可选)conda create -n geo1 python=3.6conda a...

文章目录1. 分词重要性2. 词典说明2.1 CustomDictionary2.2 追加词典前面谈到分词：HanLP安装与使用-python版和java版pynlpir中文分词+加载用户自定义词典我比较喜欢用HanLP，它的粒度刚刚好。 pynlpir太细了，词全切开了。1. 分词重要性分错了可不好搞。资料：demo_custom_dictionary.py - github...

文章目录1. 前言2. 找到对应词汇id3. 算法逻辑3.1 多次运行out行不通3.2 修改placeholder3.3 修改余弦相似度变量3.4 运行run4. 实验结果4.1 小批量数据4.2 真实数据5. 完整代码1. 前言之前写过一篇类似的文章，基于预训练词向量的文本相似度计算-word2vec, paddle，讲的计算一个词汇和一组词汇的相似度计算。本文主要讲，多组词语之间的相似...

可能有用的资料1, word2vec词向量训练及中文文本相似度计算 - Eastmount2, 利用word2vec对关键词进行聚类 - Felvenword2vec 词向量工具 - 百度文库Windows下使用Word2vec继续词向量训练 - 一只鸟的天空...

文章目录0.前言1.可学习参数2.输入数据Tensor3.Paddle数据传入4.一个小例子5.动态图 vs 静态图0.前言为什么要学？因为现在免费使用gpu，穷。官网：https://aistudio.baidu.com/aistudio/index当官方在知乎打广告时，有个用户说的好，虽然免费但增加了学习成本。这个确实是这样的，但计算机行业就是不断学习，正好我tf，pytorch也...

文章目录1. 下载2. 使用2.1 尝试一，gensim方式2.1.1 安装gensim2.1.2 gensim的使用2.2 尝试二，tensorflow方式2.2.1 Windows下安装tensorflow，cpu版1. 下载下载链接：https://github.com/Embedding/Chinese-Word-Vectors下载并解压2. 使用2.1 尝试一，gensim方...

官网：https://github.com/HIT-SCIR/pyltp安装见 哈工大pyltp的安装 - 失败记录和多种尝试，只能说不容易。下载模型下载链接：http://ltp.ai/download.html使用方法这里以分词cws为例。1，代码ltp_function.py：from pyltp import Segmentordef segmenter(senten...

pyltp 是 语言技术平台（Language Technology Platform, LTP）的 Python 封装。GitHub代码：https://github.com/HIT-SCIR/pyltp文档：https://pyltp.readthedocs.io/zh_CN/latest/除了分词之外，pyltp 还提供词性标注、命名实体识别、依存句法分析、语义角色标注等功能。[我的...

官方链接：https://github.com/tsroten/pynlpir[我是py3]安装1，pip installpip install pynlpir2，更新 license（否则可能会报错）pynlpir update简单使用import pynlpirpynlpir.open()s = '欢迎科研人员、技术工程师、企事业单位与个人参与NLPIR平台的建设工...

周六下午，去听了下大佬们的技术分享，回来总结了下，应该挺有用的。完整ppt下载：https://download.youkuaiyun.com/download/GreatXiang888/12047542配套视频回顾：https://www.bilibili.com/video/av80395805/于恒 - 阿里达摩院刘水-腾讯王金刚-美团以上，谢谢。...

简单版首先你需要到百度AI申请响应的接口，拿到APP_ID, API_KEY, SECRET_KEY。 https://ai.baidu.com这篇博客和 百度语音识别[python] 类似，要学会举一反三。from aip import AipOcr""" 读取密码 """def getPassword(path="my_password.txt"): with open(p...

视频链接：https://www.bilibili.com/video/av78674056接上节。NLP 获取相似词 - 1.爬取百度搜索结果https://blog.youkuaiyun.com/GreatXiang888/article/details/103455140已经得到了html源代码的内容了，用方法得到对应的数据即可。我所了解到的提取方法有：1，正则表达式。不熟练，...

视频链接：https://www.bilibili.com/video/av78674056一，前言NLP实际项目要用到，给定一个词，找出它的同义词、相似词、拓展词等。我思考了下，有：1，同义词表2，word2vec同义词等方法。1肯定可行，但效果不一定好，现有资源为 哈工大同义词表；2方法之后试一下，一个是性能和速度，在windows下能否有效执行，另一个是到底有没...