caohailan666的博客

企业微信机器人助手设计方案

caohailan666 — Tue, 18 Feb 2025 16:50:55 +0800

由于个人微信渠道封控不能实现微信端的交互，转企业微信机器人助手的搭建来实现在个人微信端与用户进行交互功能。：WorkTool基于用户昵称推送消息，可能存在指向性不唯一的问题。生态渠道打通企业微信助手机器人功能，实现用户与助手的交互，还可以实现主动推送消息。支持机器人主动推送消息到群聊或者私聊，通过发送消息API进行消息推送。根据业务需求生成回复消息，并通过WorkTool API推送给用户。：设置接收消息的服务器URL，用于接收用户发送的消息。解析企业微信回调数据，提取用户消息并进行业务逻辑处理。

用python的pandas生成excel的脚本

caohailan666 — Fri, 05 Jan 2024 14:38:47 +0800

list_data：表格中的数据，接收的是多维列表，代码中有说明；背景：工作中需要对数据做处理，生成表格，这里小生封装了一个类，可以实现功能哦，希望可以帮助到大家，话不多说，直接上代码了。excel_name：表名称。使用的时候直接调用类方法即可，便捷好用。使用方法：传入三个数据，columns：表头名称，

python将不规则格式的JSON数据转成json格式数据

caohailan666 — Fri, 05 Jan 2024 14:28:31 +0800

背景：不知道各位朋友们有没有在工作中遇到过需要将数据json化，但是得到的原本数据是各式各样的不规则 json 格式数据，需要转成 json ，但是问题多多，今天小生在此做了一个json数据的处理，希望可以适合大家的场景，帮助到你们，话不多说，直接上代码。：传入需要转化的数据，info，再按照顺序传入 json 里面的每一个键。具体请细看代码，不明白的可以留言评论哦！

python下载批量图片

caohailan666 — Wed, 16 Nov 2022 17:00:45 +0800

批量图片的抓取

selenium的简单基础教学与代码的使用

caohailan666 — Thu, 16 Dec 2021 17:35:01 +0800

基于python的selenium库实现的爬虫技术一、简介及作用我们模拟登陆用的是selenium库，selenium是一个自动化测试工具，在爬虫中通常用来进行模拟登陆。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，同时Selenium也支持多种语言开发，比如 Java，C，Ruby、Python等等。 selenium可以模拟登录网站进去，获取到网站分析，用简单的html就可以分析标签得到我们想要的数据，避免了动态加密json格式等的不容易抓取的网站，缺点就是

NLP文本生成

caohailan666 — Tue, 11 May 2021 10:49:51 +0800

自然语言生成任务，如文本摘要和图像标题的生成。seq2seq的模型原理 https://blog.youkuaiyun.com/Irving_zhang/article/details/78889364

Python_读取PDF文件文本内容

caohailan666 — Wed, 03 Mar 2021 17:24:31 +0800

经常爬虫的小伙伴，或遇到一些PDF文件的处理，可能我们要下载这个文件，并要识别里面的文本内容，今天小汪就在这里给大家分享一下怎么识别pdf文件里面的文字；话不多说，直接上代码 from pdfminer.converter import PDFPageAggregator from pdfminer.pdfparser import PDFParser, PDFDocument from pdfminer.layout import LTTextBoxHorizontal, LAParams fr.

当MYSQL遇到[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause问题

caohailan666 — Thu, 21 Jan 2021 17:37:05 +0800

[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause 解决办法 MySQL 解决办法：执行sql 语句：复制下面的语句直接在mysql中运行语句即可！ select version(), @@sql_mode;SET sql_mode=(SELECT REPLACE(@@sql_mode,‘ONLY_FULL_GROUP_BY’,’’)); ...

python中正则表达式与jieba分词的使用

caohailan666 — Thu, 07 Jan 2021 16:04:03 +0800

这次和大家分享一下主要使用正则表达式匹配文本信息内容的案例，其中还用到了jieba分词词性标注技术，和一些对文本的切片工作。有兴趣学习的可以详细看看，具体内容，应该有点帮助，这是本人一个一个代码敲出来的1000多行代码。 # coding:utf-8 import os import docx import pickle import time import datetime import re import sys import jieba.posseg as psg import numpy as np

安装Mysql时遇到的一些疑难杂症！！！

caohailan666 — Thu, 07 Jan 2021 15:53:07 +0800

安装MYSQL时的一系列三大问题与三大解决方法问题一：问题二：问题三：问题一：在安装时候输入 net start mysql 时候报错为： net不是内部或外部命令也不是可运行。解决方法：环境变量的问题：首先确定C:\Windows\System32下有net.exe。在一下中我的电脑–>属性–>高级–>环境变量 path的变量值新加: %SystemRoot%\system32 在这里记住是添加不是把之前的path的环境变量删掉，一定注意！修改完成后，需要重新打开cm

HMM详细讲解与代码的实现

caohailan666 — Fri, 23 Oct 2020 14:30:42 +0800

#写在前面老习惯，正文之前瞎扯一通。HMM学了很久，最初是在《统计学自然语言处理》里面就学到了相关内容，并且知道HMM CRF一直都是NLP比较底层比较基础且较为有效的算法模型（虽然感觉还是挺难的），之前仅仅局限在了解前向算法和维特比算法上。也没有去写代码，只知道个大概思路。最近从52nlpHMM系列讲解再次入手，结合多篇博客、github项目以及李航的《统计学习方法》比较全面的对HMM做了一次学习，要求对自己强制输出，所以在整体公式推导没有什么大问题之后，昨天花了一天完善了代码，今天来做一个全面的讲解，

python下载pip install torch的方法

caohailan666 — Wed, 21 Oct 2020 11:22:44 +0800

pip install torch出现错误首先使用Python的pip安装命令： pip install torch 出现错误解决办法：这时需要先下载pytorch包，根据自己的python版本选择。pytorch包链接： https://www.lfd.uci.edu/~gohlke/pythonlibs 这个红的是我自己的python版本选择适合自己的Python版本的pytorch包进行下载，例如： torch-1.6.0-cp37-cp37m-win_amd64.whl 在下载好之后将下载的

深度学习中，常用的激活函数理解与总结

caohailan666 — Sat, 17 Oct 2020 14:17:07 +0800

引言学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到激活函数，比如sigmoid函数、tanh函数、ReLU函数，那我们就来详细了解一下激活函数的方方面面。本文的内容包括以下几个方面： 1.什么是激活函数 2.激活函数有什么用途？它是做什么用的？ 3.有哪些激活函数？它们的性质优缺点和区别是什么？ 4.在应用中应该选择什么样的激活函数？如果你对以上几个问题不是很清楚，下面的内容对你是有价值的。什么是激活函数？首先要了解神经网络的基本模型。神经网络中的每个神经元节点接受上一层的神

seq2seq主要实现步骤和源码

caohailan666 — Fri, 16 Oct 2020 11:16:43 +0800

注意点： 1 数据预处理阶段（添加特殊字符）主要用来进行字符补全，和都是用在Decoder端的序列中，告诉解码器句子的起始与结束则用来替代一些未出现过的词或者低频词 2 encoder 直接LSTM或RNN模型 #下面我用到的是LSTM模型 3 decoder 对target数据进行处理构造Decoder 在训练过程中，我们需要将我们的target序列作为输入传给Decoder端RNN的每个阶段，而不是使用前一阶段预测输出，这样会使得模型更加准确。TrainingHelper用于训练阶段，Greedy

MYSQL错误，由于找不到vcruntime140_1.dll,无法继续执行代码

caohailan666 — Fri, 16 Oct 2020 09:59:48 +0800

问题描述: 安装mysql时报错: 由于找不到vcruntime140_1.dll,无法继续执行代码解决方法: 这是缺少了动态链接库(.ddl文件), 跟mysql无关, 下载一份即可, 下载地址, 拖到下面, 我下载的是64位版本的压缩包下载地址：https://cn.dll-files.com/vcruntime140_1.dll.html 解压后将vcruntime140_1.dll复制到C:\Windows\System32即可 **注意, 32位版本的vcruntime140_1.dl

NLP——文本分类

caohailan666 — Fri, 28 Aug 2020 15:16:28 +0800

文本分类文本分类问题：给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个文本分类应用：常见的有垃圾邮件识别，情感分析文本分类方向：主要有二分类，多分类，多标签分类文本分类方法：传统机器学习方法（贝叶斯，svm等），深度学习方法（fastText，TextCNN等）本文的思路：本文主要介绍文本分类的处理过程，主要哪些方法。致力让读者明白在处理文本分类问题时应该从什么方向入手，重点关注什么问题，对于不同的场景应该采用什么方法。文本分类的处理大致分为文本预处理、文本特征提取、分

2020-08-24

caohailan666 — Mon, 24 Aug 2020 17:33:35 +0800

关键词摘取关键词提取就是从文本里面把跟这篇文章意义最相关的一些词语抽取出来。这个可以追溯到文献检索初期，关键词是为了文献标引工作，从报告、论文中选取出来用以表示全文主题内容信息的单词或术语，在现在的报告和论文中，我们依然可以看到关键词这一项。因此，关键词在文献检索、自动文摘、文本聚类/分类等方面有着重要的应用，它不仅是进行这些工作不可或缺的基础和前提，也是互联网上信息建库的一项重要工作本文介绍的是在文本中获取关键词的俩种方法 1.TF-IDF 2.Text-Rank 下面介绍一些关于关键词抽取的常用和经

2020-08-20

caohailan666 — Thu, 20 Aug 2020 15:48:46 +0800

NLP — 条件随机场CRF详解 CRF定义这里定义只讲线性链随机场，针对自然语言处理领域的处理进行设计，因此这里只提线性链随机场定义：线性链条件随机场）设X = (X_1,X_2,X_3,…,X_n),Y=(Y_1,Y_2,Y_3,…,Y_n)均为线性链表示的随机变量序列，若在给定随机变量序列的条件下，随机变量序列Y的条件概率分布就构成条件随机场，即满足马尔可夫性 P(Y_i|X,Y_1,Y_2,…,Y_{i-1},Y_{i+1},…,Y_n) = P(Y_i|X,Y_{i-1},Y_{i+1}) 则

检索式聊天机器人，客服系统

caohailan666 — Wed, 19 Aug 2020 17:13:57 +0800

检索式聊天机器人，客服系统操作流程：原始数据(原始的正确问题对数据)： question1, answer1 question2, answer2 question3, answer3 question4, answer4 question5, answer5 question6, answer6 question7, answer7 … 操作步骤如下： 0. 使用question数据构建训练文本相似度度量的训练数据，并训练、部署模型。 1. 使用训练好的文本相似度度量模型，对所有的question提

2020-08-18

caohailan666 — Tue, 18 Aug 2020 17:19:40 +0800

python+jieba+tfidf算法文本相似度 jieba是python第三方库，用于自然语言处理，对文本进行分词，当然也有其他的分词库。 gensim库，利用TFIDF算法来进行文本相似度计算，通过利用gensim库的corpora，models，similarities处理后续。基本思路：jieba进行分词，整理为指定格式->gensim库将要对比的文档通过doc2bow转化为稀疏向量->再通过models中的tf-idf将语料库进行处理->特征值和稀疏矩阵相似度建立索引-&g