qq_34595138的博客

原创 python的docx用法

下载包pip install python-docx新建或打开import docx# 新建文档doc_new = docx.Document()# 打开文档doc = docx.Document(ur'D:\abc.docx')保存文件doc.save(path)对象集合：包含了word文档的相关对象集合doc.paragraphs # 段落集合doc.tables # 表格集合doc.sections # 节 集合doc.styles # 样式集合doc.inlin

原创 faiss的使用

1.faiss.IndexFlatL2IndexFlatL2索引方式为向量集构建IndexFlatL2索引，它是最简单的索引类型，只执行强力L2距离搜索index = faiss.IndexFlatL2(d) # build the indeximport mklimport math^Mimport time^Mimport faiss^Mimport numpy as np^M^Md = 768 # 向量维数^M^Mdata = [[i] * d for i in ra

原创 jiagu的使用

关键词提取：import jiaguimport jiagutext = '''该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。”NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生

原创 faiss的使用，报错：ImportError:DLL load failed:找不到指定模块

1.faiss.IndexFlatL2IndexFlatL2索引方式 # 为向量集构建IndexFlatL2索引，它是最简单的索引类型，只执行强力L2距离搜索 # index = faiss.IndexFlatL2(d) # build the index

原创 faiss的 from . import _swigfaiss ImportError: DLL load failed: 找不到指定的模块。

1.遇到的问题：from . import _swigfaissImportError: DLL load failed: 找不到指定的模块。

原创 flask中的abort

from flask import Flask,abort,Responseapp = Flask(__name__)@app.route("/login",methods = ["GET"])def login(): name = "" pwd = "" if name != "maple" or pwd != "123": # abort可以立即终止视图函数的执行 # 并返回给前端特定的信息 # 用法1：传递状态码信息，必

原创 数据存储的单位

数据存储是以10进制表示，数据传输是以2进制表示的，所以1KB不等于1000B。1KB=1024B；1MB=1024KB=1024×1024B。其中1024=210。1B（byte，字节）= 8 bit（见下文）；1KB（Kibibyte，千字节）=1024B= 2^10 B；1MB（Mebibyte，兆字节，百万字节，简称“兆”）=1024KB= 2^20 B；1GB（Gigabyte，吉字节，十亿字节，又称“千兆”）=1024MB= 2^30 B；1TB（Terabyte，万亿字节，太字节）

原创 model.eval()的使用

训练开始之前写上model.trian()，在测试时写上model.eval_r()。其中原因：如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval_r()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval_r()是保证BN用全部训练数据的均值和方差；而对于Dropout，model.train()是随机取一部分网络连接来训练更新参数，而model.eval_r(

原创 jiagu和jieba的使用

jiagu和jieba的使用import jiaguimport jiebaimport timetext = "183014-山西省脑瘫康复医院_2019年_2019年度行政事业单位国有资产报表"t = time.time()words = jiagu.seg(text)t1 = time.time()print(words)print(t1-t)t2 = time.time()word = jieba.lcut(text, cut_all=False)t3 = time.tim

原创 from flask import jsonify

jsonify是flask中的扩展包，可以将数据转换成json数据。#打开已新建的文件，导入Flask,jsonifyfrom flask import Flask,jsonify#调用Flask(__name__)，并赋值给变量appapp = Flask(__name__)#定义一个json对象数据，然后赋值给变量datadata = [ {"sname":"朱华","age":"20","sex":"男"}, {"sname":"张素","age":"30","sex"

原创 python flask使用蓝图 Blueprint

随着flask程序越来越复杂，我们需要对程序进行模块化的处理，之前学过python的模块化管理，于是针对一个简单的flask程序进行模块化处理。简单来说，蓝图 Blueprint是一个存储试图方法的容器，这些操作在这个蓝图 Blueprint被注册到一个应用之后就可以被调用，Flask可以通过蓝图 Blueprint来组织URL以及处理请求。蓝图 Blueprint具有如下属性：一个项目具有多个蓝图 Blueprint。可以将一个蓝图 Blueprint注册到任何一个未使用的URL下，比如“/”、“

原创 配置文件相关的用法

1.app.config.from_object：app.config.from_object这个方法用来加载配置文件import configapp.config.from_object(config)app.config.from_pyfile('config.py', silent=False)#silent参数，默认为False，如果加载的配置文件不存在，则直接报错，如果改成True，则忽略，不报错。2.app.secret_key什么是SECRET_KEYFlask中有个配

原创 logging的用法详情

log_format = logging.Formatter("[%(asctime)s %(levelname)s] %(filename)s(%(lineno)d)-%(funcName)s: %(message)s")formatter = logging.Formatter("%(asctime)s %(levelname)s %(message)s","%Y%b%d-%H:%M:%S")上面的%Y等是时间格式，所以要想理解上面要表示个什么，先来看一下Python的时间格式。%a - abb

原创 python的文件读取、路径处理

一、json 模块提供了一种很简单的方式来编码和解码JSON数据。 其中两个主要的函数是 json.dumps() 和 json.loads()。1.json.dumps将一个Python数据结构转换为JSON：import jsondata = { 'name' : 'myname', 'age' : 100,}json_str = json.dumps(data)json.dump(obj,f,ensure_ascii=False,indent=4,separators=(

原创 shell知识汇总

一、书谢规范shell命名：名字要有意义文件名没有扩展名的意义，但是建议后缀为.sh,例如：check_memory.shshell脚本的格式：#1) 定义脚本的执行环境#！ /home/ubuntu/test_model# 2) #号代表注释 #！是特例# 3) 脚本信息# Author:che liting# Create Time:2021/05/12# Release:1.0# Script Description:nginx install script

原创 git上传本地代码到码云-----简单几步搞定

1.在码云上创建新的仓库填写项目的描述：2.在本地代码的所在路径下，右击按钮选择：Git Bash Here，打开命令窗口：输入命令：git init ,进行git文件夹的创建,本地代码路径下出现.git文件3. 将码云存放代码的地址复制下来，在控制台输入命令： git remote add origin + 码云的存放路径，将本地和码云进行关联在命令窗口输入：git add .备注：不能忘记后面的 .输入命令：git commit -m "添加注释信息“输入命令强制提

原创 git连接码云----简单四步搞定

1.登录码云后，在头像处点击设置在安全设置里点击SSH公钥：2.在本地的空白处点击右键，再点击Git Bash Here显示命令窗口：3.在命令窗口输入命令ssh-keygen -t rsa -C “xxxxx@xxxxx.com”， 后面的"xxxxx@xxxxx.com"是你自己的邮箱。命令执行后，连续按两次回车键即可生成公钥和私钥：在git命令行使用命令cat ~/.ssh/id_rsa.pub查看公钥的内容：将公钥内容复制粘贴到码云的SSH公钥处，点击确定4.验证连接是否

原创 安装Pytorch的CPU版本使用pip----只需简单的四步即可完成

第一步：进入anaconda环境，建立新环境# 创建新环境conda create -n pytorch01(新环境名) python=3.7# 转到新环境中activate pytorch01第二步：进入pytorch官网查看下载命令https://pytorch.org/get-started/locally/第三步：选择配置第四步：执行命令并验证：对了还有环境添加镜像问题：下面给出添加镜像命令conda config --add channels https://mirro

原创 命名实体识别--------维特比算法

原创 BERT的解读与实践应用

原创 中文自然语言处理---Transformer模型

原创 tensorflow &&& pytorch

原创 隐马尔可夫模型与命名实体识别

原创 transformer-----------编码器部分实现过程

原创 transformer2--------多头注意力

原创 add_(a,b)的用法

a=a.add_(-a,b)即就是：a=a+（-a*b）常用于梯度更新

原创 TF-IDF算法介绍及实现

TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中

原创 GloVe详解

参考文档:http://www.fanyeong.com/2018/02/19/glove-in-detail/

原创 nlp面试题

1: 词向量是什么, 有哪些方式生成词向量, 句子的词向量是什么?从稀疏id编码演变到稠密词向量, 意味着NLP迈向了成熟。one-hot, word2vec, glove是早期词向量, 无法解决多义词的问题。ELMo, BERT为代表的的新一代词向量, 可以解决多义词问题, 因此得到广泛的应用。可以将句子整体输入BERT, 得到统一编码的矩阵作为句子向量; 也可以对每一个词单独生成词向量, 在做加权平均, 甚至直接求和。2: Bert为啥能解决一词多意?怎么做到的?1: 第一个原因在于句

原创 刷力扣算法题--------------股票买卖

“”"股票买卖，给定一个数组，第i个元素代表第i天的股价。假设最多允许进行1次买卖，求可能的最大利润是多少?示例: 输入price = [12, 15, 14, 8, 11, 10, 12], 则输出最大利润是4。“”"def get_max_profit(price): if price is None or len(price)==0: return 0 min_num=price[0] max_profit=0 for i in price:

原创 刷力扣算法题--------------两数之和

“”"作业题1 (算法真题):给定一个整形数组，是否能找出其中的两个数使得其和为某个指定的值?示例: 输入数组为{1, 5, 7, 3}, 指定值为10, 则我们可以从中找出两个数3和7, 和等于10。“”" def hasSum(array, target_number): for n in array: if target_number-n in array: result=1 return re

原创 tensor中[0]进行降维，利用切片的思想

import torcha=torch.tensor([[[ 0.0402, -0.1184, -0.7499, -0.3347, -0.7184, -0.7137], [ 0.0829, -0.3118, -0.2069, -0.8267, -0.6034, -0.1528], [ 0.2082, -0.1497, -0.3795, -0.2937, -0.5613, -0.0673], [ 0.3715, -0.0893, -0.047

原创 tolist()的作用

import pandas as pdfrom collections import Counter# 读取数据train_data_path = './train_data.csv'train_data = pd.read_csv(train_data_path,header=None,sep='\t')# 打印一下标签比例# # Counter():统计不同数据类型的个数print(dict(Counter(train_data[0].values)))# 打印若干数据展示一.

原创 Counter的作用-统计数据的个数

import pandas as pdfrom collections import Counter# 读取数据train_data_path = "./train_data.csv"print("train_data_path:",train_data_path)train_data= pd.read_csv(train_data_path, header=None, sep="\t")print("train_data",train_data)# 打印正负标签比例print("trai

原创 os.path.join的用法--拼写路径

import osPath1 = ‘home’Path2 = ‘develop’Path3 = ‘code’Path10 = Path1 + Path2 + Path3Path20 = os.path.join(Path1,Path2,Path3)print ('Path10 = ',Path10)print ('Path20 = ',Path20)输出Path10 = homedevelopcodePath20 = home\develop\code

原创 python中的map和lambda的使用

map(function,可迭代对象):将可迭代对象中的元素经过function函数的处理后的值输出，封装成一个对象匿名函数：lambda: 返回值 ： 函数式子如：lambda x : x**2map和lambda结合的使用：d=['sd.csv','疾病.csv','ds.csv','fds.csv']d_list=list(map(lambda x :x.split('.')[0],d))print(d_list)...

原创 Linux命令-查看目录下文件个数

Linux命令-查看目录下文件个数1、查看当前目录下文件个数ls -l |grep “^-” | wc -l2、查看当前目录下包含子目录的文件个数ls -lR |grep “^-” | wc -l3、查看当前目录下目录个数ls -l |grep “^d” | wc -l4、查看当前目录下包含子目录的目录个数ls -lR |grep “^d” | wc -l查看文件夹下的文件个数(当前目录的文件数)ls -l |grep “^-” | wc -l说明:ls -l 长列表输出该

原创 命令行启动supervisor时，报：Error: could not find config file

supervisord -c ./username/data/doctor_online/main_server/supervisord.conf报：Error: could not find config file ./username/data/doctor_online/main_server/supervisord.confFor help, use /root/anaconda3/bin/supervisord -h实际我的文件中有config文件，是因为我的命令写错了，常识性的错误：路径

原创 python中用neo4j，报错ModuleNotFoundError: No module named ‘config‘

from neo4j import GraphDatabase # 关于neo4j数据库的用户名,密码信息已经配置在同目录下的config.py文件中from config import NEO4J_CONFIGdriver = GraphDatabase.driver( **NEO4J_CONFIG) # 直接用python代码形式访问节点Company, 并返回所有节点信息with driver.session() as session: cypher = "CREATE(c:C

原创 刷力扣算法题--------------回文数

题目详情：判断一个整数是否是回文数。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。示例 1:输入: 121输出: true示例 2:输入: -121输出: false解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。示例 3:输入: 10输出: false解释: 从右向左读, 为 01 。因此它不是一个回文数。进阶:你能不将整数转为字符串来解决这个问题吗？class Solution: def isPalindr