王小二的博客

需要注意的是，在使用多进程和队列的方式来实现任务合并输出结果时，由于多个进程需要共享数据，因此需要使用 multiprocessing.Manager() 创建一个进程共享队列，并将队列作为参数传递给要执行的函数。在 for 循环中，我们为进程池中的每个进程异步调用 worker 函数，并将回调函数 result_queue.put 传入 callback 参数，以便在进程执行完毕时将结果放入共享队列中。在上面的例子中，我们调用 5 次 worker 函数，并将每次调用的结果放入一个共享队列中。

【代码】python多进程。

python 异步操作如何控制超时

python hash和hive hash 保持一致

python str转json

python 函数超时退出

python es查询

Pytorch加载自己的数据集

MMR重排（相似度通过编辑距离和重复度计算）

python redis 读取、写入、删除数据

python http接口调用

import timeimport threadingfrom concurrent.futures import ThreadPoolExecutor#method对应于：自行编写的方法，可传参（可传多个参数，形如pool.submit(self.method, a,b)）def method1(): print("我是方法1")def method2(): print("我是方法2")def method3(): print("我是方法3")def method4(): print

#字符串前缀，后缀匹配filename = 'spam.txt'a=filename.endswith('.tt')#后缀匹配b=filename.startswith('s')#前缀匹配print(a,b)

原因1：没有对应的安装包解决方案：pip install 安装包名安装速度慢的话，切换源：pip切换源原因2：找不到对应的自定义文件路径解决方案：在py文件中指定自定义文件的路径import syssys.path.append('..') #这条命令是用来添加上层目录的如果不只是多层目录的调用，可以根据sys.path[0]，添加自定义文件的绝对路径添加方式：print(sys.path[0])sys.path.append(sys.path[0]+文件剩余的路径) 举例：如果你

a=str(a) #dict list等强制转字符串b=set(b) #list 字符串 转字典c=eval(c) #dict类型的字符串转成字典d=list(d) #转成列表

annoy 是 高维空间求近似最近邻的框架，速率快，轻便实用。GitHub地址：https://github.com/spotify/annoy配合腾讯词向量，可以快速查找语义接近的向量：tencent_annoy_index = AnnoyIndex(self.size,metric='angular') #存储tencent_annoy_index.add_item(index, query_vector) #添加向量tencent_annoy_index.get_nns_by_vector(

# 载入训练好的模型import reimport timeimport jiebaimport jieba.analyseimport jieba.posseg as psegimport torchfrom transformers import BertTokenizer, BertForSequenceClassification, AutoConfigdevice = torch.device("cuda" if torch.cuda.is_available() else "

a=sorted(your_dict.items(),key=lambda x: x[1],reverse=True)

path = /home/username/data/text.txt path.split("/")["home","username","data","text.txt "]## 而使用rsplit：path.rsplit("/",1)["/home/username/data","text.txt "]rsplit("/",1) 中的1，表示从后面分割1个出来，如果是2，那么就是分割两部分出来...

源码来源：https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification代码解读#!/usr/bin/env python# coding=utf-8""" Finetuning the library models for sequence classification on GLUE."""# You can also adapt this script on your

transformer上的实例：https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification微调教程：https://huggingface.co/docs/transformers/task_summary

可以看大佬是怎么用的大佬的使用方式

symbols=["：","？","?","，","”","！","“","、"," ","《","》","|","（","「","）", \"｜",",","。",":","-","【","】","/","×","」","<",">","!","…"]

字符串转数组#方法一str_x = 'abcd'st_list = list(str_x) #方法二list_str = [v for v in str_x]数组转字符串arr = ['快乐','小伙']str1 = ''.join(arr)str2 = '/'.join(arr)

https://www.cnblogs.com/skzxc/p/12688423.html

#随机生成双色球投注import randomdef random_2_ball(): res=[] red= [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33] blue=[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16] random_red=random.sample(red,6) random_b

Max_Len=4 #最大长度#前向最大匹配def MM(query,your_dict,Max_Len): mm_query_label=[] len_query=len(query) while(len_query>0): cur_len = min(len_query,Max_Len) cur_text =query[:cur_len] ner_flag = False # 标记是否找到匹配向 while

https://zhuanlan.zhihu.com/p/107501014

a=[1,2,3,4]b=[1,2,3,4,5,6]aa=set(a)bb=set(b)if aa<=bb: print(aa) print(bb)

import randoma=[1,2,3,4]random.shuffle(a)print(a)random.shuffle(a)print(a)

import redef filter(query): res=re.sub('[a-zA-Z0-9’!"#$%&\'()*+,-./:;<=>?@，。?★、…【】《》？“”‘’！[\\]^_`{|}~\s]+', "", query) return ress = 'www.baidu.com'aa = filter(s)print(aa)

深度优先DFS# 深度优先过程def depth_tree(tree_node): if tree_node is not None: print(tree_node._data) if tree_node._left is not None: return depth_tree(tree_node._left) if tree_node._right is not None: return dep

import openpyxlf=open("your.txt","r",encoding="utf8")con=f.readlines()w_path="your.xlsx"wb=openpyxl.Workbook()ws = wb.worksheets[0]//第一个工作表flag=0for data in con: flag+=1 print(flag) datas=data.split("\t") ws.append(datas)//逐行写入wb.sa

https://www.cnblogs.com/yanzi-meng/p/8066944.html

python 字符串相乘（大数相乘）来自力扣43题，题目如下。给定两个以字符串形式表示的非负整数 num1 和 num2，返回 num1 和 num2 的乘积，它们的乘积也表示为字符串形式。示例 1:输入: num1 = "2", num2 = "3"输出: "6"示例 2:输入: num1 = "123", num2 = "456"输出: "56088"说明：num1 和 num2 的长度小于110。num1 和 num2 只包含数字 0-9。num1 和 num2 均不以

打开文件：vim xxx.file编辑文件：键盘 “i” （代表insert）保存文件但不退出：按ESC后，输入:w保存文件并退出：按ESC后，输入:wq退出：按ESC后，输入:q强制退出不保存：按ESC后，输入:q!

遇到这种问题，就是文件编码的缘故。最好的解决方式就是，以二进制的方式读，然后以正确的编码重新encode它。示例：#我想要utf-8格式的with open('words.vec','rb') as f: lines=[l.decode('utf8','ignore') for l in f.readlines()]...

sudo rm -rf 目录名字

指定GPU：import osos.environ["CUDA_VISIBLE_DEVICES"]='0,1,2,3'指定GPU占用比例（tensorflow）：import tensorflow as tfgpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.1)sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) 效果：.

python-错排公式及解析错排公式解析错排公式f(1)=0f(2)=1f(n) = (n-1)[f(n-2)+f(n-1)] (n>2) 。解析错排就是指给定一个长度为n的数组，让数组中的n个元素都不在原来的位置上，看一共有多少种情况。易得：当n=1或n=2时，只有0种或1种情况是错排。当n>2时，可以这样考虑（ 假设方法为 f(n) ）：错排第1个元素（将 第1个元素排在第 2 至第 n 个位置之一），共有 n - 1 种情况。 此时假设第1个元素落在第inx位置。