- 博客(43)
- 资源 (7)
- 收藏
- 关注

原创 NLP-文本分类实战-Text Level GNN-20newsgroup
Text Level Graph Neural Network for Text Classification(https://arxiv.org/pdf/1910.02356.pdf)一、文章概述1.1 模型图图1:单一文本的图形结构“他为您感到非常骄傲。” 为了便于显示,在此图中,我们为节点“非常”设置了p = 2(节点和边用红色表示),而其他节点设置了p = 1(蓝色表示)。 在实际情况下,会话期间的p值是唯一的。 图中的所有参数均来自全局共享表示矩阵,该矩阵显示在图的底部。1.2
2020-07-08 10:56:36
1359
1
原创 【面试八股】kafka
partition:topic的分区,topic:partition = 一对多;consumer group:消费者组,同一分区只能被某个消费这消费,同消费者可以消费不同分区数据。replication:分区的副本,默认10个,副本数 <= 实例数,主从在不同broker上。topic:消息的主题,数据保存在topic,broker:topic = 一对多。5 followers将消息写入本地,向leader发送ack。.index稀疏存储:{offset}: {offset}
2025-03-10 16:15:20
191
原创 【面试八股】JWT
将用户id等信息作为payload,与头部分别进行base64后拼接签名,形成token;2 服务端:拦截请求,验证jwt;成功:执行逻辑并返回;1 客户端:点击用户认证:用户&密码登录(https,post)2 服务端:认证通过:生成jwt并返回。3 客户端:jwt保存到本地。1 客户端:请求携带jwt。应用:授权,信息交换。
2024-06-09 23:19:47
211
原创 用户关系链
import randomimport mathdef get_follows(num2users, user, follow_num): follows = [] last_users = [] for i in list(reversed(list(range(len(num2users))))): keeps = [] users = num2users[i] if user in users: .
2022-02-14 02:37:03
255
原创 golang数独问题
type Parser struct { Matrix [9][9]int Rows [9][9]bool Cols [9][9]bool Blocks [9][9]bool Stop bool}func (p *Parser) Init(matrix [9][9]int) { p.Matrix = matrix p.Rows = [9][9]bool{} p.Cols = [9][9]bool{} p.Blocks = [9][9].
2022-01-04 17:32:06
360
原创 2021-03-15
原神游戏不能链接的解决方案方法一、简单办法,用360安全卫士,找到dns优选工具,将dns地址改为”101.226.4.6“。注意要关闭游戏后台之后再修改,再登录游戏就可以了,或者干脆重启电脑。方法二、打开网络和共享中心,更改适配器设置,在你上网方式的图标上点右键选属性,左键点internet协议版本4然后点框下面的属性,新打开的界面选择”使用下面的dns服务器地址“在首选dns服务器输入”101.226.4.6“,然后点确定。重启电脑,再开游戏。...
2021-03-15 16:05:17
406
原创 pytorch 余弦相似度矩阵cos_similar,批量运算
import torchfrom torch import Tensordef cos_similar(p: Tensor, q: Tensor): sim_matrix = p.matmul(q.transpose(-2, -1)) a = torch.norm(p, p=2, dim=-1) b = torch.norm(q, p=2, dim=-1) sim_matrix /= a.unsqueeze(-1) sim_matrix /= b.unsqu.
2021-03-13 20:52:27
3557
原创 python多进程数组映射
构造映射函数:func,在func中显式提取参数,再调用multi_map方法from multiprocessing.pool import Poolimport randomdef split_jobs(jobs, num_works): size = len(jobs) // num_works jobs_list = [jobs[i * size:(i + 1) * size] for i in range(num_works)] for i, e in enu
2021-01-25 23:47:38
197
原创 2021-01-12
pytorchpacked_rnnimport torchimport torch.nn as nnimport torch.nn.functional as Fimport mathclass Packed(nn.Module): def __init__(self, rnn): super().__init__() self.rnn = rnn @property def batch_first(self): .
2021-01-12 23:25:15
190
原创 在显存不足时,增加batch size的方法
问题:如何在显存不足的情况下,增加batch-size?换言之,如何增加batch-size而无需扩大显存?思路:将batch数据,分为多个mini-batch,对mini-batch计算loss,再求和,进行反向传播。这样内存只占用mini-batch大小的数据,用时间换空间。pytorch实现:import torchfrom sklearn import metricsfrom torch import nnimport torch.nn.functio..
2020-12-05 01:49:22
5298
6
原创 2020-10-26
application.ymlserver: port: 8001spring: datasource: username: root password: admin url: jdbc:mysql://localhost:3306/my_blog_db?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC driver-class-name: com.mysql.cj.jdbc
2020-10-26 17:21:36
150
原创 堆排序和TOPK问题-java实现
import java.util.Arrays;public class HeapSort { public static void main(String[] args) { int[] nums = new int[]{4, 6, 8, 5, 9}; topK(nums, 3); System.out.println(Arrays.toString(nums)); } # 简历大根堆 public static v.
2020-08-19 13:28:38
295
原创 ACL2020 pytorch复现 (TextING) Every Document Owns Its Structure- Inductive Text Classification
一、模型图二、构图方式滑动窗口,捕捉共现边三、消息传递聚合,通过GRU训练。四,读出
2020-08-06 21:10:16
2753
21
原创 torch训练模板
如题from text_semantic.model import TextBiLSTMfrom text_semantic.dataset import MyDatasetfrom text_semantic.config import TEMP_PATH, RECORD_PATHimport timeimport torchimport numpy as npfrom torch import nnfrom torch.utils.data import DataLoader.
2020-07-11 11:36:16
630
原创 pytoch常用
三角函数的位置编码(原始Transformer)def get_pos_embedding(seq_len, dim): import math vectors = [[.0 if i % 2 == 0 else 1. for i in range(dim)], [math.sin(1. / math.pow(10000., (i / dim))) if i % 2 == 0 else math.cos(1. / math.
2020-07-11 11:35:32
305
原创 文本匹配论文及pytorch版复现(一):DRCN
一、模型1、模型总图2、实施细则二、相关公式1、词表示层:字符卷积cp,静态预训练词嵌入ep(fix),可训练预训练词嵌入ep(tr)fp代表,两句中字是否在另一句中出现,若是为1,若否为02、层次RNN和互注意力机制原始输入x,通过RNN获取隐层表示h,将两句的隐层表示hi,hj通过互注意力机制,获取注意力表示ai,aj3、自动编码器auto-encoder全连接层,将高维度表示转化为低维度表示4、交互层和分类层More specifical
2020-05-08 22:08:34
1568
1
原创 python版本-文本分类流程-英文文本预处理
英文文本预处理单词原型word_map = { "i'll": "i will", "it'll": "it will", "we'll": "we will", "he'll": "he will", "they'll": "they will", "i'd": "i would", "we'd": "we would", ...
2020-04-03 22:11:15
1278
原创 文本分类论文及pytorch版复现(五):TextLevelGNN
Text Level Graph Neural Network for Text Classification一、模型图示:定义:消息传递机制:分类器:损失函数:二、代码from torch import nn, tensorimport torch.nn.functional as Fimport numpy as npimport tor...
2020-03-30 23:52:45
1526
1
原创 文本分类论文及pytorch版复现(四):TextGCN
Graph Convolutional Networks for Text Classification一、模型图示:图的定义:二、代码import torchimport numpy as npimport torch.nn.functional as Ffrom torch import nn, tensorfrom textgcn.config i...
2020-03-30 23:47:19
4275
7
原创 基于词级别和字级别的中文文本预处理
一、基于词级别文本预处理词级别预处理过程:1、文本分词2、统计词频3、去除低频词和停用词4、选取适量的高频词形成词典5、用词典过滤并映射文本分词6、查看文本序列长度分布,确定补全长度7、文本序列补全具体代码:from collections import Counterimport jieba_fast as jiebaimport joblib...
2020-02-04 16:02:47
910
原创 Python设计爬虫任务队列
from queue import Queueimport urllib3urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)class CrawlQueue(object): def __init__(self, items, args): self.max_failure ...
2020-02-03 18:41:47
379
原创 python3爬取m3u8视频
爬m3u8文件,解析所有ts的url,爬取ts保存至本地,合并为完整文件。附上直接可以用的代码import requestsimport urllib3import reimport osurllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)def getTsUrls(m3u8_url) -&...
2020-02-03 18:39:00
1589
原创 文本分类论文及pytorch版复现(三):VDCNN
Very Deep Convolutional Networks for Text Classification1、模型2、代码import torchimport torch.nn.functional as Ffrom torch import nn# char-level# embedding_dim=16, SGD, mini-batch=128...
2019-12-21 16:54:14
667
原创 文本分类论文及pytorch版复现(二):HAN
Hierarchical Attention Networks for Document Classification一、模型二、代码import torch.nn.functional as Ffrom torch import nnclass SelfAttention(nn.Module): def __init__(self, input_size...
2019-12-21 12:07:10
2235
6
原创 文本分类论文及pytorch版复现(一):TextCNN
Convolutional Neural Networks for Sentence Classification1、模型2、代码import torch.nn.functional as Ffrom torch import nnclass TextCNN(nn.Module): def __init__(self): super(Text...
2019-12-21 12:02:24
1412
1
原创 对比几种python数据加载库效率(joblib,numpy,pandas)
针对原生的 list 整型数据1、数据类型 list,数组大小 【100,000,500】,数值类型:整型【0,62,000】---,41.67,67.52---,41.43,7.012、数据类型 list,数组大小 【100,000,500】,数值类型:浮点【0,60,000】---,57.54,91.74---,55.65,12.083、数据类型 np,数组大小...
2019-11-17 16:46:13
522
原创 利用multiprocessing提升jieba分词效率
在上一篇中,介绍了一个python的多进程数组映射的方法。https://blog.youkuaiyun.com/qq_28969139/article/details/96608611jieba分词同样可以视为数组映射的过程def func(params): jobList = params['jobList'] stopwords = params['stopwords...
2019-07-20 17:54:37
2102
2
原创 python的多进程数组映射方法设计
我们经常要将数组映射为另一个数组,但效率太低。例如 map( func, data_list ) 或者 [ func(e) for e in data_list ]def func(element): # 进行函数映射 return elementdata_list = ["element 1", "element 2", "element 3", "element ...
2019-07-20 17:45:56
817
原创 python GUI tkinter 的页面转换方法
问题:解决方案1的缺点:代码太长了,想具体修改某段代码得找好久。不推荐。之后我试了下分开写,然后再LoginPage.py RegisterPage.py在各自的py文件中 import 对方但是这样会陷入一个循环import的错误.ImportError: cannot import name 'RegisterPage' from 'RegisterPage' (C:\R...
2019-05-05 21:35:45
11431
1
原创 hadoop 运行 jar出错:java.lang.ClassNotFoundException: Class Mapper not found
环境: win10 x64、centos7.2、hadoop2.4.1、jdk1.8报错:执行 hadoop jar wc.jar WCRunner[yx@bigdata00 ~]$ hadoop jar wc.jar WCRunnerJava HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/yx/...
2019-03-04 19:00:52
3385
1
转载 Blur admin 解压好的资源分享(blur风格)
下载连接:https://download.youkuaiyun.com/download/qq_28969139/10835358在线预览:http://akveo.com/blur-admin/ blur admin 后台模板(blur风格)如下:
2018-12-07 16:01:26
1299
原创 用numpy构造的一个简单BP
# -*- coding: utf-8 -*-"""Created on Thu Oct 4 08:28:15 2018@author: 37989"""import numpy as npimport pandas as pdfrom matplotlib import pyplot# 标准化def Standard(X): X_mean = X.mean(...
2018-10-04 19:51:36
325
原创 leetcode 颜色分类
// 交换函数 public void swap(int[] A, int x, int y){ int temp = A[x]; A[x] = A[y]; A[y] = temp; } public void sortColors(int[] A) { int i=0,j=A.length-1,k=0;...
2018-09-17 10:05:31
379
4
原创 Leecode 887.鸡蛋掉落(Super Egg Drop) 用时7ms
一、原题你将获得 K 个鸡蛋,并可以使用一栋从 1 到 N 共有 N 层楼的建筑。每个蛋的功能都是一样的,如果一个蛋碎了,你就不能再把它掉下去。你知道存在楼层 F ,满足 0 <= F <= N 任何从高于 F 的楼层落下的鸡蛋都会碎,从 F 楼层或比它低的楼层落下的鸡蛋都不会破。每次移动,你可以取一个鸡蛋(如果你有完整的鸡蛋)并把它从任一楼层 X 扔下(满足 1 &...
2018-08-27 18:56:42
768
1
原创 使用Python的tkinter库,做简单的五子棋游戏
初学tkinter,感觉功能还是太少了,建议想要深入研究用户界面的话,还是选QT,VB之类的吧。要是跟我一样平时随便玩玩,就图个方便,那就将就着用吧。2019-05-20:之前的版本是刚学python时候写的,回头看了看代码,写的真实惨不忍睹,变量的名称一点都不符合规范。所以删除重新写了一份,这个版本思路更清晰一些。一、运行截图:...
2018-07-11 23:17:12
12026
26
原创 利用Abaqus的Python脚本实现进行自动分析的方法
当需要Abaqus处理很多(大于20个)作业时。如果手动的一个一个地去提交作业,需要大量重复的操作,会浪费很多的时间;而如果同时提交所有作业,则会使CPU占有率很高,导致人们不能同时利用计算机进行其他工作。实现原理:考虑在Python脚本中设计一个运行队列(Runlist)。1.将提交的任务放入队列直到队满;2.如果队列已满则检查队列中的任务是...
2018-06-16 19:31:33
12090
5
文本分类数据集(共13个20ng,mr,R8,R52,ohsumed,wiki,agnews等)
2020-10-27
U型件冲压回弹的Abaqus仿真数据集
2019-03-09
blur admin (现代版风格)前端的后台模板
2018-12-07
最全的中文停用词表20K
2018-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人