- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 雪球网股票用户评论爬虫
一、什么是爬虫？网络爬虫，其实叫作网络数据采集更容易理解。就是通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。归纳为四大步：1.根据url获取HTML数据2.解析HTML，获取目标信息3.存储数据4.重复第一步二、HTML什么是HTML？超文本标记语言（英语：HyperTextMarkupLanguage，简称：HTML）是一种用于创建网页的标记语言，里面嵌入了文本、图像等数据，可以被浏览器读取，并渲染成我们看到的网页样子。所以我们才会从先爬取HT
2021-01-06 13:30:34
2691
5
原创 pytorch中加载数据时常用的def __len__(self):和def __getitem__(self, index)
__getitem__做的事情就是返回第index个样本的具体数据__len__作用是得到长度n
2022-06-06 20:16:58
1508
2
原创 二分查找（折半查找）一点小总结
思想是：一个有序数组，每次判断中位数与目标值的大小，等则结束，若不等，能够缩小一半的判定范围，再次与缩小后的范围的中位数进行与目标值比较。为什么要用二分查找，如果n个数，我从小到大一个个比较大小，时间复杂度是O(n),而二分查找每次能缩小一半的范围，所以O(logn)二分查找范围数组内目标值的下标这其实是leetcode的一道基础题，我把我当时的答案沾过来了def search(self, nums: List[int], target: int) -> int: low, h
2022-04-19 12:33:59
988
原创 Python中append和extend的区别
一句话区别：A.extend(B) 把一个序列seq的内容添加到列表A中A.append(B) 向列表A中添加一个对象若A、B都是lista = [1, 2, 3]b = ['a', 'b', 'c']a.extend(b)print(a) # 这里要注意，不能用变量接收！如果是print(a.extend(b))，将得到None>>[1, 2, 3, 'a', 'b', 'c']a.append(b)>>[1, 2, 3, ['a', 'b', 'c']]即
2022-04-10 16:48:12
1297
原创 评级指标和sklearn.metrics.auc+acc+f1+recall
首先是老师给我推了一篇知乎上不错的文章除了讲解几个评价指标的基本概念，文章还提到了什么时候该用什么评价指标。对于不平衡数据集（正例负例差距大）而言，Accuracy并不是一个好指标。 此时应该考虑precision、recall以及f1。对于二分类问题：当False Negative (FN)的成本代价很高 (后果很严重)，希望尽量避免产生FN时，应该着重考虑提高Recall指标。如癌症诊断当False Positive (FP)的成本代价很高 (后果很严重)时，即期望尽量避免产生FP时，应该着
2022-04-08 16:28:16
1680
原创 nt版从零开始搭建服务器环境
1、 用管理员账号创建一个新的账号2、 用SSH客户端（Xshell、Bitvise）依次输入ip、端口号、账号、密码3、 下载.sh的anacoda，拖到服务器账户里4、 命令行安装：bash Anaconda3-2018.12-Linux-x86_64.sh5、 直接source ~/.bashrc刷新，不需要进bashrc添加路径创建虚拟环境：conda create -n pytorch python=3.8.8进入：conda activate pytorch命令行下载安装torch
2022-02-28 10:38:39
664
原创 论文阅读《Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs》
好久没看论文了，感觉好生疏关于这篇文章的大致脉络，这篇文章已经介绍过了。
2021-10-18 16:52:34
325
原创 一种可能显存溢出的可能
大多显存的溢出，都是因为计算图在进行相乘时运算量太大，显存存不下梯度而导致溢出而在验证集上是不需要计算梯度的，只有训练集需要更新模型参数，才需要梯度的回传，所以可以在验证集上加一句 with torch.no_grad():做个对比实验：不加 with torch.no_grad():GPU使用情况加 with torch.no_grad():GPU使用情况(差别挺大的)...
2021-09-21 10:32:54
570
原创 《Neural Atentive Session-based Recommendation》论文阅读
山大在2017年发表的短序列化推荐论文，因为之前的工作只考虑了用户的序列表现，但是对用户的主要目的并没有明显地强调，所以提出Neural Attentive Recommendation Machine（NARM）我只研究它模型相关的东西，介绍和相关工作就不细看了模型...
2021-08-04 15:54:42
758
2
原创 关于nn.embedding的理解
import torch.nn as nnnn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False)参数解释num_embeddings (python:int) – 词典的大小尺寸，比如总共出现5000个词，那就输入5000。此时index为（0-4999）embedding_dim (python
2021-07-31 11:19:25
2812
1
原创 服务器个人用户建立pytorch——软连接cuda切换
你难以想象这事困扰我多久先上图之前建设给我建立的服务器用户不在/home目录下，导致经常出各种问题，上周五我发现绝辣bashrc里面竟然还能报一个错！所以我就打算重新再home下建立一个yym，原本的是ymyao，不能重名这个步骤网上都有，没啥好说的，但是我们服务器已经有整合好的cuda和cudnn，就不用重新下载了，建立一个软连接就行第一步 创建软连接sudo ln -s /usr/local/cuda-8.0 /home/yym/cuda# 可以不sudo 格式为ln -s 源文件.
2021-07-11 15:35:37
588
原创 Experiment log 21.7.7
原写纸上，结果总丢，所以写这儿，自己看，得记录一下，省得忘，我这猪脑我是先用assist2017（17年的数据量最小）的山大四行数据（①ques数②ques③skill④10）中的①②④跑群主的DKT三行模型其实就是把skill(100)改成ques(3000+)，原max_step从50改成1000（结果直接闪退了）又改成100（虽然能跑了，但我感觉还是不太合适）但这面临一个问题：矩阵太几把大了，内存总是溢出——换过几个用GPU的其他的DKT，还是溢出，而且我对其他人的代码没有群主的理解的好—.
2021-07-07 15:09:36
222
原创 Dynamic Graph Neural Networks for Sequential Recommendation
一个月前刚出的论文，占领第一片土地！基于动态图卷积神经的序列化推荐系统摘要从用户的历史序列中建模用户偏好是顺序推荐的核心问题之一。这些领域的现有方法从传统方法到深度学习方法分布广泛。然而，它们大多只在自己的序列中建模用户兴趣，而忽略了不同用户序列之间动态协作信号的细粒度利用，不足以探索用户偏好。我们从动态图神经网络中获得灵感来应对这一挑战，将用户序列建模和用户之间的动态交互信息统一到一个框架中。提出了一种新的动态图神经网络顺序推荐方法(DGSR)，该方法通过动态图结构连接不同用户的顺序，探索具有时.
2021-06-01 21:13:20
3100
1
原创 超图（HyperGraph）学习，看这一篇就够了
最近事多，好久没更新了，随便写写（Ctrl+V）点一、超图定义通常图论中的图，一条edge只能连接2个vertex，在超图中，不限量如何理解呢，就用我正在做的KT问题来看：7道题目-7个顶点；4种概念-4条超边，其中第1,2,3题都是考察概念1的，则构建一个包含了这仨的超边，以此类推。。。总的来说，超图的建立是基于超边的建立，而超边的建立则是基于我们对节点之间关系的先验条件来实现的。二、超图学习1.表示G=(V,E)是我们很熟悉的图的符号表示，这也同样适用于超图，我们可以用|V|*|E| .
2021-05-30 17:34:45
37555
6
原创 基于图神经网络的知识追踪的五篇论文
Context-Aware Attentive Knowledge Tracing 2020《情境感知的注意力知识追踪》，注意力知识追踪，情感感知。通过建立问题和回答的上下文感知（情感感知）表示，使用单调的注意机制来总结过去的学习者在正确的时间尺度上的表现。注意力机制：根据权重的不同，将有限的资源用来处理更重要的数据。本文通过指数衰减（exponential decay）还有情感感知的相对距离的度量（context-aware relative distance measure）来计算注意力的权重。
2021-04-18 18:01:12
3372
3
原创 2015《DKT》pytorch test log
当我看到我的pycharm终于像杰宝的一样，开始一行行自己蹦数了，我的眼角湿润了源代码已经上传了，不知道能不能审核通过。我罗列一下从在git上下载到我自己的电脑能运行，都踩了哪些坑。1、Constnat包报错，同应用于run.py里的RNNmodel和dataloader解决：最开始上网查说是要把这些个包的目录放到sources里，放进去后图标会变为深蓝色。不过没有解决问题后来问了下杰宝，她说因为我没有在前面加上这个包所在的路径，导致Python找不到Constnat包解决！2、报错M.
2021-03-24 11:43:31
339
原创 Deep Knowledge Tracing (深度知识追踪)
boss又让我看这块的内容了，刚开学，还不太适应实验室的学习生活，假期闲散惯了操。1、概述知识追踪（knowledge tracing）是根据学生过去的答题情况对学生的知识掌握情况进行建模，以便我们能精确预测学生对于知识点的掌握程度，以及学生在下一次的表现。而且精确的知识追踪能让我们抓住学生当前的需求，并进行精准推题，即难易适宜。早期的知识追踪模型都是依赖于一阶马尔科夫模型，例如贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）。在本文中引入灵活的循环神经网络（RNN）.
2021-03-15 20:28:25
3488
7
原创 win10家庭版修改Users用户名
之前刚买电脑时太兴奋，脑子一热就起了个中二的中文名字，导致现在由于用户目录有中文，很多系统级的程序偶尔会报错。再加上今天上午被实验室的众师姐嘲笑，所以在网上找了半天教程。结果发现都是专业版的。。。最后好说歹说算是解决了，希望之后别给爷出啥问题首先强调，此攻略只针对家庭版！！！PS：建议使用虚拟机操作一波先，没问题再进行真机测试（虽然我是直接真机造的）Step1:按住键盘的[win+R]，输入regedit，确定Step2:依次展开HKEY_LOCAL_MACHINE\SOFTWARE\Mi.
2021-03-13 18:10:09
3963
18
原创 《深入浅出图神经网络：GNN原理解析》学习笔记
期末考完了，该上道了目录一、图的概述1.基本概念2.图的存储和遍历3.应用分类二、神经网络基础1.机器学习2.神经网络三、卷积神经网络（CNN）1.卷积与池化2.卷积神经网络四、表示学习1.意义2.自编码器五、图信号处理与图卷积神经网络1.矩阵计算前置知识2.图信号与图的拉普拉斯矩阵3.图傅里叶变换4.图滤波器（Graph Filter）5.图卷积神经网络（GCN）一、图的概述1.基本概念1.顶点（Vertex）表示研究的对象，边（Edge）表示两个对象之间特定的研究关系2.图为顶点和边的集合.
2021-03-09 16:28:17
1846
4
原创 股票基金小知识
不知道金融类的写在优快云算不算跑题。。。反正也没人看，就当自己的云笔记了一些常见的术语建仓：没有买过的，先买一点加仓：涨了买一点补仓：跌了买一点减仓：卖一点全仓：手里的钱都买了（梭哈）重仓：买了很多，手里没多少钱了（几乎梭哈）半仓：手里的钱还有一半（半梭哈）轻仓：买的时候不是很多，手里还有很多钱平仓：主动结束交易，为了止损或者止盈爆仓：保证金不足等原因被动结束交易仓位：所持基金股票的市值和份额（持仓）止盈：挣了钱卖了止损：亏了钱卖了做多：看好后市贷款买做空：不看好后市.
2020-12-09 16:29:19
264
原创 《Intelligent stock trading system by turning point confirming and probabilistic reasoning》学习笔记
一、摘要本文题为《基于转折点和概率推理的智能股票交易系统》，介绍了一种新的方法：从股票时间序列的高级表示（high-level representation） 来学习买入卖出的决策。本文的两个最大优点就是：①提出的高级表示（转折点和技术指标）对噪音不敏感、对人类直观；②将高级指标和概率模型相结合，降低了混沌系统二点随机性、不确定性二、介绍1.噪声的原因股票交易受决定因素和随机因素的影响而复杂而动态。其中决定因素是买卖方的实力的变化，随机因素就是比如紧急情况或者日常操作的变化。其中的随机因素就被视作
2020-11-23 17:33:22
208
原创 神经网络与深度学习#1
主要是在学习Michael Nielsen的《神经网络与深度学习》时整理的一些零散知识点以及自己的理解神经网络与手写识别1.感知器感知器就是人工神经元模型，现在主要是用一种叫S型神经元。然后引入了权重和阈值权重用来表示输入对输出的重要性阈值用来和分配权重后的总和Σ w*x相比较来决定输出0还是1...
2020-11-16 10:14:16
227
原创 RSA算法
RSA算法RSA加密算法是一种非对称加密算法。在公开密钥加密和电子商业中RSA被广泛使用。RSA原理：RSA算法基于一个十分简单的数论事实：将两个大素数相乘十分容易，但是想要对其乘积进行因式分解却极其困难，因此可以将乘积公开作为加密密钥。通常是先生成一对RSA 密钥，其中之一是保密密钥，由用户保存；另一个为公开密钥，可对外公开，甚至可在网络服务器中注册。为提高保密强度，RSA密钥至少为500...
2019-04-22 11:16:44
18512
原创 扩展欧几里德和AES加密
一、 扩展欧几里得扩展欧几里得算法，简称 exgcd，是用来在已知a, b求解一组x，y，使它们满足： ax+by = gcd(a, b) =d。一般用来求解不定方程，求解线性同余方程，求解模的逆元算法展示① 求ab最大公约数对于不完全为 0 的非负整数 a，b，gcd（a，b）表示 a，b 的最大公约数，必然存在整数对 x，y ，使得 gcd（a，b）=ax+by。c++语言实现 ...
2019-04-08 11:24:00
316
原创 手把手教你Hadoop安装与配置（三）
本文前半部分继续配置hadoop,后半部分启动hadoop书接上文咱们继续配置咱的hadoophdfs-site.xml先进入此目录进入hdfs-site.xml<property><name>dfs.replication</name><value>2</value></property><c...
2019-03-28 21:35:01
368
原创 欧几里得算法和DES
一.欧几里德算法欧几里德算法又称辗转相除法，是指用于计算两个正整数a，b的最大公约数。应用领域有数学和计算机两个方面。计算公式gcd(a,b) = gcd(b,a mod b)。扩展欧几里德算法可用于RSA加密等领域。C代码#include<stdio.h>unsigned int Gcd(unsigned int M,unsigned int N){ unsigne...
2019-03-28 14:15:07
236
原创 手把手教你Hadoop安装与配置（二）
Hadoop安装手册书接上文，本文主要包括关闭防火墙，设置免密登录，安装jdk，安装Hadoop本文分为四个部分。第五部分 关闭防火墙多个节点之间相互计算可能受到防火墙的阻拦，要关闭防火墙并且设置开机不启动。1.查看防火墙状态systemctl status firewalld.service2.关闭防火墙Systemctl strop firewall...
2019-03-28 14:09:46
403
原创 手把手教你Hadoop安装与配置（一）
Hadoop安装手册Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础。本文分为 个部分。第一部分 Linux环境安装1.下载并安装VMware虚拟机进入VMware官网https://my.vm...
2019-03-13 11:46:07
584
1
原创 三种简单的加密算法
1.凯撒（Caesar）加密凯撒密码（Caesar）是一种简单的代换密码，即将一个字符按一定的规则简单的代换为另一个字符实现加密。int yymsaesar(char *strI,int numB,int model) {if(model==1){}elseif(model==2){numB=26-numB;}else{return -1;} ...
2019-03-12 12:33:30
12109
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人