bug永流传

原创 模型融合

原创 2020-12-17

Node2vec与DeepWalk的区别DeepWalk在相邻边之间随即游走时，相邻边所给定的边权不进行处理；Node2vec在相邻边之间随机游走时，边权会进行处理，上一次游走过的node与现阶段节点之间的权重会除以一个权重p，通常这个p大于1，现阶段相邻边上的节点若与上一次有走过的node之间存在边，就按原权重进行处理，若不存在边，则给边权除以权重q，通常这个权重小于1。...

原创 关于pytorch中Dataloader使用参数num_workers报错的原因

未将主运行程序放在if __name__ == '__main__':之下导致调用出错而dataloader本质上是使用多进程来进行程序的加速，而python在调用多进程程序时如果不将主程序加入if __name__ == '__main__':下，子线程就会无限调用多线程程序，导致最后程序崩溃，因此要加入if __name__ == '__main__':进行声明。...

原创 pycharm插件自用

plugins搜索插件Atom Material IconsMonokai Pro ThemeRainbow BracketsTranslationa search with githubpower mode Ⅱ界面显示：

原创 酷狗音乐关键字搜索并生成下载url

酷狗音乐关键字搜索并生成下载url1. 获取搜索的歌单信息​ 通过在酷狗音乐进行关键字搜索，并通过F12检测，发现网页给网站发送了get请求。https://complexsearch.kugou.com/v2/search/song?callback=callback123&keyword=%E7%A8%BB%E9%A6%99&page=1&pagesize=30&bitrate=0&isfuzzy=0&tag=em&inputtype=0&a

原创 QQ音乐关键字搜索并生成下载url

QQ音乐关键字搜索并生成下载url1. 获取搜索的歌单信息​ 通过在QQ音乐进行关键字搜索，并通过F12检测，发现网页给网站https://c.y.qq.com/soso/fcgi-bin/client_search_cp? 发送了一条get请求，便可以得到其关键词搜索的json信息，通过简化可以得到以下关键词搜索的网址：https://c.y.qq.com/soso/fcgi-bin/client_search_cp?new_json=1&remoteplace=txt.yqq.song&am

原创 VNPY量化交易（一）

VNPY量化交易（一）一、平台选取与环境搭建​ 交易平台选取为VNPY，VNPY框架主要基于c++与python3进行开发，因此，VNPY可以支持tensorflow等深度学习框架的使用，方便后续构建深度学习量化模型。​ 接下来简单介绍下VNPY的几个名词:VN Studio：相当于针对vn.py量化框架的Python发行版，类似于Anconda是用于科学计算，数据分析的Pyhon发行版，好处就是可以省去了手动安装vn.py所依赖的库的步骤，并且可以与最新版进行同步。VN Station：用于管

原创 网易云音乐关键字搜索并生成下载url

网易云音乐关键字搜索并生成下载url一、获取搜索的歌单信息​ 通过在网易云音乐进行关键字搜索，并通过F12检测，发现网页给网站https://music.163.com/weapi/cloudsearch/get/web?csrf_token=发送了一条post请求(经测试发现csrf_token=后的数值与登录账号有关)，post的data中包含了params和encSecKey两条数据（因此无需再使用selenium来提取iframe内的数据）：​ 通过检查其preview我们可以发现，其中包

原创 网易云歌单歌曲实时拉取

网易云歌单歌曲实时拉取最近个人公众号Mozi的bug日志上线了新的音乐推送API，下面来讲讲推送的实现过程。一、抓取目的抓取歌单中的歌曲列表，并提取对应歌曲的外链、歌曲名单以及作者名测试歌曲外链，删除其中失效外链存储不同歌单中的歌曲数据到csv中以便后续读取二、读取并存储cookies​ 经实验发现，若在未登录状态下查看歌单列表时，仅显示前10条歌曲信息：为了可以稳定的获取对应的歌单列表，这里需要获取cookie，进行cookie登录，这里选择selenium框架来进行获取：def

原创 python正则表达整理

python正则表达整理一、常见匹配规则表模式描述\w匹配字母数字及下划线\W匹配非字母数字及下划线\s匹配任意空白字符，等价于 [\t\n\r\f]\S匹配任意非空字符\d匹配任意数字，等价于 [0-9]\D匹配任意非数字\A匹配字符串开始\Z匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串\z匹配字符串结束\G匹配最后匹配完成的位置\n匹配一个换行符\t匹配一个制表符^匹配

原创 使用百度AI studio创建pytorch tensorflow gpu环境

1. 配合视频服用更佳：2. 视频中使用到的命令：mkdir /home/aistudio/cuda10mkdir /home/aistudio/cuda92mkdir /home/aistudio/cudnnmkdir /home/aistudio/tfcp /home/aistudio/data/data32924/cudnn-9.2.tgz /home/aistudio...

原创 python中线性回归LR函数参数

LR工具：from sklearn.linear_model.logistic import LogisticRegression参数： penalty，惩罚项，正则化参数，防止过拟合，l1或l2，默认为l2 C，正则化系数λ的倒数，float类型，默认为1.0solver，损失函数优化方法，liblinear（默认），lbfgs， newton-cg，sagrandom_state，...

原创 pandas 读取CSV数据

1. 数据分批读取df_train_org = pd.read_csv(train_file, chunksize = 10000000, iterator = True)df_test_org = pd.read_csv(test_file, chunksize = 10000000, iterator = True)for chunk in df_train_org: #每一个ch...

原创 python CART决策树API简介与示例

Cart（Classification And Regression Tree）决策树作为决策树算法分支的一条，是一类可用于分类与回归的非线性模型。其在python中的接口为from sklearn.tree import DecisionTreeClassifier首先查看DecisionTreeClassifier都有哪些参数DecisionTreeClassifier?Init sig...

原创 Cart决策树算法

Cart（Classification And Regression Tree）决策树作为决策树算法分支的一类，是一类非线性的模型，从CART决策树的全称不难看出这是一类可用于分类与回归的决策树。CART算法主要由以下两步组成：决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。CAR...

原创 清华镜像源安装 NGboost XGboost Catboost

pip install catboost -i https://pypi.tuna.tsinghua.edu.cn/simplepip install ngboost -i https://pypi.tuna.tsinghua.edu.cn/simplepip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/simple

原创 python 实现小波维纳滤波

通过在小波域高频处，进行维纳滤波，来降低噪声对图像的影响。（假设噪声分布呈独立同分布）import osimport cv2from matplotlib import pyplot as pltimport numpy as npimport pywt# print(pywt.families())# ['haar', 'db', 'sym', 'coif', 'bior'...

原创 windows下解决tensorflow:ImportError: Could not find 'cudart64_70.dll' tensorflow安装

1.检查所下载cuda版本与tensorflow-gpu版本是否一致在github这个网页可以查看不同cuda对应的tensorflow-gpu版本如本人电脑配置为CUDA9.2+CUDNN7.2对应版本tensorflow_gpu-1.10.0-cp36-cp36m-win_amd64.whl2.将解压的CUDNN添加到CUDA文件夹下面地址一般为 C:\Program File...