- 博客(903)
- 资源 (23)
- 收藏
- 关注
RSS订阅原创 《创新：不灭的火炬》学习笔记
11.软件定义世界，基础软件（含开发语言、几个建模内核、ai框架和算法等）是激进式创新，应用软件（含高端工业设计和仿真软件）是渐进式创新（工业软件的标准来自对下游制造业工业的理解和磨合，特地场景需求的理解和性能打磨，形成强者恒强的正循环），本土it产业呈现需求强、供给弱的特征。5.研发活动分为基础研究、应用研究、试验发展，中国研发投入总量高，具有规模优势，需加大吸引国际研发资源、加大政策研发补贴力度、政策引导企业投入基础研究、鼓励产学研合作。3.加速中国科技创新，一要吸收他人技术外溢，二要自主创新。
2024-10-28 11:40:24
504
原创 Tensorboard安装和访问(pytorch+MobaXterm)
Ubuntu16.04操作系统，有权限用户：1、更新包库：apt-get update2、默认安装python2.7，要安装python3.5：apt-get install python33、安装 参考：https://datawookie.netlify.com/blog/2017/06/setting-up-jupyter-with-pytho...
2021-07-21 12:36:05
551
原创 MMDetection库部署和训练
目标检测库：https://github.com/open-mmlab/mmdetection1、部署：参照https://github.com/open-mmlab/mmdetection/blob/master/docs/get_started.md安装环境注意版本，我试验后可用的如下：conda create -n open-mmlab python=3.7 -yconda activate open-mmlabconda install pytorch==1.6.0 tor.
2021-03-26 08:59:11
1578
1
原创 Torchvision目标检测模型训练过程记录
1、环境：pytorch==1.6.0torchvision==0.7.0cudatoolkit==10.22、场景：https://pytorch.org/tutorials/intermediate/torchvision_tutorial.htmlhttps://github.com/pytorch/vision/tree/master/torchvision利用torchvision提供的maskrcnn训练自己的数据。3、数据：转换成coco格式示例代码：主
2021-03-25 16:52:02
644
1
原创 机器学习模型解释性工具SHAP
如下图，SHAP支持模型解释性，可用于抽取特征对结果的贡献。Github地址：https://github.com/slundberg/shap案例：1、数据集：# dataset：http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_diabetes.html# diabetes 是一个关于糖尿病的数据集， 该数据集包括442个病人的生理数据及一年以后的病情发展情况。 # 数据集中的特征值总.
2020-09-11 14:22:59
3144
原创 Linux下安装和使用Latexdiff
投稿必然要改稿，痛苦，还要给出改稿清单，latexdiff是个好工具。https://www.ctan.org/pkg/latexdiffhttps://github.com/ftilmann/latexdiff1、linux下安装：apt-get install latexdiff要下载很久。当然Perl要先装好。2、使用：latexdiff old.tex ne...
2020-04-26 18:28:51
791
原创 Linux通过kaggle api下载kaggle数据集
1.kaggle登录后下载API token下载kaggle.json2.linux本机安装kaggle apipip install kaggle然后在根目录下创建.kaggle文件夹，并把kaggle.json放入cd ~mkdir .kagglecd ~/.kaggle/3.下载相应数据集在对应数据集上找到API命令。如这个数据集的命令就是...
2020-04-16 17:24:34
4858
1
原创 Python倒排索引函数
场景：输入一个矩阵，返回倒排索引后的矩阵。矩阵值是连续的，需要分箱。def genInvertedIndex(X, bin_len=0.1): # parameter: X ,numpy array (n*m) # bin_len, float, discretize the continuous value with bins # output: X_i, nump...
2020-03-31 17:49:23
535
原创 Grad-CAM (CNN可视化) Python示例
论文：ICCV 2017《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》代码：https://github.com/yizt/Grad-CAM.pytorch/blob/master/main.py https://github.com/jacobgil/py...
2020-03-26 12:28:25
2267
7
原创 Class Activation Mapping (CNN可视化) Python示例
Class Activation Mapping论文：CVPR2016《Learning Deep Features for Discriminative Localization》代码：https://github.com/acheketa/pytorch-CAM/blob/master/update.py1、首先定义并训练好CNN网络，很重要的一点是网络的最后一个卷积层必须只有一个...
2020-03-26 09:10:17
1532
原创 t-SNE可视化示例
T分布随机近邻嵌入（T-DistributionStochasticNeighbourEmbedding）是一种用于降维的机器学习方法，它能帮我们识别相关联的模式。t-SNE主要的优势就是保持局部结构的能力。这意味着高维数据空间中距离相近的点投影到低维中仍然相近。t-SNE同样能生成漂亮的可视化。理论方面可查看Hinton在2008年发表的论文：《Visualizing Da...
2020-03-20 10:25:54
2144
原创 Feature Map of Pytorch示例
场景：假设已训练好model，并选了最佳模型best_net，现在想提取网络层的特征并绘出热力图。1、oriImg = cv2.imread(image_path) #读取一张图片，image_path是图片路径2、data = torch.from_numpy(oriImg).type(torch.FloatTensor).cuda() output = best_net(...
2020-03-18 12:36:36
437
原创 ECG-QRS检测参考代码
一个完整周期的ECG信号有 QRS P T 波组成，不同的人相应不用的波形，同一个人在不同的阶段波形也不同。所以QRS检测是心电数据处理的基础。https://github.com/c-labpl/qrs_detector参考这个代码，用来检测MIH-BIH不成功，这里代码贴出来参考（修正了代码执行错误的点）。import matplotlib.pyplot as plt%ma...
2020-03-04 16:27:31
4160
8
原创 基于pytorch开发CNN提取全连接层作为特征
场景：利用CNN网络的全连接层作为图像的特征。代码：import sysimport osimport mathimport randomimport heapq import timeimport copyimport numpy as npimport pandas as pdfrom functools import reducefrom scipy.spati...
2020-02-22 11:19:28
4069
7
原创 贝叶斯神经网络的辩论
贝叶斯概率体系的研究有一段时间了，目前在推进贝叶斯神经网络，看到这篇文章的辩论，这里保存下。https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247500837&idx=1&sn=df0915b394369cfe5c9e936c44143941&chksm=ec5473a2db23fab4ddfc73c...
2020-01-20 09:09:26
452
原创 模型可解释性-贝叶斯方法
在医学领域，模型的可解释性尤为重要，需要有明确的结论证据支持，然后牵涉到神经网络模型，绕不开的就是黑盒观点。业界做了很多尝试，发现一片不错的模型可解释介绍。这里依旧做要点记录，以免原链接失效。原链接：https://www.jiqizhixin.com/articles/2019-10-30-91. 什么是模型的可解释性模型解释的三个最重要的方面解释：2. 可解释性的标...
2019-12-26 08:28:27
1772
1
原创 NeurIPS 2019最热趋势-贝叶斯深度学习
贝叶斯原理，总感觉憋着，不透。关注到一篇文章介绍NIPS2019最新趋势中有关于贝叶斯深度学习的，还是担心链接失效，博客这里mark关键信息。链接：https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652060603&idx=1&sn=548887b5b4c5f3bc72a3693fac4bab1a&c...
2019-12-23 09:59:18
508
原创 IT技术能治病救人-数据是21世纪最伟大的药物
mark下这篇文章，担心链接失效，摘要些关键信息出来。链接：https://mp.weixin.qq.com/s?__biz=MzA3NTIyODUzNA==&mid=2649579790&idx=3&sn=68df8eebda098819788edf561296d345&chksm=876a7517b01dfc01d60ffe2ff033f4a49995290...
2019-12-22 09:39:07
324
原创 Bayesian Neural Network for regression (PRML)
Bayesian Neural Network ： PRML 5.7章节参考代码：https://nbviewer.jupyter.org/github/ctgk/PRML/blob/master/notebooks/ch05_Neural_Networks.ipynb1.git clone:https://github.com/ctgk/PRML.git到目录 PRML/下2.代...
2019-12-19 16:53:16
425
原创 PRML-github code使用两个小攻略
PRML一书的源码地址：https://github.com/ctgk/PRMLgit clone后如何使用？假设放到本地目录 PRML/1.头部引入：import sysif "PRML/" not in sys.path: sys.path.append("PRML/")from prml import nn2.遇到：如下引用错误。from scipy.m...
2019-12-18 18:17:40
422
原创 Opencv-Python部署SIFT函数问题的处理
1、背景：pip installopencv_contrib_pythonpip install opencv-python安装的是最新版本4.1.2.30，最新的也是到3.4.2.17。2、问题：3、处理：1）发现只有3.4.2.16版本以下才可以使用sift函数，可以使用如下部署。pip install opencv-python==3.4.2....
2019-12-02 12:29:33
405
原创 Ubuntu下安装Python开发的Facebook Faiss相似性搜索工具
Facebook 的相似性搜索工具 Faiss支持GPU下矢量表示检索，有较强的检索性能，可用于有效的相似性搜索（similarity search）和稠密矢量聚类（clustering of dense vectors）。Faiss 是围绕存储一个向量集的索引类型（index type）构建的，并且索引类型提供了一个利用 L2 和/或点积向量比较的函数，以使该函数能够在向量集中进行搜索。下面说明...
2019-11-29 14:59:04
575
1
原创 图像语义分割模型DeepLab训练Cityscapes数据集过程记录
参考：https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/cityscapes.mdhttps://github.com/tensorflow/models/blob/master/research/deeplab/local_test.sh1、下载数据cd models/research/d...
2019-10-24 10:54:34
3801
11
原创 PostgreSQL数据库数组相似度计算
场景：数据库中有一个字段是数组，要计算数组的相似度。建表语句如下：create table cataract_wt (name text NOT NULL, content float8[] NOT NULL, label float NOT NULL);其中字段content 就是一个float类型的数组，可以赋予一维或二维。1.Cube组件参考：https://zejn....
2019-10-21 18:43:57
1456
原创 PostgreSQL数据库图像搜索插件imgsmlr部署
https://github.com/postgrespro/imgsmlr1、deploy apt-get install postgresql-server-dev-all apt-get install postgresql-common apt-get install libgd2-noxpm-dev2、compile $ git clone h...
2019-10-14 17:54:14
993
原创 基于python和postgreSQL存储图片
安装postgresql数据库python开发包：apt install libpq-dev python3-devpip install psycopg2具体代码如下：from PIL import Imageimport psycopg2 as psconn = ps.connect(host="127.0.0.1", user="postgres", password...
2019-10-14 17:07:50
1571
1
原创 ubuntu部署postgreSQL数据库
选择最简单方式，用root身份。apt-get updateapt-get install postgresql postgresql-client默认创建一个数据库超级用户 postgres，密码为空。su postgres进入该用户下，开启数据库服务：/etc/init.d/postgresql start # 开启/etc/init.d/postgresql...
2019-10-14 15:21:32
268
原创 Linux下载交通图片数据集CityScapes Dataset
https://www.cityscapes-dataset.com/先注册一个账号。City Scapes dataset is a very popular dataset that consists of labeled street images (from video sequence). There are 5000 high-quality labeled frames and...
2019-10-13 11:46:06
2262
原创 Image Semantic Segmentation之DeepLab两个坑
1、实验平台：ubuntu 16.04 + TensorFlow 1.12.0 + cuda 9.0 + python 3.6 第一个坑：tensorflow和cuda版本要对应。2、下载：git clonehttps://github.com/tensorflow/models.git， 切换到models/research/下。3、测试：选择PASCAL VOC 201...
2019-10-13 10:24:54
333
原创 推荐经典算法实现之BPMF(python+MovieLen)
因前一篇https://blog.youkuaiyun.com/fjssharpsword/article/details/97000479采样问题未解决，发现如下github上有BPMF代码，采用wishart先验，性能和pymc3一致。参考：https://github.com/LoryPack/BPMF# coding:utf-8 '''@author: Jason.F@data: 2...
2019-08-01 16:22:59
862
1
原创 概率编程库Edward安装
概率编程库主流有：Stan、Pymc、Edward，先前选择pymc，结果发现遇到大规模数据基本跑不动，无奈转Edward。Edward：A library for probabilistic modeling, inference, and criticism.网址：http://edwardlib.org/https://github.com/blei-lab/edward安装...
2019-07-27 10:11:12
990
1
原创 推荐算法实现之BMF(pymc3+MovieLen)
BMF是笔者根据PMF(http://papers.nips.cc/paper/3208-probabilistic-matrix-factorization.pdf)和BPMF(https://www.cs.toronto.edu/~rsalakhu/papers/bpmf.pdf)论文思路，自主构建的模型，主要思路是建立MF的概率模型，然后用贝叶斯推断方法（变分）来求解。参考代码如下：#...
2019-07-23 16:05:46
1088
5
原创 推荐经典算法实现之BPMF(pymc3+MovieLen)
BPMF是用贝叶斯推断方法求解MF的概率模型，参考：https://gist.github.com/macks22/00a17b1d374dfc267a9a1、利用其本身数据集的代码如下：# -*- Encoding:UTF-8 -*-'''@author: Jason.F@data: 2019.07.22@function: Implementing BPMF ...
2019-07-23 15:45:28
972
原创 推荐经典算法实现之PMF(python+MovieLen)
# -*- Encoding:UTF-8 -*-'''@author: Jason.F@data: 2019.07.18@function: Implementing PMF Dataset: Movielen Dataset(ml-1m) Evaluating: hitradio,ndcg https://papers...
2019-07-22 08:03:36
2653
1
原创 推荐经典算法实现之DMF(tensorflow+MovieLen)
# -*- Encoding:UTF-8 -*-'''@author: Jason.F@data: 2019.07.17@function: Implementing DMF with Tensorflow Dataset: Movielen-1m Evaluating: hitradio,ndcg https://...
2019-07-18 15:35:07
1738
2
原创 Tensorflow矩阵过大问题的解决
问题：推荐系统中，用户和物品矩阵进行embedding，但矩阵过大时，超过2G时，会有如下提示ValueError: Cannot create a tensor proto whose content is larger than 2GB.出现问题的代码语句是：self.user_item_embedding = tf.convert_to_tensor(matrix)matri...
2019-07-18 15:23:25
1728
原创 推荐经典算法实现之NCF(pytorch+MovieLen)
# coding:utf-8 '''@author: Jason.F@data: 2019.07.11@function: Implementing NCF with Torch Dataset: Movielen Dataset(ml-1m) Evaluating: hitradio,ndcg https://a...
2019-07-12 08:08:25
5078
19
HMM的java开发库Javajahmm-0.6.1
2017-05-16
EasyPR-JavaCV包
2016-09-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人