
数据专题《大数据异常检测与推荐系统》
数据挖掘分析
推荐系统CTR
数据异常检测
供应链的分析
Eric An
standing on shoulders of Giants!
我的码云地址:https://gitee.com/NavySeals
展开
-
朝花夕拾
通过sklearn提供的数据集训练一个简单的模型,在numpy的官方说明和指导下查找包和ScourceForge。 安装库:1. pip install python-dateutil2. pip install pyparsing3. import matplotlib.pyplot as plt4. from sklearn import datasets,svm, metrics5.原创 2017-02-20 08:51:37 · 453 阅读 · 0 评论 -
deeplearning 源码收集
deeplearning 源码收集 Theano – CPU/GPU symbolic expression compiler in python (from MILA lab at University of Montreal) Torch – provides a Matlab-like environment for state-of-the-art machine learning al转载 2017-10-10 12:34:04 · 403 阅读 · 0 评论 -
混沌与分形(非线性偏微方程)在视觉图像融合上应用
P. Pérez, M. Gangnet, A. Blake. Poisson image editing. ACM Transactions on Graphics (SIGGRAPH’03), 22(3):313-318, 2003. http://blog.youkuaiyun.com/vsooda/article/details/38823745翻译 2017-11-25 10:09:56 · 537 阅读 · 0 评论 -
增强学习
http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node2.htmlWe first came to focus on what is now known as reinforcement learning in late 1979. We were both at the University of Massachusetts, working o原创 2017-03-14 19:11:41 · 697 阅读 · 0 评论 -
常用数据可视化编程库
matplotlibseabronpyechartspyg2plotFolium原创 2021-07-19 14:27:50 · 269 阅读 · 0 评论 -
计算机视觉学习及Google的autom的NasNet
第一讲 课题介绍/Introduction1. 主要研究问题2. 开源库介绍(OpenCV,Caffe,Theano,Tensorflow,Torch等)3. 应用案例:基于Python语言的OpenCV库配置第二讲 图像数据处理/Image Data Processing1. 空域分析及变换(Sobel,拉普拉斯,高斯,中值等)2. 频域分析及变换(Fourier &翻译 2017-11-03 14:55:16 · 997 阅读 · 0 评论 -
机器学习
十大经典算法:C4.5算法是机器学习算法中的一种分类决策树算法; 其核心算法是ID3算法,C4.5集成了ID3算法的优点且对以下方面做了修改。 1)用信息增益率来选择属性,克服了用信息增益选择属性时偏向选择取值多的属性的不足; 2)在数据构造过程中进行剪枝; 3)能够完成对连续属性的离散优化; 4)能够对不完整数据进行数据处理; C4.5算法有如下优点: 产生的分类规则易于理解,准确率转载 2016-08-14 17:26:29 · 1873 阅读 · 0 评论 -
文本检测预处理地址
#项目参考地址:https://blog.youkuaiyun.com/lipc_/article/details/80812258#1、固定目标区域的提取,使用crop函数提取固定图像区域部分。from PIL import Image # 第一部分im = Image.open('C:/Users/Administrator/Desktop/1.jpg')img_size = im.sizep...原创 2018-10-10 09:26:38 · 283 阅读 · 0 评论 -
一种简单有效的量价分析方法
原创 2021-07-21 14:16:18 · 163 阅读 · 0 评论 -
机器学习免费课程 Top 10
机器学习https://www.coursera.org/learn/machine-learning#授课:Andrew Ng制作:斯坦福大学开课时间:10月31日这是本列表中最受欢迎的课程。该课程将广泛介绍机器学习、数据挖掘和统计模式识别。相关主题包括:•监督式学习(参数和非参数算法、支持向量机、核函数和神经网络)。•无监督学习(集群、降维、推荐系统和深度学习)。•机器学习实例(偏见/方差理论;转载 2016-10-29 18:11:21 · 2554 阅读 · 0 评论 -
传统机器学习
列1 列2 机器学习 方法 模型评估与选择 性能度量、偏差与方差 线性模型 线性回归、逻辑回归 决策树 信息增益、剪枝、C4.5 神经网络 SVM 对偶问题、核方法 贝叶斯分类器 极大似然估计、EM算法 集成学习 boosting、bagging与随机森林、深度森林 聚类 降维 k-近邻、PC...原创 2019-04-18 15:23:08 · 1121 阅读 · 0 评论 -
如何使用GPU加速深度学习
提高5倍的训练速度通常使用GPU完成深度学习why need GPU?caffe speed with GPU,主要为了cuda库来完成线程和进程之间协调分配。调参数后的网络使用建议,计算速度快的主要原因是alexnet在2012年,多节点和多GPU的使用共同训练,做推理时design choices,采用分布式算法带来节点计算提升。怎样用深度学习使用做Web应用:caffe工具做的w翻译 2017-07-11 17:18:10 · 12731 阅读 · 0 评论 -
DeepGBM模型总结
基于GBDT的在线预测任务深度学习框架A Deep Learning Framework Distilled by GBDT for Online Prediction TasksGitHub - motefly/DeepGBM: Implementation for the p…该框架主要使用CatNN、GBDT2NN两部分实现非结构化数据和结构化数据同时处理。本文优点:(1):Cat...原创 2020-01-11 10:14:33 · 1127 阅读 · 0 评论 -
表征学习
Feature learning 在机器学习中,特征学习或表征学习[1]是学习一个特征的技术的集合:将原始数据转换成为能够被机器学习来有效开发的一种形式。它避免了手动提取特征的麻烦,允许计算机学习使用特征的同时,也学习如何提取特征:学习如何学习。 机器学习任务,例如分类问题,通常都要求输入在数学上或者在计算上都非常便于处理,在这样的前提下,特征学习就应运而生了。然而翻译 2016-10-18 17:37:43 · 7531 阅读 · 0 评论 -
训练Nan问题分析
训练深度模型时候出现Nan的原因和解决方法:这种情况个人总结是training sample中脏数据导致梯度计算的时候爆炸或者消失导致失去梯度没法训练。解决方法:(1)数据归一化主要是图像的尺寸要同一,各个类别要均衡及标签中尽量少含有空格,数据归一化的方法(减均值、除方差、加入Batch Normalization、L2 norm);(2)更新参数初始化方法(Xavier、mars);(3)减小学...转载 2019-07-23 10:34:21 · 1313 阅读 · 0 评论 -
关于在RCNN和SPPNet中分类器采用SVM而不是softmax的解释。
第一我们分析的理由是cnn是需要固定的尺寸的训练样本,SPPNet是可以将任意大小的图像池化生成固定尺寸的图像形式,同比cnn在相同条件下训练耗时快24-102倍左右。理论上的卷积层是不需要规定的图像尺寸,全链接层需要固定的输入。因此将spatial pyramid pooling放在conv layers层之后,关于图像的crop边缘检测和图像的warp几何变化主要是空间坐标变化和空间坐标赋值采用原创 2017-12-15 22:14:27 · 4019 阅读 · 1 评论 -
不错的数据分析整理
转载 2019-05-22 14:40:49 · 197 阅读 · 0 评论 -
windows环境下安装TensorFlow
They say that history is written by the victors 历史是由胜利者所书写的!首先我们要确定系统必须是64位操作系统,主要是计算能力和精度上的要求。也是系统环境搭建基础,主要是32bit和64bit代码运行的隔离机制问题和cpu的寻址范围不一样,16,32,64都是总线宽度,在定常指令集中指令宽度操作系统中主要是寻址范围,为了实现多程序并行。这里主要是CP原创 2017-02-24 15:55:46 · 582 阅读 · 0 评论 -
了解生成对抗网络GAN
简单了解对抗网络原创 2017-02-14 13:29:43 · 1127 阅读 · 1 评论 -
大数据算法基础
http://www.huaxiaozhuan.com/原创 2019-07-07 17:48:15 · 505 阅读 · 0 评论 -
HPM人脸器官定位分析
此类算法主要是解决目前徐州的闯马路红灯问题,提高对局部复原、人脸定位、纹理渐变、使用经典的ASM和AMM,使用HPM算法在Occlusion Coherence:localizing Occlufaces with a Hierarchal c,Fowlkers Dept.of computer Science.University of California ,Irvine 该算法主要优势在于处原创 2017-05-07 21:37:20 · 1085 阅读 · 0 评论 -
数据分析
原创 2019-04-22 10:40:35 · 110 阅读 · 0 评论 -
机器学习中的思维方向
思维导图工具novanmind 2016-02-28 ccccfys cccc 使用两个快捷键inset和enter完成思维发散可视化和产品设计的必备软件1,设想你有两种选择:可以传真一份文档,即传送图像,或者先使用光学字符阅读器(OCR),然后传送相应的文本文档。用对比方式论述两种的优缺点,并讨论什么时候一种方法原创 2016-08-11 19:40:33 · 773 阅读 · 0 评论 -
Discover Feature Engineering, How to Engineer Features and How to Get Good at It
特征工程是一个非正式的话题,但是绝对知道并同意是应用机器学习成功的关键。在创造这本指南,我走得很宽,深,并合成了所有的材料,我可以。你会发现什么特征工程,它解决了什么问题,为什么它重要,如何工程师的功能,谁做得很好,在哪里你可以去了解更多,擅长它。如果你阅读一篇关于特征工程的文章,我想要它是这一个。特征工程是另一个话题,似乎不值得任何审查论文或书籍,甚至书中的章节,但它是ML成功绝对至关重要。 […翻译 2016-10-18 17:46:40 · 915 阅读 · 0 评论 -
Stock-to-Flow交叉资产模型预测
Stock-to-Flow交叉资产模型预测原创 2021-07-12 15:56:57 · 399 阅读 · 0 评论 -
特征工程与机器学习
原创 2019-11-28 16:22:06 · 169 阅读 · 0 评论 -
目标检测与属性识别学习笔记
图像标注工具Labellmg使用教程 http://blog.youkuaiyun.com/Jesse_Mx/article/details/53606897中文标注工具 https://github.com/crownpku/Chinese-Annotator https://zhuanlan.zhihu.com/p/31149817 图像增强技术在线库 http://imgaug.readthe...转载 2018-03-07 17:00:24 · 3049 阅读 · 0 评论 -
目标检测初学者教程
https://cloud.tencent.com/developer/column/1646原创 2018-12-07 15:44:48 · 1484 阅读 · 0 评论 -
2016TNNLS发表的一篇人脸识别论文的matlab源代码
The matlab code written by the authors for the paper: Ke-Kun Huang, Dao-Qing Dai, Chuan-Xian Ren, Zhao-Rong Lai. Learning Kernel Extended Dictionary for Face Recognition. IEEE Transactions on Neural Ne原创 2017-03-14 19:15:44 · 3548 阅读 · 0 评论 -
面试中机器学习经典算法学习
一、经典算法1、K-NN最近邻2、线性回归3、逻辑回归4、凸优化5、朴素贝叶斯6、支持向量机7、决策树8、随机森林9、GBDT10、XGBoost11、矩阵分解12、K-Means13、GMM14、LDA主题模型15、EM16、PCA二、学习内容1)算法的基本原理2)项目应用细节3)原理基础优化4)新模型优化调试5)完整项目调试三、项目学习1、图像识...原创 2019-09-23 06:39:37 · 222 阅读 · 0 评论 -
Modeling生涯中的苦与乐
信仰与神同在,真理与经验同在 土豆在黄土生长,某一天发现自己有个身份叫薯片。他变了,熟了!(Standing on shoulder of Giants-iTuring)以下是参考资料:...原创 2016-07-04 08:01:17 · 2056 阅读 · 2 评论 -
数据预测结果对比分析
预测结果分析:# Author :Jungang_An# Coding :utf - 8 -*-# Time : 2019/11/4 17:20# 读入特定行参数进行可视化对比import matplotlib.pyplot as pltimport numpy as npimport pandas as pdraw_data = (',/001/train.csv',use...原创 2019-11-04 17:46:22 · 1639 阅读 · 0 评论 -
机器学习中的数学基础
数学基础在人工智能中的重要性转载 2016-08-24 10:22:40 · 1398 阅读 · 0 评论 -
python绘制bbox
参考博客:https://blog.youkuaiyun.com/pursuit_zhangyu/article/details/80410939代码如下:from PIL import Image,ImageDrawimage_path = 'C:/Users/Administrator/Desktop/123.jpg'image = Image.open(image_path)#创建一个可以在...转载 2019-01-04 17:29:17 · 6727 阅读 · 0 评论 -
支持向量机的认识
对于任意一个可分的二分类模型,一定存在无数个分界面,而支持向量机的核心就是所以的分界面中找出一个是两个类的边界最大的那个分界面。相比较Ng老师的课程比较容易接受,在coursera上学习确实挺方便,现在Udacity和Edx很多课程也叫基础。初学者阅读图解机器学习和Michael Nielsen的文章对神经网络有很大帮助,stanford的cs294A。如果需要把课件做成比较学习效率更高,用Smal原创 2016-08-13 08:06:26 · 318 阅读 · 0 评论 -
机器学习发展方向
Artificial Intelligence --> Machine Learning --> Deep Learning --> Deep Reinforcement Learning --> Deep Meta Learning原创 2020-11-24 16:05:13 · 739 阅读 · 0 评论 -
两种图像加法合成运算
import cv2import numpy as np#图像加法这里用bmp格式的位图 但是尺寸也要一样img1=cv2.imread("C:/Users/Administrator/Desktop/123.bmp",cv2.IMREAD_UNCHANGED)img2=cv2.imread("C:/Users/Administrator/Desktop/4.bmp",cv2.IMREA...原创 2019-01-08 11:48:46 · 1977 阅读 · 0 评论 -
机器学习中的数学问题
高数上下册 《概率论与数理统计浙大版》 《数理统计学简史》陈希孺 《矩阵分析与应用》张贤达 《凸优化 (Convex Optimization)》-Stphen Boyd&Lieven Vandenberghe 《统计学习方法》李航 《PRML》转载 2016-08-16 18:45:14 · 1577 阅读 · 0 评论 -
浅谈tensorflow框架和深度学习应用
由于本框架支持python和C++接口,从系统和代码的角度分析内部实现的原理,从核心框架到Opkemels模块、Graph模块、Session模块。由于具有良好的延展性所以得到广泛应用,设计理念我认为和现在的模块式并没有多大区别这种基于UML的建模方法计算框架应用已经非常成熟。从底层的设备管理层-通信层-数据操作层-图计算层 设备管理层主要是对CPU、GPU、Mobile的MPU、APU的翻译 2017-05-05 12:35:36 · 4959 阅读 · 0 评论 -
统计学对现在工业的意义
统计与随机过程解决无序中的有序用数列和矩阵表示这种直观关系。https://blog.youkuaiyun.com/qq_28260611/article/details/80948116https://blog.youkuaiyun.com/allenlu2008/article/details/80229070...原创 2018-10-24 08:53:38 · 573 阅读 · 2 评论