
机器学习
文章平均质量分 92
飞翔的七彩蜗牛
搬砖工程师。
Still need hot blood and faith。
要想透彻的理解算法, 一是要看透算法原作者的论文, 二是要读懂相关的优秀源码实现。
行百里者半九十。
展开
-
因果推断15--GRFlift: GMV约束下多重处理的提升模型
许多科学领域的核心问题之一是确定一个行为如何影响结果,也就是说,确定一个行为是否有因果效应或治疗效应。这是科学研究和许多学科应用中的一个基本问题。在商业中,流行的研究是,电子商务公司为了制定成功的商业战略,会重点研究广告的植入或对用户的奖励是否会给他们带来利益。相应的方法是因果推断(CI),即确定改变一个变量(例如,治疗)的值是否会影响另一个变量(例如,结果)的值[15,22]。CI的基本方法称为隆起建模[26]。隆升建模在市场营销和保险领域的成功最初引起了人们的注意。原创 2023-03-14 18:51:34 · 1317 阅读 · 0 评论 -
因果推断12--dragonnet论文和代码学习
我们从观察数据中考虑因果效应的估计。在随机对照试验(RCT)昂贵或不可能进行的情况下,观察数据往往很容易获得。然而,从观察数据得出的因果推断必须解决(可能的)影响治疗和结果的混杂因素。未能对混杂因素进行调整可能导致不正确的结论。为了解决这个问题,医生除了收集治疗和结果状态外,还收集协变量信息。如果协变量包含所有混杂变量,则可以确定因果效应。我们将在“无隐藏混淆”的背景下贯穿全文。原创 2023-03-09 16:33:34 · 6234 阅读 · 1 评论 -
因果推断7--深度因果模型综述(个人笔记)
因果关系概念在人类认知中起着重要的作用。在过去的几十年里,因果推理在许多领域得到了很好的发展,如计算机科学、医学、经济学和其他工业应用。随着深度学习的发展,它越来越多地应用于对反事实数据的因果推断。通常,深度因果模型将协变量的特征映射到表示空间,然后设计各种目标函数来无偏估计反事实数据。与现有机器学习中因果模型的研究不同,本文主要对深层因果模型进行了概述,其核心贡献如下:1)总结了多剂量治疗和连续剂量治疗下普遍采用的相关指标;2)我们从发展时间轴和方法分类角度对深层因果模型进行了全面概述。原创 2023-02-19 21:34:39 · 10052 阅读 · 1 评论 -
因果推断4--Causal ML(个人笔记)
CausalML是一个基于Python的因果学习开源项目。最早为Uber项目定制、内部开源,而后正式成为开源项目。其提供了丰富的模型选择,例如常用的Meta-Learner和因果树模型,方便在实践中作对比和选择。同时还提供例如模拟数据生成、模型可视化、模型评估等一系列配套工具。其目标是用于解决业务实践问题,尤其是在计算速度和数据规模方面能够达到业界标准并持续优化。原创 2023-01-02 17:38:40 · 5455 阅读 · 0 评论 -
因果推断3--DRNet(个人笔记)
从观测数据估计剂量-反应曲线是许多领域的一个重要问题。例如,在医学上,我们感兴趣的是使用过去接受过治疗的人的数据来预测哪些治疗方法和相关剂量会给新患者带来更好的结果。这个问题的核心是一个反事实的问题,也就是说,我们感兴趣的是预测,如果我们在给定的情况下,以特定的剂量给病人特定的治疗,会发生什么。回答这样的反事实问题是一项具有挑战性的任务,需要对潜在的数据生成过程进行进一步假设,或者进行前瞻性的干预实验,如随机对照试验[2 - 4]。然而,进行前瞻性实验既昂贵又耗时,而且在许多情况下,在道德上是不合理的。原创 2022-12-25 22:16:33 · 3743 阅读 · 4 评论 -
因果推断2--深度模型介绍(个人笔记)
S-Learner和T-Learner都不太好,因为S-Learner是把T和W一起训练,在),而T-Learner是各自对T=0和T=1训练两个独立的模型,这样会造成过,与因果关系不大。原创 2022-12-18 20:43:38 · 5996 阅读 · 1 评论 -
因果推断1--基本方法介绍(个人笔记)
因果推断是基于统计学方法刻画变量之间的因果关系。原创 2022-12-11 22:05:52 · 14764 阅读 · 0 评论 -
sklearn处理分类或者回归问题
sklearn处理回归问题import numpy as npimport matplotlib.pyplot as plt # 生成数据def gen_data(x1, x2): y = np.sin(x1) * 1/2 + np.cos(x2) * 1/2 + 0.1 * x1 return y def load_data(): x1_tra...原创 2020-03-31 21:37:01 · 666 阅读 · 0 评论 -
sklearn 模型保存
from sklearn.externals import joblib模型训练 os.chdir("workspace/model_save")from sklearn import svmX = [[0, 0], [1, 1]]y = [0, 1]clf = svm.SVC()clf.fit(X, y) clf.fit(train_X,train_y)模型保存...原创 2019-01-10 16:05:28 · 553 阅读 · 0 评论 -
使用librosa&SVM实现语言情感识别
任务:语言情感分类音频处理库:librosalibsora安装Librosa官网提供了多种安装方法,详细如下:最简单的方法就是进行pip安装,可以满足所有的依赖关系,命令如下:pip install librosa如果安装了Anaconda,可以通过conda命令安装:conda install -c conda-forge librosa数据集:casia...原创 2019-01-10 15:16:03 · 4075 阅读 · 4 评论 -
原 keras 两种训练模型方式fit和fit_generator(节省内存)
fit_generator(self, generator, steps_per_epoch, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_q_size=10, workers=1, pickle_safe=False, initi...转载 2018-12-21 09:31:04 · 2736 阅读 · 0 评论 -
人脸检测算法-----学习OpenCV看源码文件
方法3基于AdaBoost算法的人脸检测2010年viola和Jones引入积分图的概念,提出了基于Haar-like特征、级联结构的AdaBoost算法,成功应用于模式识别领域,实现了实时人脸检测,使人脸检测技术取得了突破性进展。为适应背景的复杂性,研究者提出了将肤色等人脸特征和AdaBoost算法相结合的人脸检测新算法。算法首先结合人脸特征,利用人脸特征确定人脸的大致方向,然后用级联结构的...原创 2018-12-19 15:56:38 · 1076 阅读 · 0 评论 -
keras 模型保存在训练
# 开始训练import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.optimizers import SGD # 载入数...原创 2019-06-01 15:25:27 · 452 阅读 · 0 评论 -
keras 实现conv1D卷积
import numpy as npimport kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Flatten, LSTM, Inputfrom keras.layers import Conv2D, MaxPooling2D, Convolution1D, Acti...原创 2019-06-05 15:58:23 · 3788 阅读 · 3 评论 -
OpenCV人检测
import cv2from imutils.object_detection import non_max_suppressionimport numpy as np img=cv2.imread("image.jpg")orig = np.zeros(img.shape, np.uint8)#orig = img.copy() # 定义HOG对象,采用默认参数,或者按照下面的...原创 2019-03-12 08:41:20 · 608 阅读 · 1 评论 -
安装ununtu18.04
删除原来分区释放空闲分区Windows10+Ubuntu18.04双系统安装成功心得https://blog.youkuaiyun.com/qq_41661800/article/details/82562196U盘启动器使用Rufus 2.8.886制作优盘用U盘制作的时候选择MBR还是GPT!!一定要选清楚,BIOS模式是UEFI的选GPT,是Legacy的选MBR...原创 2019-03-07 18:59:29 · 357 阅读 · 1 评论 -
Python Merge Two Sorted Lists合并有序列表
21.Merge Two Sorted ListsMerge two sorted linked lists and return it as a new list. The new list should be made by splicing together the nodes of the first two lists.# -*- coding: utf-8 -*-"""...原创 2019-04-11 16:21:41 · 944 阅读 · 0 评论 -
打开CSV文件写入另一个CSV
字符串转list ,list 转字符串import stringstr = 'abcde' list = list(str)list['a', 'b', 'c', 'd', 'e']str'abcde'str_convert = ''.join(list)str_convert'abcde'#coding: utf-8import csvc=open("data...原创 2019-01-21 16:32:57 · 780 阅读 · 1 评论 -
目标检测标注格式转换
来源博客:自有数据集上,如何用keras最简单训练YOLOv3目标检测https://blog.youkuaiyun.com/sinat_26917383/article/details/85614247#commentseditGitHub地址:https://github.com/as472780551/keras-yolo3-improved数据要求:数据准备最简单是因为把数据...原创 2019-01-21 14:45:20 · 767 阅读 · 0 评论 -
pydub库---语音增强
【Python】利用pydub库操作音频文件最近使用Python调用百度的REST API实现语音识别,但是百度要求音频文件的压缩方式只能是pcm(不压缩)、wav、opus、speex、amr,这里面也就wav还常见一点,但是一般设备录音得到的文件都是mp3,这就要把mp3转换为wav,由于python的效率并不高,很多实现都是使用C++或者Java,不过GitHub上有一个项目pydub...原创 2018-12-08 21:13:03 · 4498 阅读 · 0 评论 -
比赛用到的神经网络--需要学习的
1. ResNet系列2. NASNet系列3. Inception系列4. Xception(keras)5. VGG 6.DPNXception —— 深度可分卷积卷积神经网络中的Inception模块是在普通卷积和深度可分卷积操作(深度卷积后逐点卷积)之间的一种中间状态。基于此,深度可分卷积可以理解为最大数量tower的Inception模块。受Inception启发,该观察引发我...原创 2018-05-18 20:01:25 · 671 阅读 · 0 评论 -
深度学习算法理解----(1)
不论是基本概念还是具体算法,最重要的就是实践。不实践这些算法就永远不能发现哪些地方没有掌握,因此希望本文能有助于各位读者实践自己的算法。没有免费午餐定理https://blog.youkuaiyun.com/starzhou/article/details/72614795在机器学习中,有个定理被称为「没有免费的午餐」。简而言之,就是说没有一个算法可以完美解决所有问题,而且这对于监督学习(即对预测的建模)而言...转载 2018-04-29 21:47:53 · 1953 阅读 · 0 评论 -
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
一、目标检测常见算法 object detection,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。所以,object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。 然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。 目前学术和工业界出现的...转载 2018-07-23 14:00:08 · 4889 阅读 · 0 评论 -
jupyter notebook 快捷操作
Jupyter Notebook 的快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式,允许你往单元中键入代码或文本;这时的单元框线是绿色的。命令模式,键盘输入运行程序命令;这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter : 转入编辑模式 Shift-Enter : 运行本单元,选中下个单元 Ctrl-Enter : 运行本单元 Alt-Ent...原创 2018-07-17 19:36:08 · 1492 阅读 · 0 评论 -
图像识别----中文显示检测结果
1、R-FCN+ResNet-50用自己的数据集训练模型(python版本)https://blog.youkuaiyun.com/sinat_30071459/article/details/532029772、matplotlib —— 添加文本信息(text)https://blog.youkuaiyun.com/lanchunhui/article/details/529343473、Linux下python m...转载 2018-05-05 15:33:52 · 523 阅读 · 0 评论 -
第 一 门课 神经网络和深度学习(一)
第一门课会以猫作为对象识别第二门课中,学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法,比如 Momentum 和 Adam 算法。第三门课中,我们将使用两周时间来学习如何结构化你的机器学习工程。第四门课程中,我们将会提到卷积神经网络(CNN(s)),它经常被用于图像领域,你将会在第四门课程中学到如何搭建这样的模型。在第五门课中,你将会学习到序列模型,以及如何将它们应用于自然语言处理,以...原创 2018-07-16 10:37:31 · 617 阅读 · 0 评论 -
语音识别实现
简单语音识别实现https://blog.youkuaiyun.com/m0_37490039/article/details/79474946TensorFlow技术解析与实战 11 自然语言处理https://blog.youkuaiyun.com/qfire/article/details/78837196模块简介当我们想在windows平台上利用Python将文本转化为语音输出,用作语音提示,...转载 2018-08-02 16:02:47 · 2686 阅读 · 0 评论 -
win10创建tensorflow环境跟管理环境
一、环境创建:conda create -n 环境名 -c 镜像源 Python 2.7 $ conda create -n tensorflow python=2.7 Python 3.4 $ conda create -n tensorflow python=3.4 Python 3.5 $ conda create -n ...原创 2018-09-22 17:25:32 · 856 阅读 · 0 评论 -
图像分类比赛[举一反三]
https://mp.weixin.qq.com/s/7XALdbcz3imCs2kbmEI-lQ用心去思考一些东西,相信自己可以做到的下面为大家介绍这一图像分类任务,该任务可以分为五个步骤第一步: 在大多数机器学习任务中,我们首先要做的(也是最重要的任务)就是在使用算法之前分析数据集。这一步骤之所以重要,是因为它能够让我们对数据集的复杂度有深入的了解,这最终将有助于算法的设计...原创 2018-10-31 09:53:09 · 1824 阅读 · 0 评论 -
无法打开包括文件: “numpy/arrayobject.h”: No such file or directory
Cython fatal error C1083: 无法打开包括文件: “numpy/arrayobject.h”: No such file or directory解决方案#解决方法:#添加 include_dirs=[np.get_include()]from distutils.core import setupfrom distutils.extension imp...原创 2018-11-06 15:19:33 · 12728 阅读 · 8 评论 -
图像强度归一化Intensity normalization
#因为opencv读入的图片矩阵数值是0到255,有时我们需要对其进行归一化为0~1'''import cv2img3 = cv2.imread('me.png')img3 = img3.astype("float") / 255.0 #注意需要先转化数据类型为floatcv2.imshow("Image",img3)cv2.waitKey()print(img3.dtype)...原创 2018-11-08 14:16:42 · 7419 阅读 · 1 评论 -
crowd counting
crowd counting人群密度估计之MCNNhttps://blog.youkuaiyun.com/qq_14845119/article/details/689467272016年 --Single Image Crowd Counting via Multi Column Convolutional Neural NetworkThis is an unofficial implem...转载 2018-07-27 21:40:45 · 707 阅读 · 0 评论 -
卷积的滑动窗口实现(Convolutional implementation of sliding windows)
为了构建滑动窗口的卷积应用, 首先要知道如何把神经网络的全连接层转化成卷积层原创 2018-07-22 16:45:44 · 4564 阅读 · 1 评论 -
基于深度学习的图像语义分割算法综述(转载)
教程 | 重新发现语义分割,一文简述全卷积网络 全卷积网络自 2012 年出现以来,在图像分类和图像检测领域取得了巨大成功。本文利用笔记本电脑构建了一个小型全卷积网络,详细介绍了全卷积网络的思路、过程等等,值得一看 语义分割是一种学习如何识别图像中对象范围的机器学习技术。语义分割赋予机器学习系统与人类相似的理解图像内容的能力。它促使机器学习算法定位对象的精准边界,无论是街景图像...转载 2018-07-20 00:00:14 · 2775 阅读 · 0 评论 -
python reshape shape astype 理解
x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)from numpy import *l = zeros((5,4))#构建一个5*4的零矩阵for i in range(5)...原创 2018-07-20 16:27:01 · 9491 阅读 · 2 评论 -
Python实现文件读写
if scores[i] <= 0: break #f.write(item+' '+str(label+1)+' '+str(score)+' '+str(int(box[0]))+' '+str(int(box[1]))+' '+str(int(box[2]))+' '+str(int(box[3]))+' \n'...原创 2018-07-20 21:19:06 · 686 阅读 · 0 评论 -
CNN 可视化卷积核
Deep Visualization:可视化并理解CNNhttps://blog.youkuaiyun.com/zchang81/article/details/78095378 caffe版本卷积神经网络CNN:Tensorflow实现(以及对卷积特征的可视化)本文主要是实现了一个简单的卷积神经网络,并对卷积过程中的提取特征进行了可视化. 卷积神经网络最早是为了解决图像识别的问题,现...转载 2018-07-22 10:51:12 · 19891 阅读 · 3 评论 -
skimage的简介
skimage的简介 skimage即是Scikit-Image。基于python脚本语言开发的数字图片处理包,比如PIL,Pillow, opencv, scikit-image等。 PIL和Pillow只提供最基础的数字图像处理,功能有限;opencv实际上是一个c++库,只是提供了python接口,更新速度非常慢。scikit-image是基于scipy的一款图像处...原创 2018-08-03 16:44:25 · 30873 阅读 · 2 评论 -
DeepMind&VGG提出基于集合的人脸识别算法GhostVLAD,精度远超IJB-B数据集state-of-the-art
转载自:https://mp.weixin.qq.com/s/R1hdkPTdFCo7JvOKNcEzJg人脸识别应用中,很多场景能够获取某一个体的多幅人脸图像的集合(比如在监控视频中),使用人脸图像集来做识别,这个问题被称为基于模板的人脸识别(template-based face recognition)。对于多幅图像,当然可以使用单幅人脸图像的识别方法,综合多幅图像的识别结果确定最终...转载 2018-11-08 14:44:19 · 2619 阅读 · 0 评论