异常检测小例子

基于单类分类的异常检测小例子 基于单类分类的异常检测小例子 主要内容 代码主要是基于单类分类的方法做异常检测,采用简单的One Class SVM(单分类SVM) 和 IsolationForest(孤立森林) 两种方法进行异常检测,采用GAN的对抗训练过程提取数据的特征,将特征送入One Class SVM和IsolationForest中进行单类学习。One Class SVM和IsolationForest均使用skle... 阅读详情

异常检测测试小例子,使用mnist数据集进行正常数据集的建立,测试加入logo图片,检测重构误差大于某个阈值,则判断异常。测试logo图片可以自己制作,某些路径需要根据自己环境适当更改下。

import tensorflow as tf

import numpy as np

import tensorflow.examples.tutorials.mnist.input_data as input_data

import math

import scipy

from scipy import ndimage

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
#------------------分割线------------------#

batch_size=1

smooth=0.1

path = '/Users/changxingya/Documents/test_image'

#------------------分割线------------------#
#use the msra to initialize the parameters
'''
input_: Tensor of input, format NHWC

shape: [filter_height, filter_width, in_channel, out_channel]

k_step: The size of kernel

name: Name of model

'''
def conv2d(input_, shape, k_step, name):

  with tf.variable_scope(name):

    msra_num = 1.0

    fan_in = k_step * k_step * int(input_.get_shape()[-1])

    stddev = msra_num * (math.sqrt(2. / float(fan_in)))

    w = tf.get_variable('w', shape, initializer= tf.truncated_normal_initializer(stddev=stddev))

    b = tf.get_variable('b', [shape[-1]], initializer=tf.constant_initializer(value=0.0))

    conv = tf.nn.conv2d(input_, w, strides=[1,k_step,k_step,1], padding = 'SAME') + b

    return conv

'''
  input_: Tensor of input, format NHWC

  output: [batch, out_height, out_width, out_channel]

  k_step: The size of kernel is k_step*k_step

  d_step: we can define the generated image size, if you define the d_step=2,
          we can get the double size of generated image

'''

def deconv2d(input_, out_shape, k_step, d_step, name):

  with tf.variable_scope(name):

    msra_num = 1.0

    fan_in = k_step * k_step * int(input_.get_shape()[-1])

    stddev = msra_num * (math.sqrt(2. / float(fan_in) * float(d_step) * float(d_step)))

    w = tf.get_variable('w', [k_step, k_step, out_shape[-1], input_.get_shape()[-1]])

    deconv = tf.nn.conv2d_transpose(input_, w, output_shape=out_shape, strides=[1, d_step, d_step, 1])

  return deconv

'''

input_: Tensor of input, format NHWC

shape: [input_channel, out_channel]

'''

def fully_contact(input_, shape, name):

  with tf.variable_scope(name):

    msra_num = 1.0

    fan_in = int(input_.get_shape()[-1])

    stddev = msra_num * (math.sqrt(2./float(fan_in)))

    w = tf.get_variable('w', shape, initializer= tf.truncated_normal_initializer(stddev=stddev))

    b = tf.get_variable('b', shape[-1], initializer= tf.constant_initializer(value=0.0))

    fc = tf.matmul(input_, w) + b

    return fc

'''

define the function of leakrelu

'''

def leakyrelu(x, leak=0.2):

  k1 = (1 + leak)*0.5

  k2 = (1 - leak)*0.5

  return k1 * x + k2 * tf.abs(x)

'''

Restore pixel [-1, 1] to [0, 255]

'''

def rescale_image(image):

  convert_image = (image / 1.5 + 0.5) * 255

  return convert_image

'''

input: The tensor of input, format NHWC

size: recevie the number of images, such as size=8, we can get the 64 images, simultaneously

image_path: the path to store image

colorL: Ture is color image, Flase is gray image

iter: record continous storage images

'''

def save_image(input_, size, image_path, color, iter):

  h, w = input_.shape[1],input_.shape[2]

  convert_input = input_.reshape(batch_size, h, w)

  if color is True:

    image = np.zeros((h * size, w * size, 3))

  else:

    image = np.zeros((h * size, w * size))

  for index, img in enumerate(convert_input):

    i = index % size

    j = math.floor(index / size)

    if color is True:

      image[h*j:h*j+h, i*w:i*w+w,:] = img

    else:

      image[h*j:h*j+h, i*w:i*w+w] = img

  scipy.misc.toimage(rescale_image(image),cmin=0, cmax=255).save(image_path+'/tr_gt_%s.png' % (iter))

#------------------分割线------------------#

def AutoEncoder(input_):

  with tf.variable_scope("Autoencoder", reuse = tf.AUTO_REUSE) as scope0:

      conv1 = conv2d(input_, [5, 5, 1, 32], 2, "conv1")

      conv1 = leakyrelu(conv1)

      conv2 = conv2d(conv1, [5, 5, 32, 64], 2, "conv2")

      conv2 = leakyrelu(conv2)

      deconv1 = deconv2d(conv2, [batch_size, 14, 14, 32], 5, 2, "deconv1")

      deconv1 = leakyrelu(deconv1)

      deconv2 = deconv2d(deconv1, [batch_size, 28, 28, 1], 5, 2, "deconv2")

      output = tf.tanh(deconv2)

      return output

#------------------分割线------------------#
'''

we can define the compute graphy and given the dataset to the graphy,

'''

#with tf.name_scope("input"):

input_image = tf.placeholder(tf.float32, [None, 28, 28, 1], 'input_image')

#------------------分割线------------------#
#with tf.name_scope("network"):

generate_image = AutoEncoder(input_image)

tf.summary.image("output_image", generate_image, 100)

#------------------分割线------------------#
#with tf.name_scope("loss"):

Auto_loss = tf.reduce_mean(tf.reduce_sum(tf.pow(tf.subtract(generate_image, input_image), 2), 3))

tf.summary.scalar("loss", Auto_loss)

#------------------分割线------------------#
train_var = tf.trainable_variables()

#with tf.name_scope("train"):

train_loss = tf.train.AdamOptimizer(0.001, beta1=0.9).minimize(Auto_loss)

init = tf.global_variables_initializer()

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.6)

#------------------分割线------------------#

with tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) as sess:

  sess.run(init)

  count = 0

  merged = tf.summary.merge_all()

  writer = tf.summary.FileWriter('/Users/changxingya/Documents/logs',sess.graph)

  for i in range(500):

    mnist_image= mnist.train.next_batch(batch_size)

    batch_image = mnist_image[0].reshape(batch_size, 28, 28, 1)

    batch_image = batch_image * 2 - 1

    sess.run(train_loss, feed_dict={input_image: batch_image})

    print(sess.run(Auto_loss, feed_dict={input_image: batch_image}))

    summary = sess.run(merged, feed_dict={input_image: batch_image})

    writer.add_summary(summary, i)

    if i % 100 == 0:

      img = np.array(ndimage.imread('/Users/changxingya/Desktop/logo/'+str(count)+'.png'))

      img = img.reshape(1,28,28,1)

      count += 1

      print(i)

      print(sess.run(Auto_loss, feed_dict={input_image: img}))

      output_image = sess.run(generate_image, feed_dict={input_image: img})

      #result = sess.run(merged, feed_dict={input_image: batch_image})

      summary= sess.run(merged, feed_dict={input_image: img})

      #loss = tf.summary.scalar('loss',result)

      #result = sess.run(merged, feed_dict={input_image: batch_image})

      writer.add_summary(summary, i)

      #save_image(output_image, 8, path, False, i)

PCA、LOF、IForest、One-Class SVM异常检测例子 原数据(鸢尾花) from sklearn import datasets #导入内置数据集模块 iris=datasets.load_iris() #导入鸢尾花的数据集 x=iris.data[:,0:2] #样本数据共150个,取前两个特征,即花瓣长、宽 #可视化数据集 import matplotlib.pyplot as plt plt.scatter(x[:,0],x[:,1]) #x的第0列绘制在横轴,x的第1列绘制在纵轴 plt.title("原数据点") plt.sho 阅读详情

相关推荐

49、基于声音预测系统健康状况

本文提出了一种基于声音的系统健康状况预测方法,结合自监督学习与支持向量机(S3VM),利用ToyADMOS和MIMII音频数据集进行异常检测。通过特征提取、PCA降维与RBF核优化,模型在多种机器上实现了较高的准确率。实验结果显示,风扇、滑块和泵等设备在测试中表现优异,平均测试准确率最高达82%以上。文章还分析了各机器性能差异,提出了数据、模型与特征层面的优化建议,并探讨了其在工业设备监控、智能家居和交通领域的应用前景。

juice的博客 244

MIMIC III数据集详细介绍

文章目录1. 概述2. 字典信息辅助表D_CPT(目前使用医疗服务术语表)D_ICD_DIAGNOSES (ICD病情确诊词典表)D_ICD_PROCEDURES (ICD医疗过程词典表)D_ITEMS(ICU化验词典表)D_LABITEMS(门诊化验词典表)3. 病人基本信息及转移信息表PATIENTS(病人登记表)ADMISSIONS(住院表)CALLOUT(出院表)ICUSTAYS(ICU记录表)TRANSFERS(病房转移表)SERVICES(服务表)4. 病人医院门诊治疗的相关信息表CPTEVEN

bboy枫亭的博客 2万+

【机器学习入门到精通系列】异常检测

文章目录1 什么是异常值?2 问题提出3 高斯分布4 高斯分布的异常检测算法5 开发和评估异常检测系统6 异常检测和监督学习7 选择要使用的功能---数据变换为高斯分布8 多元高斯分布9 使用多元高斯分布来进行异常检测 1 什么是异常值? 在机器学习中,异常检测和处理是一个比较小的分支,或者说,是机器学习的一个副产物,因为在一般的预测问题中,模型通常是对整体样本数据结构的一种表达方式,这种表达方式通常抓住的是整体样本一般性的性质,而那些在这些性质上表现完全与整体样本不一致的点,我们就称其为****异常点,通

NJU phd 在读。 717

Mnist数据集测试代码

包含模块:numpy,scipy,time 注:数据集格式为.csv import numpy import scipy.special import time class neuralNetwork: # 初始化网络 def __init__(self, inputnodes, hiddennodes, outputnodes, learningrate): self.in...

ZYF的博客 804

motor_graders:MIMII数据集

声音 ... 友情链接:

mimii_baseline:MIMII数据集异常检测的基准样本代码

MIMII数据集基线(Ver.1.0.3) 此示例代码是MIMII数据集异常检测的基线。 MIMII数据集是用于对工业机器进行调查和检查的故障的可靠数据集。 它包含从四种类型的工业机器产生的声音,即阀门,泵,风扇和滑轨。 每种类型的机器都包含多个单独的产品模型,每种模型的数据都包含正常声音和异常声音。 为了模拟现实情况,记录了各种异常声音。 另外,在多个真实工厂中记录的背景噪音与机器声音混合在一起。 MIMII数据集可以在以下位置下载: ://zenodo.org/record/3384388 如果您使用MIMII数据集,请引用以下任何一篇论文: [1] Harsh Purohit,Ryo Tanabe,Kenji Ichige,Takashi Endo,Yuki Nikaido,Kaori Suefusa和Yohei Kawaguchi,“ MIMII数据集:用于工业机械故障

PyTorch深度学习例子:医学影像报告异常检测

PyTorch深度学习例子:医学影像报告异常检测 介绍模型设计、模型训练、模型评估等基本步骤, Transformer和LSTM的简单应用。

sugar_luo的博客 1196

PMASD:异常声音检测(DataScientest项目)

PMASD:异常声音检测(DataScientest项目)

python 异常检测算法_有没有用TensorFlow实现异常检测算法的例子?

下面是一个使用Holt-Winters的顺序过滤的例子。同样的模式也适用于其他类型的序列建模,如Kalman滤波器。在from matplotlib import pyplotimport numpy as npimport tensorflow as tftf.logging.set_verbosity(tf.logging.INFO)seasonality = 10def model_fn(f...

weixin_39724266的博客 281

MIMII数据集进行无监督异常声音检测的MATLAB实现。该工作聚焦于信号处理驱动的特征提取和机器学习实现。.zip

1.版本:matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

【电磁场计算】磁偶极子在外磁场中的受力

最近在总结电磁场计算公式的时候发现,关于磁偶极子受力的计算公式,在不同文献中的说明有点出入,在此特地写一篇博客澄清一下。

sky4403的博客 7476

异常检测-基于孤立森林算法Isolation-based Anomaly Detection-3-例子

参考:https://scikit-learn.org/stable/auto_examples/ensemble/plot_isolation_forest.html#sphx-glr-auto-examples-ensemble-plot-isolation-forest-py 代码: print(__doc__) import numpy as np impo...

weixin_30905133的博客 441

【技术解析】华为智算中心:昇腾AI算力与无损网络如何驱动大模型训练

本文深入解析了华为智算中心如何通过昇腾AI算力与超融合以太无损网络的协同,驱动千亿参数大模型的高效训练。昇腾NPU提供专用计算引擎,而基于RoCE的无损网络则通过PFC、ECN等技术确保万卡集群间的高带宽、零丢包通信,实现算力利用率最大化,解决大规模AI训练的核心瓶颈。

weixin_29311017的博客 203

异常检测(Anomaly Detection)

因为,如果它看起来像一个正常的引擎,那么。通常可以通过将一些相关的特征进行组合,来获得一些新的更好的特征(异常数据的该特征值异常地大或小),例如,在检测数据中心的计算机状况的例子中,我们可以用 CPU负载与网络通信量的比例作为一个新的特征,如果该值异常地大,便有可能意味着该服务器是陷入了一些问题中。假想你是一个飞机引擎制造商,当你生产的飞机引擎从生产线上流出时,你需要进行QA(质量控制测试),而作为这个测试的一部分,你测量了飞机引擎的一些特征变量,比如引擎运转时产生的热量,或者引擎的振动等等。

qq_45742413的博客 1417

educoder 5-3Python 计算思维训练——地图模拟

任务描述 本关任务:利用 Python 实现动画观察近 30 天 4.5 级以上地震发生情况。 相关知识 为了完成本关任务,你需要掌握:1.如何用 Python 从网络获取所需数据;2.如何用 Python 绘制地图 从网络获取数据 URL 处理模块(库) 在这里插入代码片 import urllib.request as req 创建一个表示远程 url 的类文件对象 urllib.urlopen(" ") 如同本地文件一样读取内容 print data的输出结果: 摘取动画所需数据

Manonll的博客 2488

HFSS初学笔记(二)——75Ω带状线设计

本文利用HFSS软件设计并优化了一条75Ω的带状线结构,通过调整几何参数和介质材料,实现了精确的阻抗控制。仿真结果显示,该带状线在高频信号传输中的表现优越,具有良好的S参数、低插入损耗和极小的信号反射损耗。

2401_87464239的博客 4554

吴恩达机器学习课程笔记+代码实现(24)15.异常检测(Anomaly Detection)

15.异常检测(Anomaly Detection) 文章目录15.异常检测(Anomaly Detection)15.1 问题的动机15.2 高斯分布15.3 算法15.4 开发和评价一个异常检测系统15.5 异常检测与监督学习对比15.6 选择特征15.7 多元高斯分布(选修)15.8 使用多元高斯分布进行异常检测(可选) 本章编程作业及代码实现部分见: 15.1 问题的动机   ...

肖泽的博客 1535

从CCS3.3到CCS10:工程迁移与开发环境升级全攻略

本文详细介绍了从CCS3.3迁移到CCS10的完整流程与实战指南。针对老旧DSP项目,阐述了升级的必要性,并逐步指导CCS10的安装配置、界面操作、核心的工程移植步骤,以及移植后常见的代码调整与问题解决方案,帮助开发者高效完成开发环境升级,充分利用新版本的工具链提升开发效率。

weixin_29304985的博客 381

【机器学习300问】39、高斯分布模型如何实现异常检测?

异常检测是什么?高斯分布的基本知识,高斯分布模型如何实现异常检测?

qq_39780701的博客 1856

SAP SD POD 配置与 VLPOD 操作:3步解决发货10件开票7件的业务场景

本文详细解析了SAP SD POD功能在解决发货与开票数量差异中的应用,通过3步配置法实现精准匹配。重点介绍了POD核心逻辑、关键配置步骤及VLPOD操作技巧,帮助企业高效处理易损品运输等复杂场景,提升供应链管理效率。

weixin_30613343的博客 396

【SABRE 3D, SABRE 3DxT,LAM设备】2025年9月14日-Clamshell 拆卸与安装

Clamshell 拆卸与安装。

weixin_46735260的博客 1693

【机器学习】异常检测算法(I)

在给定的数据集,我们假设数据是正常的 ,现在需要知道新给的数据Xtest中不属于该组数据的几率p(X)。 异常检测主要用来识别欺骗,例如通过之前的数据来识别新一次的数据是否存在异常,比如根据一个用户以前的使用习惯(数据)来判断这次使用的用户是不是以前的用户。或者根据之前CPU正常运行时候的的用量数据来判断当前状态下的CPU是否正常工作。 这里我们通过密度估计来进行判断:if P(X) &g...

weixin_30900589的博客 226

基于STM32的智能鱼缸设计

为了缓解学习、生活、工作带来的压力,提升生活品质,许多人喜欢在家中、办公室等场所养鱼。为节省鱼友时间、劳力、增加养鱼乐趣;为此,本文基于STM32单片机设计了一款智能鱼缸。该鱼缸可以实现水温检测、水质检测、自动或手动换水、氛围灯灯光变换和自动或手动喂食等功能为一体的控制系统,可通过控制键进行一键控制。...

1万+

异常检测用几种方法

异常检测用几种方法

p15097962069的博客 171

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

python 异常检测算法_吴恩达机器学习中文版笔记:异常检测(Anomaly Detection)

大数据文摘经授权转载作者:黄海广在接下来的一系列视频中,我将向大家介绍异常检测(Anomaly detection)问题。这是机器学习算法的一个常见应用。这种算法的一个有趣之处在于:它虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题。问题的动机参考文档:15-1-Problem Motivation(8 min).mkv在接下来的一系列视频中,我将向大家介绍异常检测(Anom...

weixin_39993322的博客 316

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

上一篇: 李航统计学习之感知机及Python实现
下一篇: pytorch小例子mnist
SoyCoder
博客等级 码龄9年 12粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值