机器学习理论相关
关注
分享
扫一扫
文章平均质量分 51
qq_281617953
这个作者很懒，什么都没留下…
展开
-
醉汉漫步 Drunkard's walk
background有边界区域的波，是无限数目的波的叠加（傅里叶级数）。我们也会遇到另外的一种无限数目的叠加–能量级数。他们在现实的工程和物理应用中经常用到。除了在鼓膜上描述振动，他们也存在于流体问题和量子理论。在我们课程的最后，我们使用能量级数来解决氢原子问题，这些能量技术有可分离的变量。我们也会使用我们的解来梗概电子的轨道。分离变量法是很有用的工具当我们解决域是简单的形状时，例如长方形或...原创 2020-04-20 22:17:03 · 1344 阅读 · 1 评论 -
APPP Path Contribution Plot
A Introduction to APPP Path Contribution Plot Projectwhat Is Path Contribution Plot?According to google , path contribution is also know as Transfer path analysis(TPA), is an advanced technique for ...原创 2019-11-14 10:12:52 · 261 阅读 · 0 评论 -
tensorflow学习笔记初级--Session().run
def run(self, fetches, feed_dict=None, options=None, run_metadata=None): """Runs operations and evaluates tensors in `fetches`. This method runs one "step" of TensorFlow computation, by ...原创 2018-06-20 18:57:47 · 2795 阅读 · 0 评论 -
时间序列的ARIMA模型翻译
https://wenku.baidu.com/view/91d0983930b765ce0508763231126edb6e1a7650翻译 2018-06-18 10:09:57 · 677 阅读 · 0 评论 -
lightgbt的simple_example
import jsonimport lightgbm as lgbimport pandas as pdfrom sklearn.metrics import mean_squared_errorprint('load data...')#如果带中文字符，那么就会报错，路径不能带中文df_train = pd.read_csv('D:/2345download/LightGBM-ma...原创 2018-07-09 11:01:19 · 627 阅读 · 0 评论 -
prophet make_future_dataframe freq=
网址：http://pandas.pydata.org/pandas-docs/stable/timeseries.html#offset-aliases原创 2018-07-03 10:34:49 · 3793 阅读 · 0 评论 -
pandas时间格式的转产str转成date
>>> df = pd.DataFrame({'year': [2015, 2016], 'month': [2, 3], 'day': [4, 5]})>>> pd.to_datetime(df)0 2015-02-041 2016-03-05dtype...转载 2018-07-03 10:57:43 · 7157 阅读 · 1 评论 -
pandas对数据的操作
今天主要对pandas的时间进行了操作。因为需要喂入的模型是以小时为单位的，而我的数据是每五分钟一次，因此把小时数据要汇总下。主要实现的目的有这些。1，怎么样对dataframe进行改列的名称df.rename(columns={'Time':'ds','Value':'y'},inplace = True)这个改名称还是很给力的2，怎么对两个Series进行合并pd.concat([ds,ts]...原创 2018-07-03 14:31:06 · 602 阅读 · 1 评论 -
What is important to learn for predicting stock prices, regression algorithm or classification algor
Forget about algorithms at first.To apply any sort of machine learning well, you have to first understand the problem you are solving, the data you are using to solve it, and the methods currently use...原创 2018-07-11 15:36:47 · 162 阅读 · 0 评论 -
1999 KDD Cup 网络流量异常检测大赛 特征
back,buffer_overflow,ftp_write,guess_passwd,imap,ipsweep,land,loadmodule,multihop,neptune,nmap,normal,perl,phf,pod,portsweep,rootkit,satan,smurf,spy,teardrop,warezclient,warezmaster.1，duration: cont...原创 2018-07-30 13:36:27 · 1781 阅读 · 0 评论 -
判断一个日期是否在一个期间内pandas
新方法：用一个.loc也是可行的，连接的不是and ，是别的！！！！去除的方法把不符合条件的变成None值，然后就可以了。import pandas as pddf = pd.DataFrame([1,2,3,4,5,6,3,2,1,3,4])df.loc[ (df[0]>2) & (df[0]<5) ] =None #这里大于2小于5是我们要去除的条件...原创 2018-07-13 15:26:55 · 5550 阅读 · 2 评论 -
命令行+cmd+循环操作
问题：将命令行语句循环100次或者很多次，执行cmd: for /l 是很好的方法：输出hello 100次：for /l %x in (1, 1, 100) do echo hello%x运行结果：第二个例子：使得python运行某个文件10次for /l %x in (1,1,100) do python hello.py %x其中的（1，1，100）表示...原创 2018-08-13 15:39:39 · 43453 阅读 · 6 评论 -
计算Fisher信息之基础矩阵（一）
import numpy as npimport scipy as spimport matplotlib.pyplot as pltstepsize = 0.01'''这里有个问题 就是特征值的排列方式可能跟下一个的顺序不一样，所以就会导致求导时候的错位。这里需要在求导的时候，搞一下吧。另外，矩阵的特征值，会不会突然变异？有跃迁？需要设置一个，检测的一些。'''def EigV...原创 2018-09-25 14:51:31 · 14738 阅读 · 4 评论 -
OneHot编码
前言&amp;lt;/&amp;gt;在实际问题中，我们获得的数据会包含非数值型的特征，这种非数值型的无法进入模型进行训练，因此需要进行编码。编码的方式常用的两种：数字编码One-Hot编码数字编码&amp;lt;/&amp;gt;每个特征用不同的数字表示。例如，“汽车皮牌”={路虎，吉利，奥迪，大众，奔驰}，经过数字编码后为“汽车品牌”={0,1,2,3,4}。缺点 ： 在模型中，有计算距离的，这种编码方式扭...原创 2019-03-12 20:30:41 · 752 阅读 · 0 评论 -
Kaggle泰坦尼克号提升准确率探索
初始的把模型大致搭建起来，步骤包括：特征选择，缺失值处理，归一化与正则化，模型选择。得到的准确率是：这个准确率排名相当低，8000/10000的水平。现在要想办法，提升准确了。分析一在分类错误的类别中，我发现有个特征值下错误率特别高：这里就是登船地点（S）位置的，错误率很高。当然，S点本身的比例也很高：计算下比例，发现差不多。...原创 2019-04-28 23:38:01 · 1352 阅读 · 0 评论 -
word2Vect的理解
比如一个文本，我们采用原始的方式标记："关于举办民生地质工作专业技术人员能力提升高级研修班的通知"变成这种标记：[7, 3, 2, 9, 17, 19, 12, 25, 13, 5, 0, 1, 14, 16, 4, 11, 24, 8, 15, 10, 27, 23, 22, 6, 18, 20, 26, 21]有以下缺点：1，不能正确反映单词与单词之间的距离，比如比如关是7，办是...原创 2019-06-01 22:12:40 · 809 阅读 · 0 评论 -
tensorflow的学习笔记一（初级）
函数类：tf.reshape(tensor, shape, name=None) 函数的作用是将tensor变换为参数shape的形式。 其中shape为一个列表形式，特殊的一点是列表中可以存在-1。-1代表的含义是不用我们自己指定这一维的大小，函数会自动计算，但列表中只能存在一个-1。（当然如果存在多个-1，就是一个存在多解的方程了）代码：with tf.Session() as sess: ...原创 2018-06-20 18:43:04 · 232 阅读 · 0 评论 -
Kernel PCA分析数据
Parameters ---------- n_components : int, default=None Number of components. If None, all non-zero components are kept.降维到的维度 kernel : "linear" | "poly" | "rbf" | "sigmoid" | ...原创 2018-04-22 16:56:45 · 968 阅读 · 0 评论 -
南大学者：满足这三大条件，可以考虑不用深度神经网络
周志华：满足这三大条件，可以考虑不用深度神经网络4 月 15 日举办的京东人工智能创新峰会上，刚刚上任京东人工智能南京分院学术总顾问的周志华教授做了《关于深度学习一点思考》的公开分享。近年来，深度神经网络在语音、图像领域取得突出进展，以至于很多人将深度学习与深度神经网络等同视之。但周志华表示，总结 Kaggle 竞赛中的获奖结果可以发现，神经网络获胜的往往就是在图像、视频、声音这几类典型任务上，而...转载 2018-04-16 14:02:59 · 292 阅读 · 0 评论 -
朴素贝叶斯实现垃圾邮件识别
import numpy as npfrom collections import Counter'''词频进行统计，统计出每个单词出现的个数输入的是一个一个很长的文章或者句子,应该有断点吧 ，还是在jieba中处理，就在说了return：1，key-value 2，就是0,1，2这种标记.貌似第一种比较容易实现''''''用counter一次计数文件，这样对原始文件只操作一次。统原创 2018-01-31 17:08:37 · 1887 阅读 · 4 评论 -
IDEA配置各种环境python,java,scala等
首先，不得不吐槽下，这个IDEA就像个跟你相亲的，户口本都要查三代，为什么这么说呢，因为他每次配置一个环境时，都要将你本地的这个环境比如python的包遍历一遍，不知道在干啥，相当的费时间。IDEA与本地安装的python，scala,java的关系。IDEA是一个集成开发平台，就是一个远离大陆的平台，大陆是windows操作系统。比如你本身在windows的环境变量中已经有了python原创 2018-02-05 15:24:25 · 1727 阅读 · 0 评论 -
python constraint 模块
前言最近了解关于constraint programming方面的问题。即一个问题，有很多限制条件，求个最优解。恩，这种描述方式是很笼统的，不妨具体到我们的问题------Nurse scheduling problem.维基百科nurse scheduling problemThe nurse scheduling problem (NSP), also called the nurse ros...原创 2018-02-11 18:42:31 · 2984 阅读 · 1 评论 -
python+constraits+NPhard problem
from constraint import *problem = Problem()problem.addVariable('a',[1,2,3])problem.addVariable('b',[6,4,5])table= [[[] for x in range(2)] for y in range(10)]def fun(*args): #加入的ab参数，其实不影响输出 ...原创 2018-02-11 20:42:22 · 348 阅读 · 1 评论 -
Making a Class Schedule Using a Genetic Algorithm 中的fitness函数的解析
genetic algotithm 排课排课过程中的一些硬条件：A class can be placed only in a spare classroomNo professor or student group can have more then one class at a time.A classroom must have enough seats to accommodate al...原创 2018-02-12 11:45:37 · 589 阅读 · 1 评论 -
17行代码实现kmeans
恩，当然是用库了。计算点与点之间距离，用scipy中的cdist，这点是半年前吧看的一篇代码学的。kmeans原理就不介绍了，很简单的。代码如下：def kmeans(k,data): length = len(data) # width = len(data[0]) zeros = np.array([0]*length) new_data = np.co...原创 2018-03-08 15:08:17 · 921 阅读 · 0 评论 -
朴素贝叶斯的连续型---高斯分布
前面有个垃圾邮件识别的，可以看做是离散型数据吧，这里写的是单纯的连续型数据。并与sklearn的高斯模型做时间运行的对比！！！数据集用的是iris数据集。import numpy as npimport timefrom sklearn import datasetsiris = datasets.load_iris()#print(iris.data)from sklearn.n...原创 2018-03-08 15:12:01 · 4101 阅读 · 0 评论 -
scala breeze 线性代数库 向量
需求，计算两个向量的距离。具体就是有两个矩阵，每行表示一个向量，现在就是要计算两两之间的距离，得到一个距离矩阵，怎么操作呢？我们知道，在python 的numpy 中，cdist是可以实现这个功能的，那么他们是怎么实现的呢？放弃了，开发太慢，可能组合的复杂度也是个问题，转向DBSCAN聚类算法解决。...原创 2018-02-22 10:45:57 · 825 阅读 · 1 评论 -
感知机的简单代码
from sklearn import datasetsimport numpy as npdef loadData(): dataset = datasets.load_iris() z1,z2 = dataset.data,dataset.target dataX = z1[0:100,:] dataY = z2[0:100] for i in r...原创 2018-03-22 20:07:02 · 497 阅读 · 0 评论 -
模拟水面波动，更新中ing
前言，最近无聊，好多书想看，但又过于理论，怕没有实际用途，因此想做个小点的程序。目前在看偏微分的波动方程，里面的波的解挺精确的，应该比很多游戏里的要美一些。因为，我打算用python写个数值解，用图像展示出这些波动解的图像动画。技术路线数学理论方面：就是解那个波动方程，得到数值解。计算机方面，一张一张地把那个解画出来，然后用matplotlib中的animation或者其他的动画，连着做出来。第一...原创 2018-03-13 15:48:26 · 662 阅读 · 0 评论 -
安装tensorflow报错error: Unable to find vcvarsall.bat
由于系统不是windows的正版，因此里面的visual studio好像没装上吧，因此装tensorflow时，因为其运行的后台是有c++的吧，会用到c++。问题的解决在stackoverflow上看到问题的解答：https://stackoverflow.com/questions/2817869/error-unable-to-find-vcvarsall-bat最后找到个安装C++的，要求...原创 2018-03-21 13:49:12 · 292 阅读 · 0 评论 -
神经网络————感知机
概述受生物学的启发，人工神经网络是有一系列简单的单元互相紧密联系构成的，每个单元有一定数量的实数输入和唯一的实数输出。神经网络的一个重要的用途就是接受和处理传感器产生的复杂输入并行进行自适应的学习。人工神经网络算法模拟生物神经网络，是一种模式匹配算法，通常用于解决分类和回归问题。 人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法。常见的人工神经网络算法包括：感知机神经网络，反向传播，H...原创 2018-03-21 14:55:36 · 1420 阅读 · 2 评论 -
蒙特卡洛模拟Ising模型
蒙特卡洛模拟XY伊辛模型（python） 前言故事 世界上最早的通用电子计算机之一----ENIAC在发明后即被用于曼哈顿计划，乌拉姆敏锐地意识到在计算机的帮助下，可通过重复数百次模拟过程的方式来对概率变量进行统计估计。冯诺依曼立即认识到这个想法的重要性并给予支持。1947年，乌拉姆提出这种统计方法并应用于计算裂变的连锁反应。由于乌拉姆常说他的叔叔又在蒙特卡洛赌场输钱了...原创 2018-03-21 21:47:09 · 27065 阅读 · 23 评论 -
linux安装java和hadoop报错linux not a valid identifier
-bash: export: `=': not a valid identifier-bash: export: `/root/hadoop-2.9.0': not a valid identifier-bash: export: `=/root/hadoop-2.9.0': not a valid identifier-bash: export: `=/root/hadoop-2.9.0': n...原创 2018-04-14 16:22:27 · 1186 阅读 · 0 评论 -
linux+no such file or directory
hadoop version/root/hadoop/bin/hadoop: line 169: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-3.b14.el6_9.i386/bin/java: No such file or directory/root/hadoop/bin/hadoop: line 169: exec: /usr/lib/jvm/jav...原创 2018-04-14 21:16:29 · 1416 阅读 · 2 评论