- 博客(90)
- 资源 (25)
- 收藏
- 关注
RSS订阅原创 python及其相关依赖包的安装
1、安装python官网https://www.python.org/下载python3.7，直接双击安装包进行安装，然后配置系统环境变量的path变量，添加C:\install\Python\Python37和C:\install\Python\Python37\Scripts，在dos窗口中，执行python，可以看到提示信息，表示安装成功；通过python -m pip l...
2018-12-26 16:12:11
1513
原创 Mac下环境变量的配置
方法1:vim /etc/profile或sudo vim /etc/profile并使之生效，无效的话可以再重启一下终端source /etc/profile方法2:./.bash_profilesource ./.bash_profile可通过以下语句检查是否成功添加echo $PATH引申：mac系统的环境变量，加载顺序为：a. /etc/profi...
2018-11-26 17:33:28
541
原创 精确率与召回率，ROC曲线与PR曲线
在机器学习的算法评估中，尤其是分类算法评估中，我们经常听到精确率(precision)与召回率(recall)，ROC曲线与PR曲线这些概念，那这些概念到底有什么用处呢？            &
2018-11-26 13:16:41
2550
原创 交叉验证法总结
交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。那么什么时候才需要交叉验证呢？交叉验证用在数据不是很充足的时候。比如在我日常项目里面，对...
2018-11-15 17:05:22
8325
原创 梯度下降／上升总结
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad ...
2018-11-15 16:44:42
1981
原创 最小二乘法总结
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题      &
2018-11-15 16:07:24
3228
原创 机器学习有价值的文章链接
第2章 感知机1.SVM：任意点到超平面的距离公式:https://blog.youkuaiyun.com/wzx479/article/details/83143280?utm_source=blogxgwz92.几种范数的简单介绍：https://blog.youkuaiyun.com/shijing_0214/article/details/517575643.一个向量在另一个向量上的投影：向量a在向量b上的...
2018-11-07 15:34:27
252
原创 spark开发中问题记录
1.map和mapPartitions函数的区别：mapPartitions函数和map函数类似，只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象，使用mapPartitions要比map高效的过。比如，将RDD中的所有数据通过JDBC连接写入数据库，如果使用map函数，可能要为每一个元素都创建一个connection，这样开...
2018-10-15 20:11:01
310
原创 spark中map()和flatmap()的区别
先过一下定义：map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD,这样就得到了一个由各列表中的元素组成的RDD,而不是一个列表组成的RDD。有点模糊，没关系，看例子：我们采用将每个元素按照空格的方法将每个元素进行分割，分别执行map与flatMap方法。map方法如下图所示：fl...
2018-10-11 16:10:23
7861
2
原创 《spark快速大数据分析》 -- 总结
3.13.2创建RDD两种方式：读取外部数据集和在驱动程序中对一个集合进行并行化。3.3RDD操作转化操作和行动操作：转化操作会返回一个新的RDD，比如mp()、filter();行动操作是向驱动器程序返回结果或把结果写入外部系统，会触发实际的计算，返回的类型是其他的数据类型。3.3.1转化操作...
2018-09-21 10:57:17
934
原创 收藏的实用-好用的网站
1.制作流程图、思维导图的网站： hhttps://www.processon.com/i/5b9f5719e4b075b9fe4aa3f1 2.
2018-09-17 18:07:43
473
转载 版本号的意义
版本格式：主版本号.次版本号.修订号，版本号递增规则如下：主版本号：当你做了不兼容的 API 修改， 次版本号：当你做了向下兼容的功能性新增修订号：当你做了向下兼容的问题修正。先行版本号及版本编译信息可以加到“主版本号.次版本号.修订号”的后面，作为延伸。...
2018-09-13 15:45:26
1057
转载 mac安装软件的一般目录
在unix系统下，这两个目录的区别还是有一些的1./usr/local下一般是你安装软件的目录，这个目录就相当于在windows下的programefiles这个目录2./usr/local/opt这个目录是一些大型软件的安装目录，或者是一些服务程序的安装目录;在安装了Homebrew的macOS系统上,所有的文件，都指向了Cellar目录下的程序，也就是说这个目录目前放的，主要是用来兼容...
2018-09-12 19:09:29
15876
原创 localhost设置无密登录
配置ssh无密码登录：cd /Users/xxxrm -rf *ssh-keygencd .sshmkdir authorized_keyscat xxx_rsa.pub > authorized_keyschmod 600 authorized_keysssh localhost若碰到登录被拒绝问题参考：mac ssh: connect to host localho...
2018-09-12 13:32:26
1021
原创 mac ssh: connect to host localhost port 22: Connection refused
尝试两种办法：1、偏好设置 – 共享 – 远程登录（打勾允许）2、执行sudo systemsetup -f -setremotelogin on
2018-09-12 13:25:16
1009
原创 Mac新手开发者必了解知识点
1.焦点在终端上（使用鼠标点击下终端）,使用快捷键command+N 即可得到另一个终端界面（如果现在光标的焦点在浏览器上，那么就是新打开一个浏览器窗口）；2、光标的焦点在终端上，command+T,会新建一个tab样式的新窗口。...
2018-09-12 11:33:52
768
转载 关于nginx/tengine配置成功后，无法访问的问题
在前一篇文章中https://blog.youkuaiyun.com/CYJ2014go/article/details/82628686，nginx配置好了并且启动后，在网页中输入地址无法访问tengine，考虑是防火墙问题，如下解决：/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT/etc/init.d/iptables save/etc/in...
2018-09-11 17:01:21
1952
2
原创 linux(centos)下Tengine的安装
1.Tengine软件： nginx启动服务软件：2.将安装包放到/opt路径下，先安装依赖包，执行yum -y install gcc openssl-devel pcre-devel zlib-devel3.复制粘贴执行以下脚本，没反应的话按几下enter键./configure \ --prefix=/opt/sxt/soft/tengine-2.1.0/ \ --er...
2018-09-11 16:58:52
568
原创 利用VMware在windows下虚拟化（划分）一块磁盘安装CentOS操作系统，并用Xshell远程访问
1.软件 VMware-workstation-full-11.0.0-2305329.exe：虚拟机划分软件 CentOS-6.5-x86_64-minimal.iso：系统映像文件 Xshell 6：远程连接 SSH Secure File Transfer Client：传输文件2.首先安装VMware和CentOS 自定义安装 – 下一步 – 稍后安装操作系统 – 客户机操...
2018-09-11 15:10:51
356
原创 Mac下spark的安装和完整的开发环境搭建
一、首先是Java环境的搭建： https://blog.youkuaiyun.com/CYJ2014go/article/details/82383024二、IntelliJIDEA的安装和插件配置： https://blog.youkuaiyun.com/CYJ2014go/article/details/82590801
2018-09-10 15:52:41
4348
1
原创 linux下根目录(/)和用户目录(主目录；~)的区别
根目录：／是树状形式目录的根，只有一个。用户目录：主目录是用户的HOME目录，是在添加用户的时候指定的,对于不同用户，主目录不同。例如，对于用户名为cyj的用户，缺省的HOME目录是/home/cyj，root用户例外，它的缺省HOME目录是/root。...
2018-09-07 16:48:47
20057
1
原创 scala总结
1.方法： def funcName([参数列表]) :[return type] = { funcBody return [expr] }例子： 在object add里面定义addInt方法object add{ def addInt( a:Int, b:Int ) : Int = { var sum:Int = 0 sum = ...
2018-09-05 11:29:30
401
原创 用ifconfig命令，显示结果只有lo，没有eth0
解决： 1. 输入ifconfig -a命令，可以看到eth0和lo。 2. 进入/etc/sysconfig/network-scripts 目录，发现有ifcfg-eth0，即网卡（驱动）存在但未启用。 3. 输入ifconfig eth0 up，启用网卡。此时用ifconfig，只能看到inet6的地址，没有ip 4. vi /etc/sysconfig/network-script...
2018-09-03 20:29:25
1704
原创 把一个字符串转换成整数
#include<iostream>using namespace std;int StringToInt(char* string);//基本功能：输入一个正常的“整数”字符串”10086“？//边界条件：输入的字符串为”0或者00“的时候怎么处理？//错误处理：输入的字符串为空指针(NULL)的时候怎么处理;不是含有非数字的字符串又怎么处理"15ww或者ds55"？...
2018-07-04 16:45:56
1405
原创 算法等小知识点
1.10-fold cross-validation 十折交叉验证，是常用的精度测试方法。将数据集分成十份，轮流将其中9份做训练1份做测试，10次的结果的均值作为对算法精度的估计，一般还需要进行多次10倍交叉验证求均值，例如10次10倍交叉验证，更精确一点。k-fold cross validation，k-fold，就是取整个样本的1/k作为预测样本，(k-1)/k作为训练样本。当用训练样...
2018-07-04 16:44:01
317
原创 Python 3-读取csv文件
.csv文件内容如下： 方法1： import pandas as pd df = pd.read_csv(‘C:\Project\data\wbikes.csv’, sep=’;’, encoding=’latin1’, parse_dates=[‘Date’], dayfirst=True, index_col=’Date’) print(df[:3]) pri...
2018-06-27 00:47:29
527
转载 更改pip源至国内镜像
经常在使用python的时候需要安装各种模块，而pip是很强大的模块安装工具，但是由于国外官方pypi经常被墙，导致不可用，所以我们最好是将自己使用的pip源更换一下，这样就能解决被墙导致的装不上库的烦恼。 网上有很多可用的源，例如豆瓣：http://pypi.douban.com/simple/ 清...
2018-06-24 22:00:41
469
原创 caffe + win10基于CaffeNet网络框架训练总结
原文：https://blog.youkuaiyun.com/CYJ2014go/article/details/80272410 这边做一个简单的总结：一、步骤 1.准备一个项目主目录 一般可以选择在caffe目录中的某文件夹内，此处我选择在home\cyj\caffe\examples\myfile中 2.准备数据 （1）、在myfile中新建images文件夹，并在其中新建test和tra...
2018-06-20 15:47:23
503
原创 ImportError: /home/cyj/anaconda2/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.21' not found
1.查看当前版本号 strings /home/cyj/anaconda2/bin/../lib/libstdc++.so.6 | grep GLIBCXX缺少3.4.21，所以装一个2.执行 conda install libgcc这边可能出现一个错误：CondaIOError: IO error: Missing write permissions ...
2018-06-19 17:28:42
927
原创 caffe +ubuntu16.04基于CaffeNet网络框架训练图片进行分类
参考： http://www.cnblogs.com/denny402/p/5082341.html一、准备数据 数据下载地址： （1）.可以去imagenet的官网：http://www.image-net.org/download-images，下载imagenet图片来训练。（2）.使用Corel数据集：https://blog.youkuaiyun.com/garfielder007/a...
2018-06-19 15:56:16
790
原创 GPU与CPU、显卡区别
一、GPU介绍以及与显卡区别论述：百度百科-GPUGPU是显卡的处理器，称为图形处理器（Graphics Processing Unit，即GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器，它是显卡的“心脏”，与CPU类似，只不过GPU是专为执行复杂的数学和几何计算而设计的，这些计算是图形渲染所必...
2018-05-11 16:27:44
33571
原创 vi命令模式简概
Vi有三种基本的工作模式：指令行模式、文本输入模式、行末模式。他们的相互关系如所示。 指令模式(Command Mode）下输入a、i、o进入文本输入模式(Input Mode) 文本输入模式(Input Mode) 下按ESC进入指令模式（Command Mode）指令模式(Command Mode）下输入:进入末行模式（Last line Mode） 末行模式（Last line M...
2018-05-09 19:21:39
620
原创 图片文件批量重命名（Python）
import osclass ImageRename(): def __init__(self): self.path = 'C:/Users/lenovo/Desktop/imglabel/0.6-0.8' def rename(self): filelist = os.listdir(self.path) total_num...
2018-05-07 14:59:22
736
原创 win10 + 64位，python安装
1.首先到官网下载 https://www.python.org/downloads/ 安装完毕添加环境变量。2.编辑fft.py调试文件import numpy as npfrom matplotlib.pyplot import plot, showx = np.linspace(0, 2 * np.pi, 30) wave = np.cos(x)transformed...
2018-05-04 14:24:56
775
原创 SyntaxError: Non-UTF-8 code starting with '\xca' in file name.py on line ., but no encoding declared
在python 3.0中，注释中加入汉字，出现此错误，解决办法是在程序开头加入# coding=gbk
2018-05-02 16:25:38
5835
3
转载 Windows+Ubuntu双系统如何设置Windows为第一启动项
在安装双系统的时候，如果先安装的是Windows然后再安装Ubuntu系统，开机时是以Ubuntu的grub来引导Windows的，而且默认进入Ubuntu系统，下面我们介绍如何更改这个默认项，然后让开机时默认进入Windows系统。1.打开终端，输入 cd /etc/default/2.接着输入sudo sudo nano grub，会提示输入密码，输入密码按回车即可3.现在进入了g...
2018-04-25 13:43:01
4974
2
原创 ubuntu16.04 + caffe基于CaffeNet网络框架训练自己的图片进行分类（实践篇
https://blog.youkuaiyun.com/hechenghai/article/details/46627205https://download.youkuaiyun.com/download/qq_15618989/9489058https://blog.youkuaiyun.com/hjimce/article/details/51899683
2018-04-24 20:58:11
334
基于深度学习的图像识别应用研究
2017-12-22
基于深度学习的搜索广告点击率预测方法研究
2017-12-22
基于机器学习算法的摔倒检测和日常行为识别研究
2017-11-30
大数据下的机器学习算法综述
2017-11-30
校园bbs网站
2017-11-15
自来水公司管理系统网站
2017-11-15
图像的直方图，应用查找表修改图像外观，直方图均衡化
2017-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人