<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ksh007的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ksh007</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ksh007]]></copyright><item><title><![CDATA[检测hdfs 文件是否存在并获取文件列表、大小、创建时间的shell开发]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/85064044</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/85064044</guid><author>ksh007</author><pubDate>Tue, 18 Dec 2018 14:06:15 +0800</pubDate><description><![CDATA[命名 check_hdfs_dir.sh

运行：

sh check_hdfs_dir.sh /usr/data/000/

代码如下：

#!/bin/bash

 

lujing=$1

echo $lujing

 

command=&quot;hadoop fsck &quot;${lujing}&quot; &amp;gt; hadoop_fsck.txt&quot;

eval $command

val=`awk '/Tot...]]></description><category></category></item><item><title><![CDATA[jupyterhub单服务器多用户模式安装]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/81562375</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/81562375</guid><author>ksh007</author><pubDate>Fri, 10 Aug 2018 14:16:28 +0800</pubDate><description><![CDATA[首先安装python3以上版本。

执行以下命令


	yum install gcc
	
	
	yum install openssl openssl-devel
	
	
	yum install sqlite-devel
	

	pip install jupyterhub
	
	
	yum install npm nodejs-legacy
	
	
	npm install -g confi...]]></description><category></category></item><item><title><![CDATA[python遍历文件夹，并进行文件读取的方法]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/79515485</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/79515485</guid><author>ksh007</author><pubDate>Sun, 11 Mar 2018 13:14:26 +0800</pubDate><description><![CDATA[dir='D:/tools/yuanma/%5Bwww.java1234.com%5DJsp%E5%BD%93%E5%BD%93%E8%B4%AD%E4%B9%A6%E7%BD%91%E6%BA%90%E7%A0%81/dangdang'仅遍历当前文件和文件夹import osif os.path.exists(dir):    dirs=os.listdir(dir)    for dirx i...]]></description><category></category></item><item><title><![CDATA[信用卡违约客户的预测模型的选择(四）logistic模型及模型比较]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/79397508</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/79397508</guid><author>ksh007</author><pubDate>Wed, 28 Feb 2018 10:45:46 +0800</pubDate><description><![CDATA[logistic模型为改进测试权重的结果，首先设置weights权重为1，然后基于其进行向量梯度递减，进行梯度递减的计算量较大，为了减少计算量可进行随机梯度递减计算。梯度递减算法自适应减小预测结果与实际结果之间的差值。调整参数alpha = 4/(1.0+j+i)+0.0001实参数旨在避免随着调优的进行alpha趋近于零。I,j随着迭代不断增加，alpha逐渐减小，降低参数调整的幅度。在这里我们...]]></description><category></category></item><item><title><![CDATA[信用卡违约客户的预测模型的选择(三）线性回归]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/79397421</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/79397421</guid><author>ksh007</author><pubDate>Wed, 28 Feb 2018 10:40:41 +0800</pubDate><description><![CDATA[模型选择在银行业数据挖掘中最常用的数据挖掘算法主要为线性回归，logistic回归和决策树分类，根据本数据集的特征，主要分析线性回归和logistic回归。线性回归方法在方法选择上首先我们选择线性回归方法（linear regression model）,基于回归结果进行分类选择。线性回归是最简单的预测模型。在这里我们选用sklearn lib中的库linear_model进行模拟测试。具体方法如...]]></description><category></category></item><item><title><![CDATA[信用卡违约客户的预测模型的选择(二）验证过程]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/79397330</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/79397330</guid><author>ksh007</author><pubDate>Wed, 28 Feb 2018 10:36:22 +0800</pubDate><description><![CDATA[验证过程该数据集包含23个输入变量(input variable)和一个响应变量（response variable）。该数据集来源于UCI machine learning repository,为某银行的信用卡客户信息数据，共有30000个样本，包括过去六个月的账单还款情况。 Y：下个月还款违约情况（1=逾期，0=未逾期）X1：信用额度，包括其个人和家庭补充信用。X2：性别（1=male;2=...]]></description><category></category></item><item><title><![CDATA[信用卡违约客户的预测模型的选择(一）相关技术介绍]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/79271973</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/79271973</guid><author>ksh007</author><pubDate>Tue, 06 Feb 2018 16:55:06 +0800</pubDate><description><![CDATA[在进行建模之前，前期需要准备的包括数据提取、清洗，字段验证选择，分类模型的选择。



变量处理方法

数据处理方法包括最小-最大规范化、标准化、特征化处理等，根据数据字段特点也可避免前期数据处理，直接借用挖掘函数计算。
最小-最大规范化，即归一化
proValue=(v-min(x))/(max(x)-min(x))，min(x),max(x)分别为v所在列的最小值和最大值。对数据]]></description><category></category></item><item><title><![CDATA[java api为集群创建目录的四种方式]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/79229659</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/79229659</guid><author>ksh007</author><pubDate>Thu, 01 Feb 2018 16:19:10 +0800</pubDate><description><![CDATA[package demo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

/*
 * 创建目录：HDFS的权限
 * 方式一： System]]></description><category></category></item><item><title><![CDATA[hdfs的操作命令]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/79228562</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/79228562</guid><author>ksh007</author><pubDate>Thu, 01 Feb 2018 15:45:33 +0800</pubDate><description><![CDATA[hdfs dfs -mkdir -p /parent/child
（-p)可创建多级目录，不加-p只能创建现存目录下一级目录
hdfs dfs -ls /
hdfs dfs -ls -R /data 同 hdfs dfs -lsr /data 列出多级目录
相似命令：tree -d  -L 2
hdfs dfs -copyFromLocal /root/data /data
同 hdf]]></description><category></category></item><item><title><![CDATA[PIL image模块处理图片，struct从mnist文件集读取十张图片并分别显示标签和图片]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/78865687</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/78865687</guid><author>ksh007</author><pubDate>Thu, 21 Dec 2017 17:16:03 +0800</pubDate><description><![CDATA[from PIL import image

图片摄取像素值：im=image.putpixel(int(struct.pack('>I,byte))

显示图片im.show()

图片大小：im.size()

图片旋转：im.rotate(45)#逆时针旋转 45 度角 使用struct读取字节文件：

import struct

struct.unpack('>I]]></description><category></category></item><item><title><![CDATA[python struct文件读取mnist字节文件]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/78860626</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/78860626</guid><author>ksh007</author><pubDate>Thu, 21 Dec 2017 10:23:04 +0800</pubDate><description><![CDATA[#!/usr/bin/env python
# -*- coding: utf-8 -*-

from PIL import Image
import struct

def read_image(filename):
    f = open(filename, 'rb')
    index = 0
    buf = f.read()
    f.close()
   ]]></description><category></category></item><item><title><![CDATA[python3.5对字典按照key/value排序]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/78742860</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/78742860</guid><author>ksh007</author><pubDate>Thu, 07 Dec 2017 16:34:11 +0800</pubDate><description><![CDATA[在字典中默认按照key排序，
我们可以根据自己的需求对key和value进行降序和升序排列。
利用sorted方法，根据定于：

sorted(iterable, key=None, reverse=False)
    Return a new list containing all items from the iterable in ascending order.
    
   ]]></description><category></category></item><item><title><![CDATA[商旅网站用户画像的解决方案]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/78206210</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/78206210</guid><author>ksh007</author><pubDate>Wed, 11 Oct 2017 17:28:33 +0800</pubDate><description><![CDATA[（一）用户画像的目的与意义、构建步骤 
用户画像（persona）的概念最早由交互设计之父Alan Cooper 提出:是指真实用户的虚拟代表，是建立在一系列属性数据之上的目标用户模型。随着互联网的发展，现在我们说的用户画像是根据用户人口学特征、网络浏览内容、网络社交活动和消费行为等信息而抽象出的一个标签化的用户模型。通过各个维度对用户或者产品特征属性的刻画，并对这些特征分析统计挖掘潜在价值信息]]></description><category></category></item><item><title><![CDATA[linux beep声如何消除]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/78206002</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/78206002</guid><author>ksh007</author><pubDate>Wed, 11 Oct 2017 17:16:04 +0800</pubDate><description><![CDATA[centos linux下到行尾继续右移的时候，系统的扬声器会发出刺耳的bee-bee声音。

可以通过下面的命令关掉
-----------------------------------
临时起效：
rmmod pcspkr
-----------------------------------
永久起效：
在~/.bashrc的最后添加 
setterm -blength]]></description><category></category></item><item><title><![CDATA[神经单元阀函数的选择]]></title><link>https://blog.youkuaiyun.com/ksh007/article/details/78046827</link><guid>https://blog.youkuaiyun.com/ksh007/article/details/78046827</guid><author>ksh007</author><pubDate>Wed, 20 Sep 2017 23:31:07 +0800</pubDate><description><![CDATA[普通的我们选择logistic函数最多，
y=logistic(x);(1)y>0.5时，目标值设为1（2）y
另外还有阶跃函数y=ε(x)，(1)x0,y=1
尤其在分类模型中，这两种函数的作用最大。]]></description><category></category></item></channel></rss>