<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ssyshenn的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ssyshenn</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ssyshenn]]></copyright><item><title><![CDATA[xgboost的pmml文件转为hive udf]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/106787023</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/106787023</guid><author>ssyshenn</author><pubDate>Tue, 16 Jun 2020 15:03:28 +0800</pubDate><description><![CDATA[1. 将项目拉到本地


git clone git@github.com:jpmml/jpmml-evaluator-hive.git

2. 进到目录中安装


mvn clean install

3. 将得到的其中一个runtime的`jar`包放到HDFS上


hdfs dfs -put jpmml-evaluator-hive-runtime-1.0-SNAPSHOT.jar somedir/

4. 在hive中加载


add jar {hdfs_home}/somedir/jpmml-e]]></description><category></category></item><item><title><![CDATA[微博文本分类任务]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/103202345</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/103202345</guid><author>ssyshenn</author><pubDate>Wed, 27 Nov 2019 16:14:35 +0800</pubDate><description><![CDATA[数据
借用了这位兄弟的数据，4类文本分类问题：https://blog.youkuaiyun.com/qq_28626909/article/details/80382029

代码参考
预处理工具torchtext学习参考了nlpuser和dendi_hust二位兄弟：https://blog.youkuaiyun.com/nlpuser/article/details/88067167 https://blog.cs...]]></description><category></category></item><item><title><![CDATA[基于模块度的 louvain]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/90756884</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/90756884</guid><author>ssyshenn</author><pubDate>Wed, 27 Nov 2019 15:10:07 +0800</pubDate><description><![CDATA[1. 模块度

模块度Q作为社团发现中，社团聚类效果的度量，取值范围是[−1/2,1)，越大说明聚类效果越好；

定义为：



e矩阵



a计算





a的另一种解释：在一种理想情况下，给定任意节点i的的度ki，对节点i和节点j进行随机连边，边属于社区c的概率期望：





表示 结点i 和 结点j 之间边的数目

表示 随机放置边的情况下，结点i和结点j 之间边数的期望值

带上...]]></description><category></category></item><item><title><![CDATA[知识图谱（关系网络）概念及常用算法]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/103275645</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/103275645</guid><author>ssyshenn</author><pubDate>Wed, 27 Nov 2019 15:05:56 +0800</pubDate><description><![CDATA[目录

1 什么是图？

2 图能做什么？

3 传统的图算法从应用角度可分为三类

3.1路径查找算法——Dijkstra

3.2中心度算法——PageRank

3.3 社区发现算法——LPA

4 图神经网络

5 网络表示学习和图嵌入

5.1基于矩阵分解的图嵌入

5.2基于随机游走的图嵌入

5.3基于图神经网络的图嵌入

引用：



1 什么是图？

图是一种常见的数据...]]></description><category></category></item><item><title><![CDATA[在不平衡样本上建模]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/96721738</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/96721738</guid><author>ssyshenn</author><pubDate>Sun, 21 Jul 2019 14:48:14 +0800</pubDate><description><![CDATA[1 不平衡样本对模型的影响

数据存在不平衡，则预测得出的结论往往也是有偏的，即分类结果会偏向于较多观测的类。

LR分类平面：



分类概率分布：



2 基于数据的方法

2.1 随机过采样和欠采样

定义

最简单的处理不平衡数据的方法是随机采样，一般分过采样和欠采样。

过采样定义：过采样是从少数类样本集中随机重复抽取样本（有放回）已得到更多样本；

欠采样定义：从多数类样本集中随机选...]]></description><category></category></item><item><title><![CDATA[GraphX简介及GraphFrames测试]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/96702905</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/96702905</guid><author>ssyshenn</author><pubDate>Sun, 21 Jul 2019 11:16:03 +0800</pubDate><description><![CDATA[目录

概观

架构

存储

图的构造

GraphFrames

安装

测试

参考

概观

GraphX是Spark中用于图和图计算的组件，GraphX通过扩展Spark RDD引入了一个新的图抽象数据结构，一个将有效信息放入顶点和边的有向多重图。如同Spark的每一个模块一样，它们都有一个基于RDD的便于自己计算的抽象数据结构（如SQL的DataFrame，Str...]]></description><category></category></item><item><title><![CDATA[消费信贷评分建模与应用笔记-2]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/81809170</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/81809170</guid><author>ssyshenn</author><pubDate>Sat, 18 Aug 2018 17:01:31 +0800</pubDate><description><![CDATA[重点来了

 

第五章 常用指标与分析手法


			指标
			
			描述
		逾期天数 (DPD)
			已逾契约书约定缴款日的延滞天数，贷放型产品自缴款截止日（通常为次一关帐日）后第一天开始算。
		逾期期数 (bucket)
			M2逾期2期，一般指逾期天数30-60日
		逾期阶段 (stage)
			前期、中期、后期、转呆账
		即期指标 (coincidental)
			以...]]></description><category></category></item><item><title><![CDATA[消费信贷评分建模与应用笔记-1]]></title><link>https://blog.youkuaiyun.com/ssyshenn/article/details/81808441</link><guid>https://blog.youkuaiyun.com/ssyshenn/article/details/81808441</guid><author>ssyshenn</author><pubDate>Sat, 18 Aug 2018 15:12:43 +0800</pubDate><description><![CDATA[入门风险管理，找了一本糙书熟悉一些概念，书中框架仅供参考。

 

序

第一章 消费金融风险

第二章 消费金融风险管理基础——信用循环

第三章 MIS 分类与架构

第四章 MIS三大支柱

序

与商业银行相比，互金的优势在对大数据的应用，劣势在于缺乏现场经验

第一章 消费金融风险

风险成因

1. 经济环境：股市下跌、房市下跌、金融危机等其他系统性风险；

2. 客户端：信用观念弱、...]]></description><category></category></item></channel></rss>