<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[happiless的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/happiless</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; happiless]]></copyright><item><title><![CDATA[超大图上的节点表征学习]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/118395521</link><guid>https://blog.youkuaiyun.com/happiless/article/details/118395521</guid><author>happiless</author><pubDate>Fri, 02 Jul 2021 01:36:19 +0800</pubDate><description><![CDATA[一、图神经网络的挑战

随着网络层数的增加, 计算成本呈指数增长
保存整个图的信息和每一层每个节点的嵌入(embedding)需要消耗巨大的内存空间

二、 Cluster-GCN的出现

可能损失预测精度或者对提高内存的利用率并不显著
无需保存整个图的信息和每一层每个节点的嵌入（embedding）

2.1 概览

1.利用图节点聚类算法将一个图的节点划分为c个簇, 每一次选择几个组的节点和边构造一个子图, 对子图进行训练
2.由于利用图节点聚类算法划分多个簇, 所以簇内边的数量要比簇间边的数量要多得多]]></description><category></category></item><item><title><![CDATA[数据完整存储于内存的数据集类+节点预测与边预测任务实践]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/118280058</link><guid>https://blog.youkuaiyun.com/happiless/article/details/118280058</guid><author>happiless</author><pubDate>Mon, 28 Jun 2021 01:11:16 +0800</pubDate><description><![CDATA[一、完全基于内存的数据集类
InMemoryDataset基类简介
import torch
from torch_geometric.data import InMemoryDataset, download_url

class InMemoryDataset(root: Optional[str] = None, 
                      transform: Optional[Callable] = None, 
                      pre_transfo]]></description><category></category></item><item><title><![CDATA[基于图神经网络的节点表征学习]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/118073898</link><guid>https://blog.youkuaiyun.com/happiless/article/details/118073898</guid><author>happiless</author><pubDate>Thu, 24 Jun 2021 01:05:53 +0800</pubDate><description><![CDATA[获取并分析数据集
dataset = Planetoid(root='./input/Cora', name='Cora', transform=NormalizeFeatures())

print(f'dataset: {dataset}')
print(f'number of graphs: {len(dataset)}')
print(f'number of features: {dataset.num_node_features}')
print(f'number of classes: {dat]]></description><category></category></item><item><title><![CDATA[GraphEmbedding与消息传递范式]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/117968211</link><guid>https://blog.youkuaiyun.com/happiless/article/details/117968211</guid><author>happiless</author><pubDate>Sat, 19 Jun 2021 19:47:11 +0800</pubDate><description><![CDATA[一、GraphEmbedding
1. DeepWalk

DeepWalk在无向图上
采用随机游走得到一个节点序列
- d: embedding维度, γ\gammaγ: 迭代次数

2. LINE

DeepWalk在无向图上, LINE在有向图上
适用于大规模的图上, 表示节点之间的结构信息

一阶: 局部的结构信息
二阶: 节点的邻居, 共享邻居的节点可能是相似的




一阶二阶embedding训练完成之后, 直接拼接组合成一个embedding


3. Node2vec

同质性: BFS
]]></description><category></category></item><item><title><![CDATA[简单图论与PyG环境配置]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/117906890</link><guid>https://blog.youkuaiyun.com/happiless/article/details/117906890</guid><author>happiless</author><pubDate>Mon, 14 Jun 2021 22:15:26 +0800</pubDate><description><![CDATA[一、简单图论
图的表示

图用节点表示实体（entities ），用边表示实体间的关系（relations）
通过邻接矩阵来构造图
在无向图中，从结点 viv_ivi​ 到 vjv_jvj​ 的边存在，意味着从结点 vjv_jvj​ 到 viv_ivi​ 的边也存在。因而无向图的邻接矩阵是对称的。
在无权图中，各条边的权重被认为是等价的，即认为各条边的权重为1
对于有权图，其对应的邻接矩阵通常被记为 W∈{0,1}N∗NW \in \{0, 1\}^{N * N}W∈{0,1}N∗N，其中Wi,j=wijW]]></description><category></category></item><item><title><![CDATA[幸福感挖掘]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/116003550</link><guid>https://blog.youkuaiyun.com/happiless/article/details/116003550</guid><author>happiless</author><pubDate>Thu, 22 Apr 2021 13:09:35 +0800</pubDate><description><![CDATA[一、学习知识点概要
1.1 学习内容介绍

阿里天池挖掘幸福感比赛入口: https://tianchi.aliyun.com/competition/entrance/231702/introduction

1.2 学习目标

通过学习能够挤进排行榜前500

1.3 代码流程

1.数据探索
2.特征工程
3.建模预测
4.模型调参与融合

二、学习内容
1. 数据探索
2. 特征工程
import numpy as np
import pandas as pd
pd.set_option('disp]]></description><category></category></item><item><title><![CDATA[基于LightGBM的分类预测]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/115773768</link><guid>https://blog.youkuaiyun.com/happiless/article/details/115773768</guid><author>happiless</author><pubDate>Fri, 16 Apr 2021 23:57:12 +0800</pubDate><description><![CDATA[一、学习知识点概要
1.1 LightGBM的介绍
1). 2017年经微软推出，XGBoost的升级版
2). 模型精度: 两个模型精度相当
3). 训练速度: LightGBM训练的速度更快 =&gt; 1/10
4). 内存消耗: LightGBM占用内存更小 =&gt; 1/6
5). 特征缺失值: 两个模型都可以自动处理特征缺失值
6). 分类特征: XGBoost不支持类别特征，需要对其进行onehot编码，而LightGBM支持类别特征



LightGBM的主要优点：
  1.简单易用。提]]></description><category></category></item><item><title><![CDATA[基于XGBoost的分类预测]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/115682179</link><guid>https://blog.youkuaiyun.com/happiless/article/details/115682179</guid><author>happiless</author><pubDate>Tue, 13 Apr 2021 23:49:24 +0800</pubDate><description><![CDATA[一. 学习知识点概要
1.1 XGBoost的介绍
优点
1. 简单易用。相对其他机器学习库，用户可以轻松使用XGBoost并获得相当不错的效果。
2. 高效可扩展。在处理大规模数据集时速度快效果好，对内存等硬件资源要求不高。
3. 鲁棒性强。相对于深度学习模型不需要精细调参便能取得接近的效果。
4. XGBoost内部实现提升树模型，可以自动处理缺失值。

缺点：
1. 相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据。
2. 在拥有海量训练数据，并能找到合适的深度学习模型时]]></description><category></category></item><item><title><![CDATA[基于逻辑回归的分类预测]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/115616760</link><guid>https://blog.youkuaiyun.com/happiless/article/details/115616760</guid><author>happiless</author><pubDate>Mon, 12 Apr 2021 11:26:06 +0800</pubDate><description><![CDATA[一. 学习知识点概要
1. 逻辑回归的介绍与应用
1.1 逻辑回归的介绍

逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。
而对于逻辑回归，最为突出的两点就是其模型简单和模型的可解释性强。
逻辑回归模型的优劣势:

优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低；
缺点：容易欠拟合，分类]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通(五)--SparkSQL]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107307874</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107307874</guid><author>happiless</author><pubDate>Mon, 13 Jul 2020 00:50:53 +0800</pubDate><description><![CDATA[SparkSQL
使用DataFrame创建表
将DataFrame注册成临时的一张表，这张表临时注册到内存中，是逻辑上的表，不会雾化到磁盘，就可以使用sql
frame.createOrReplaceTempView("mytable")

将RDD转为DataSet
Reflection 反射的方式创建DataSet
import session.implicits._
/**
  * 直接读取文件为DataSet
  */
    val person: Dataset[String] = sessi]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通(四)--二次排序和TopN问题]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107307705</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107307705</guid><author>happiless</author><pubDate>Mon, 13 Jul 2020 00:50:22 +0800</pubDate><description><![CDATA[二次排序
java
SparkConf conf = new SparkConf();
conf.setAppName("SecondSort");
conf.setMaster("local");
JavaSparkContext context = new JavaSparkContext(conf);
JavaRDD&lt;String&gt; textFile = context.textFile("./data/secondSort");
JavaPairRDD&lt;MySort, String]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通(三)--SparkShuffle与广播变量和累加器]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107307226</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107307226</guid><author>happiless</author><pubDate>Mon, 13 Jul 2020 00:49:18 +0800</pubDate><description><![CDATA[Spark Shuffle
reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成 一个value，然后生成一个新的RDD，元素类型是&lt;key,value&gt;对的形式，这样每一个key对应一个聚合起来的value
Shuffle Write:上一个stage的每个map task就必须保证将自己处理 的当前分区中的数据相同的key写入一个分区文件中，可能会写入多个 不同的分区文件中
Shuffle Read:reduce task就会从上一个stage的所有task所在的]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通(七)--Spark优化]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107308772</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107308772</guid><author>happiless</author><pubDate>Mon, 13 Jul 2020 00:48:37 +0800</pubDate><description><![CDATA[Spark优化

]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通(六)--SparkStreaming]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107308181</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107308181</guid><author>happiless</author><pubDate>Mon, 13 Jul 2020 00:45:46 +0800</pubDate><description><![CDATA[SparkStreaming
SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。

Flink &amp; Storm &amp; SparkStreaming 区别：
Strom:纯实时处理数据，吞吐量小      --水龙头滴水
SparkStreaming : 准实时处理数据，微批处理数]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通(二)--SparkCore与RDD编程]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107306392</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107306392</guid><author>happiless</author><pubDate>Mon, 13 Jul 2020 00:45:09 +0800</pubDate><description><![CDATA[Spark代码流程

]]></description><category></category></item><item><title><![CDATA[Spark集群搭建与任务提交]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107305853</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107305853</guid><author>happiless</author><pubDate>Sun, 12 Jul 2020 22:09:23 +0800</pubDate><description><![CDATA[Spark集群搭建
安装jdk
解压安装spark
修改配置文件
cd spark-2.3.1/conf
cp slaves.template slaves
vi slaves
   node02
   node03
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
   export SPARK_MASTER_HOST=node01
   export SPARK_MASTER_PORT=7077
   export SPARK_WORKER_CO]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通(一)--Spark架构]]></title><link>https://blog.youkuaiyun.com/happiless/article/details/107305373</link><guid>https://blog.youkuaiyun.com/happiless/article/details/107305373</guid><author>happiless</author><pubDate>Sun, 12 Jul 2020 22:08:35 +0800</pubDate><description><![CDATA[前言
犹豫了很久，最终还是决定开始写点什么来记录自己的程序人生，我做过全栈工程师，做过大数据开发，对算法也有一定的研究。很多人可能会有疑问，为什么写的第一篇文章居然是spark的，像hadoop，hive等很多大数据技术都没讲，首先一方面原谅我的私心，因为我打算在我的团队内部做一个spark的培训，另外还有一方面spark是最实用的东西，大家可以关注我，之后我会把我学过的一些大数据组件，以及机器学习，深度学习的技术都分享出来，也会继续学习新东西并分享出来。

Spark架构
Spark与MapReduce的]]></description><category></category></item></channel></rss>