<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[明日韭菜]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/circle2015</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; circle2015]]></copyright><item><title><![CDATA[图自监督表征]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/128705327</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/128705327</guid><author>circle2015</author><pubDate>Mon, 16 Jan 2023 16:28:55 +0800</pubDate><description><![CDATA[图自监督]]></description><category></category></item><item><title><![CDATA[同构和异构经典图神经网络汇总+pytorch代码]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/128004889</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/128004889</guid><author>circle2015</author><pubDate>Wed, 23 Nov 2022 19:51:06 +0800</pubDate><description><![CDATA[针对一些同构图神经网络GCN/GAT/GraphSAGE和异构图神经网络RGCN/HAN/HGT等汇总，以及一些代码参考]]></description><category></category></item><item><title><![CDATA[Mac和IDE配置]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/127810602</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/127810602</guid><author>circle2015</author><pubDate>Fri, 11 Nov 2022 18:06:17 +0800</pubDate><description><![CDATA[关于机器和软件配置]]></description><category></category></item><item><title><![CDATA[pytorch开发问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/127407891</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/127407891</guid><author>circle2015</author><pubDate>Wed, 19 Oct 2022 14:54:20 +0800</pubDate><description><![CDATA[pytorch开发中经常遇到的问题]]></description><category></category></item><item><title><![CDATA[算法手记整理]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/114537083</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/114537083</guid><author>circle2015</author><pubDate>Mon, 08 Mar 2021 17:26:27 +0800</pubDate><description><![CDATA[本文档仅针对日常接触到的各种算法进行笔记归档，不属于系列，欢迎感兴趣者自取]]></description><category></category></item><item><title><![CDATA[常用相似性(距离)度量方法概述]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/107952424</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/107952424</guid><author>circle2015</author><pubDate>Wed, 12 Aug 2020 11:00:45 +0800</pubDate><description><![CDATA[1 使用背景
在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。
最常见的是数据分析中的相关性分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）、图计算等等。
在做很多研究问题
2 距离度量
距离度量（Distance）用于衡量个体在空间上存在的距离，距离越远说明个体间的差异越大。
2.1. 曼哈顿距离(Manhattan Distance)
   在曼哈顿要从一个十字路口开车到另外一个十字路口，实际驾驶距离就是这个“曼哈顿距离”。而这]]></description><category></category></item><item><title><![CDATA[Spark数据倾斜问题解决与如何对pairRDD内部采样]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/105590003</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/105590003</guid><author>circle2015</author><pubDate>Fri, 17 Apr 2020 22:53:24 +0800</pubDate><description><![CDATA[1、问题背景
最近遇到一个这样的需求，需要将原始数据按照key进行汇总，然后把对应key的value数据按照时间排序进行排序，最后分别对每个key进行相同的value操作，于是遇到了严重的数据倾斜问题。
单个task接收到了单个key对应的大量value数据，造成处理耗时甚至OOM内存溢出或不足，使得整个任务被拖累。
2、数据倾斜解决方案
2.1、初步切分数据
由于需求的特殊性，key对应的val...]]></description><category></category></item><item><title><![CDATA[算法系列 - 广告反作弊概述]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/105493633</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/105493633</guid><author>circle2015</author><pubDate>Mon, 13 Apr 2020 17:39:26 +0800</pubDate><description><![CDATA[以下所有内容均整理于各种博客
一、广告名词解释
网络营销之所以越来越受到重视一个主要的原因就是因为“精准”。相比较传统媒体的陈旧广告形式，网络营销能为广告主带来更为确切的效果与回报，更有传统媒体所没有的即时互动性。很多企业借助于精准的网络营销成为人尽皆知的知名品牌。众多的成功案例吸引着更多的企业计划投入到网络营销中的大潮中来。那么我们在做网络营销前应该要了解哪些基本知识呢？博大精微数据库营销今天开...]]></description><category></category></item><item><title><![CDATA[python开发问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/105481678</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/105481678</guid><author>circle2015</author><pubDate>Mon, 13 Apr 2020 09:39:24 +0800</pubDate><description><![CDATA[使用python时遇到的各种问题]]></description><category></category></item><item><title><![CDATA[maven和POM问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/105472789</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/105472789</guid><author>circle2015</author><pubDate>Sun, 12 Apr 2020 17:41:51 +0800</pubDate><description><![CDATA[1. 执行mvn 报错 source-1.5 中不支持 diamond运算符
指定Maven的版本，并且指定Maven使用的jdk版本，在pom.xml中修改
&lt;project xmlns="..."&gt;
    ...
    &lt;build&gt;
        &lt;plugins&gt;
            &lt;plugin&gt;
               ...]]></description><category></category></item><item><title><![CDATA[idea开发问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/105472449</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/105472449</guid><author>circle2015</author><pubDate>Sun, 12 Apr 2020 17:17:58 +0800</pubDate><description><![CDATA[1. idea配置pyhton环境
https://www.jianshu.com/p/06f9e7d2f35c
2. idea配置不同module之间互相调用方法
https://blog.youkuaiyun.com/big_data1/article/details/81218006

]]></description><category></category></item><item><title><![CDATA[git开发问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/105440626</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/105440626</guid><author>circle2015</author><pubDate>Fri, 10 Apr 2020 19:49:24 +0800</pubDate><description><![CDATA[1. 命令行查看标签
git tag -l
git tag 标签名

2. 撤销已经做的所有修改
git status -s 
git checkout --f

4. gitignore不起作用
git rm -r --cached .
git add .
git commit -m 'update .gitignore'

https://www.cnblogs.com/thinkingthi...]]></description><category></category></item><item><title><![CDATA[spark开发问题汇总 (持续更新20210604)]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/102771232</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/102771232</guid><author>circle2015</author><pubDate>Sun, 27 Oct 2019 20:50:35 +0800</pubDate><description><![CDATA[一、两个同类型的rdd合并
union(ortherDataset):将两个RDD中的数据集进行合并，最终返回两个RDD的并集，若RDD中存在相同的元素也不会去重
//省略sc
   val rdd1 = sc.parallelize(1 to 3)
   val rdd2 = sc.parallelize(3 to 5)
   val unionRDD = rdd1.union(rdd2)
  ...]]></description><category></category></item><item><title><![CDATA[Scala开发问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/102771020</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/102771020</guid><author>circle2015</author><pubDate>Sun, 27 Oct 2019 20:40:00 +0800</pubDate><description><![CDATA[一、在scala的2.10.*时代，case class只支持22参数
但是在scala2.11.*时代则没有这个问题。。。
https://blog.youkuaiyun.com/feloxx/article/details/76605232
二、Nil的含义
Nil是一个空的List，定义为List[Nothing]，根据List的定义List[+A]，所有Nil是所有List[T]的子类。
https:...]]></description><category></category></item><item><title><![CDATA[Hive开发问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/102770962</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/102770962</guid><author>circle2015</author><pubDate>Sun, 27 Oct 2019 20:24:05 +0800</pubDate><description><![CDATA[一、group by操作后将其他字段串接
select uid,concat_ws('|', collect_set(device)) from tmp_test group by uid;


collect_set 是 Hive 内置的一个聚合函数, 它返回一个消除了重复元素的对象集合, 其返回值类型是 array
Hive group by操作后将其他字段串接
mysql中使用的是group...]]></description><category></category></item><item><title><![CDATA[Hadoop开发问题汇总]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/102769122</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/102769122</guid><author>circle2015</author><pubDate>Sun, 27 Oct 2019 17:36:18 +0800</pubDate><description><![CDATA[1、hdfs复制和移动
参考博客
进行整个目录的复制或者移动
hadoop fs -cp -f 待复制文件路径 目标文件路径

2、Container killed by YARN for exceeding memory limits. 10.4 GB of 10.4 GB physical memory used
spark.yarn.executor.memoryOverhead = 819...]]></description><category></category></item><item><title><![CDATA[Flink开发问题汇总 (持续更新20210219)]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/102768820</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/102768820</guid><author>circle2015</author><pubDate>Sun, 27 Oct 2019 17:24:04 +0800</pubDate><description><![CDATA[主要记录使用flink中遇到的各种问题]]></description><category></category></item><item><title><![CDATA[【转载】Presto日常优化]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/101372194</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/101372194</guid><author>circle2015</author><pubDate>Wed, 25 Sep 2019 16:34:12 +0800</pubDate><description><![CDATA[查询速度慢, 如何优化?
解决方法1: 避免单节点处理
虽然Presto是分布式查询引擎, 但是一些操作是必须在单节点中处理的. 例如:


count(distinct x)

考虑使用approx_distinct(x)代替
但是需要注意这个函数有个大约在2.3%的标准误差, 如果需要精确统计的情况, 请绕道.



UNION
UNION有个功能是: 如果两条记录一样, 会只保留一条记录(去...]]></description><category></category></item><item><title><![CDATA[2017-实习：机器学习、大数据开发、研发等岗位面经]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/78514610</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/78514610</guid><author>circle2015</author><pubDate>Sun, 12 Nov 2017 20:16:35 +0800</pubDate><description><![CDATA[前言刚过完年，就开始到处找实习了，可惜后来发生了一些事情，耽误了春招实习，也完全改变了人生方向。。。 
后来到处找散招的实习以及参加春招的暑假实习生笔面试，总共经历了十家公司的面试，相比我秋招的二十家面试少了一半，呵呵哒。。。 
同时欢迎大家看我的秋招面经帖子，干货很多的 
2017-我的秋招之路：机器学习/算法工程师(含大量面经)算法/研发岗位实习生面经高德地图 (数据挖掘实习生，电话一面，201]]></description><category></category></item><item><title><![CDATA[2017-秋招：机器学习/算法工程师(含大量面经)]]></title><link>https://blog.youkuaiyun.com/circle2015/article/details/78448196</link><guid>https://blog.youkuaiyun.com/circle2015/article/details/78448196</guid><author>circle2015</author><pubDate>Sun, 05 Nov 2017 11:03:16 +0800</pubDate><description><![CDATA[前言：从今年的8月1号正式开启秋招到现在，过去三个多月了，发生了很多事情，经历了N多场笔试和面试，深深感慨到本硕双非的学生找算法岗的艰辛。。。，当经过了8、9月份的种种面试挂掉后，终于从十月下旬陆续收到了几个offer，而且其中还有自己喜欢的公司，不得不感慨那句《极限挑战》的结束语“这，就是，命！”奇怪的数字：对于我的整个秋招情况，有下面几组数据，我感觉很有意思，而且感觉和自然数e有关：
发送的申请]]></description><category></category></item></channel></rss>