<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[一步一步]]></title><description><![CDATA[机器学习 机器视觉 ]]></description><link>https://blog.youkuaiyun.com/GOGOAWAY</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; GOGOAWAY]]></copyright><item><title><![CDATA[python语法总结]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/106993933</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/106993933</guid><author>GOGOAWAY</author><pubDate>Sun, 28 Jun 2020 11:47:24 +0800</pubDate><description><![CDATA[1、Python 中 absl 库的用途

https://blog.youkuaiyun.com/chr1991/article/details/94492128

absl 库全称是 Abseil Python Common Libraries。它原本是个C++库，后来被迁移到了Python上。

它是创建Python应用的代码集合。这些代码从谷歌自己的Python代码基地中搜集而来，已经过全面的测试并广泛用于生产中。

特点：

简单的应用创建
分布式的命令行标志系统
用户自定义的记录模块，并拥有额外的功能。
拥]]></description><category></category></item><item><title><![CDATA[一些查过好用的hdfs命令]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/106989594</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/106989594</guid><author>GOGOAWAY</author><pubDate>Sat, 27 Jun 2020 22:53:11 +0800</pubDate><description><![CDATA[gzip 文件

查看 HDFS 上 gzip 文件的命令



			
1
2
3
4
5

			
			
			
hadoop fs -cat /shining/temp.txt.gz | gzip -d 

或

hadoop fs -cat /shining/temp.txt.gz | zcat
			
		

转载自：https://sukbeta.github.io/hadoop-lzo-gz-bz2/hadoop上命令行查看lzo、gz、bz文件

或者对各种文件都可以使用-text选...]]></description><category></category></item><item><title><![CDATA[md5使用]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/103028605</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/103028605</guid><author>GOGOAWAY</author><pubDate>Tue, 12 Nov 2019 14:46:18 +0800</pubDate><description><![CDATA[背景：需要用MD5压缩字符串
问题：java实现的MD5类是线程不安全的
问题描述代码及解决方案：https://www.cnblogs.com/xujishou/p/8044339.html

]]></description><category></category></item><item><title><![CDATA[kaggle好文：一个框架解决几乎所有机器学习问题（2016.7.18）]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/90472992</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/90472992</guid><author>GOGOAWAY</author><pubDate>Thu, 23 May 2019 02:31:07 +0800</pubDate><description><![CDATA[是16年一个大神写的做数据问题的常见思路和参考demo,据说需要调的超参经验非常好；

可以试着按这个流程来试验一次问题。

原链接：https://www.linkedin.com/pulse/approaching-almost-any-machine-learning-problem-abhishek-thakur




Approaching (Almost) Any Machine ...]]></description><category></category></item><item><title><![CDATA[storm常用模式]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/88905263</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/88905263</guid><author>GOGOAWAY</author><pubDate>Sat, 30 Mar 2019 02:07:38 +0800</pubDate><description><![CDATA[storm常用模式
Apache Storm是目前最流行的实时计算框架之一，基于streams, spouts, bolts, and topologies这些基本组件，可以组合出一些计算模式，每个模式对应解决一类现实中的问题。
下面介绍7种计算模式，并给出代码示例，希望对读者有所帮助：（我这只看到3种）
模式1： JOIN
Join一般是指基于摸个共同的属性，把2类内容合并到一起。传统数据库的j...]]></description><category></category></item><item><title><![CDATA[spark程序性能优化--合并文件]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/81781464</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/81781464</guid><author>GOGOAWAY</author><pubDate>Fri, 17 Aug 2018 18:00:15 +0800</pubDate><description><![CDATA[背景：把总量3T的文件和40G的文件合并按key合并，把3T中40G有的记录换成40G的，40G中3T没有的加上。原先是按其中一个数据域经过hash，把数据分成3个part进行处理，大概每个半小时，3个任务1.5小时处理完（之前3T的数据总量大约1.2T）。但随着数据增加，每个部分数据变为了1T，并且数据长度增长，原先半小时的任务跑2个小时都跑不完，进行优化。

（1）读入优化：对每条记录用spl...]]></description><category></category></item><item><title><![CDATA[Mllib学习]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/80706518</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/80706518</guid><author>GOGOAWAY</author><pubDate>Fri, 15 Jun 2018 16:58:51 +0800</pubDate><description><![CDATA[http://spark.apache.org/docs/latest/mllib-data-types.html 这里有很多例子1、vector基础用法：import org.apache.spark.mllib.linalg.Vectors  
  
object Test {  
  def main(args: Array[String]) {  
    val vd = Vectors...]]></description><category></category></item><item><title><![CDATA[spark进行map,join分worker数少的一些问题]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/80061094</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/80061094</guid><author>GOGOAWAY</author><pubDate>Tue, 24 Apr 2018 10:47:42 +0800</pubDate><description><![CDATA[1、fullouterjoin导致的分配worker少：

一开始



然后加coalesce（1000）



还是用的worker很少

然后调整join顺序，之前是（小数据）fullouterjoin(大数据)，把大小数据顺序调换，worker多了，执行变快



最后结果



ps:

改变join时spark shuffle用的worker数

--conf spark.sql.sh...]]></description><category></category></item><item><title><![CDATA[scala中用json]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/79680495</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/79680495</guid><author>GOGOAWAY</author><pubDate>Sat, 24 Mar 2018 18:49:43 +0800</pubDate><description><![CDATA[文件结构：{ &quot;DenseFeature&quot;: [     { &quot;field&quot;:0,     &quot;Features&quot;:[     “feature1”      ]}]}是这样的4层结构，不管用哪套api解析我都是崩溃的，想看看原来怎么拼成这么复杂的结果的。用scala自带的json解析特别崩溃，因为从map里面拿出来是some类型，json对象还需要拿里面的对象才可以得到内容。用google的gso...]]></description><category></category></item><item><title><![CDATA[linux技巧总结]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/57129893</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/57129893</guid><author>GOGOAWAY</author><pubDate>Wed, 14 Mar 2018 17:53:08 +0800</pubDate><description><![CDATA[1、时间

https://www.cnblogs.com/tangshiguang/p/6735367.html 总结很全

取一天后日期

date=`date -d &quot;$date 1 day&quot; +%Y%m%d`

取一天前日期

date=`date -d'1 days ago' +%Y-%m-%d`

取指定日期前几天

date -d '20190220 20 days ago' +%Y...]]></description><category></category></item><item><title><![CDATA[spark编程cheat-sheet]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/78953128</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/78953128</guid><author>GOGOAWAY</author><pubDate>Tue, 02 Jan 2018 16:35:46 +0800</pubDate><description><![CDATA[1、pysparkspark routain:from pyspark import SparkContext
from pyspark import HiveContext
if __name__ == '__main__':     
	global_dic = get_dic(target_date)     
	sc = SparkContext(appName='get_sub_stra]]></description><category></category></item><item><title><![CDATA[关于spark一些参数的问题]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77964480</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77964480</guid><author>GOGOAWAY</author><pubDate>Wed, 13 Sep 2017 13:09:26 +0800</pubDate><description><![CDATA[1、2、怎么看给自己分配多少资源来着？以前查着又忘了 
3、shuffleRead怎么更快？]]></description><category></category></item><item><title><![CDATA[MapPartition一次oom问题解决]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77964401</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77964401</guid><author>GOGOAWAY</author><pubDate>Wed, 13 Sep 2017 12:52:20 +0800</pubDate><description><![CDATA[1、问题：每次跑到MapParititon就会停住 
 
看起来是repartition的问题，实际出问题的是之前的mapPartition 
executor表现： 
 
出问题的代码：val process_data = data.mapPartitions(
           rs => {
            val delLabelMapbc = delLabelMap.value]]></description><category></category></item><item><title><![CDATA[groupByKey一直OOM处理]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77963845</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77963845</guid><author>GOGOAWAY</author><pubDate>Wed, 13 Sep 2017 11:35:16 +0800</pubDate><description><![CDATA[1、一个任务很简单，就是把2T数据读入，按\t拆分，取里面四个字段，之后groupByKey,但是遇到了一直groupByKey就一直fullGC的问题。这里第一个stage很快就跑完了，应该是在拉数据，map之类的。但是只产出19G数据，groupByKey直接处理应该还是绰绰有余的，但现实是我试了一个周末加一天加两个小时，一直FullGC。这个原因不明，对于整个过程内存到底怎么使用还不完全清楚。]]></description><category></category></item><item><title><![CDATA[用GC日志看spark程序是不是在driver,Executor内存效率不高]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77945429</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/77945429</guid><author>GOGOAWAY</author><pubDate>Tue, 12 Sep 2017 15:09:04 +0800</pubDate><description><![CDATA[1、设置conf的方式有三种： 
set by SparkConf: conf.set(“spark.driver.maxResultSize”, “3g”) 
set by spark-defaults.conf: spark.driver.maxResultSize 3g 
set when calling spark-submit: –conf spark.driver.maxResultSi]]></description><category></category></item><item><title><![CDATA[执行scala]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/76794985</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/76794985</guid><author>GOGOAWAY</author><pubDate>Sun, 06 Aug 2017 21:59:26 +0800</pubDate><description><![CDATA[scala运行]]></description><category></category></item><item><title><![CDATA[Scala中函数组合器用法]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/75453434</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/75453434</guid><author>GOGOAWAY</author><pubDate>Thu, 20 Jul 2017 02:41:24 +0800</pubDate><description><![CDATA[http://blog.youkuaiyun.com/springlustre/article/details/52882205 讲的挺全]]></description><category></category></item><item><title><![CDATA[第二篇一次查询]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/74937400</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/74937400</guid><author>GOGOAWAY</author><pubDate>Mon, 10 Jul 2017 22:26:22 +0800</pubDate><description><![CDATA[问题：sparksql用GROUPPING SETS同时做不同维度组合的聚合，原先刚刚好危险的在一个小时内跑完，又新加了两个维度，维度组合翻倍（大致30个组合），结果要聚合的数据量也翻倍了。。。每次数据量大于2T，导致倾斜严重，运行慢的问题。(注，图的笔记利用了两个很相同的查询，只是为了说明一下情况) 
        
        
尝试改进1：用mr跑会不会更快？没有，mr跑了2小时，spa]]></description><category></category></item><item><title><![CDATA[hive查过的函数]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/74183936</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/74183936</guid><author>GOGOAWAY</author><pubDate>Mon, 03 Jul 2017 14:31:24 +0800</pubDate><description><![CDATA[1、正则匹配函数
  regexp



  1.正则匹配 数值型



 hive  > select  1 regexp '^[0-9]*$'
   from dual;

  > true

  2.正则匹配数值开头结尾 

hive > select  '1aa1'   regexp '^[0-9].*$'
   from dual;

  > tru]]></description><category></category></item><item><title><![CDATA[一次查询2]]></title><link>https://blog.youkuaiyun.com/GOGOAWAY/article/details/72896897</link><guid>https://blog.youkuaiyun.com/GOGOAWAY/article/details/72896897</guid><author>GOGOAWAY</author><pubDate>Wed, 07 Jun 2017 10:17:58 +0800</pubDate><description><![CDATA[一次spark查询]]></description><category></category></item></channel></rss>