- 博客(7)
- 收藏
- 关注
RSS订阅原创 用hive语句走过的坑
1.在sqlServer中有isnull 函数，但是hive不支持，只能用case when 字段 is null then 0 else 字段 end as 字段 2.hive join 表时 join 的表不能是带括号的，如果必须jion这种条件生成的表，需要根据条件生成临时表 错误写法： spark.sql(""""select a.*,b.* from a join (selec...
2019-01-25 16:01:57
1598
原创 机器学习平台数据归一化总结
最近开发数据 归一化的需求，归一化的方法是对将需要处理的列转化为Vector，然后将df放到方法里面去执行，得到新的df 如果保留原始类，这个df只需要重新拆分，就可以 如果不保留原始列，这个df拆分后，还要进行新的判断，将处理后的列值替代原来的值 1._* 用法： 1)变长参数 如将vector 追加至原始df的时候 已经处理的列 val vec=features2Vec...
2019-01-07 15:04:16
265
原创 机器学习实战----kNN近邻算法问题记录
1.import kNN。报错：only 2 non-keyword arguments accepted 原因：group =array([1.0,1.1],[1.0,1.0],[0,0],[0,0.1]) 粗心少写了两个中括号 正确写法: group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) 2.AttributeError: 'dict' ...
2018-10-10 18:35:31
298
原创 Scala学习笔记(三）
第四章 元组和映射 (快学scala） 4.1构造映射 A.不可变映射 val scores=Map("Alice"->10,"Bob"->3,"Cindy"->8) B.可变映射 val score=scala.collection.mutable.Map("Alice"->10,"Bob"->3,"Cindy"->8) C.空的映射,选定映射实现并给定映射参数 val score
2018-01-08 14:05:23
325
原创 Scala学习笔记
1.高级for循环和for推导式 a.变量 for(i b.for循环的循环体以yield开始 ,for循环推导式 for(i for{i1 to 3 from=4-i j3 } 2.编写一个函数countdown(n:Int)，输出n到0的数字 def countdown(n:Int) :Unit={ for(i countdown(10) 思路：首先满足递减，其次要
2018-01-08 09:37:21
953
原创 linux操作
1.查找定时任务的命令 crontab -l 2.编辑定时任务的内容 crontab -e 3.删除所有的定时任务 crontab -r 4.python生成的文件指定存储路径 def wfile(path,cur): sql = 'select * from parts_num ' cur.execute(sql) rows = cur.fetchall();
2018-01-04 13:11:26
217
原创 Scala学习笔记
第二章 控制结构和函数（快学scala） 1.条件表达式 1)scala中 if/else表达式有值 例： var x=1 if (x>0) 1 else -1 2)scala中有混合类型的表达式 if (x>0) "positive" else -1 上述表达式的类型是公共超类型 ，Any 3)esle部分缺失(每个表达式都应该有某种值） if (x>0) 1
2017-12-22 13:15:39
342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人