- 博客(30)
- 收藏
- 关注
RSS订阅转载 spark调优总结1：内存溢出处理及优化
https://blog.youkuaiyun.com/zuolovefu/article/details/79024899https://www.cnblogs.com/stillcoolme/p/10576563.html转载于:https://www.cnblogs.com/pocahontas/p/11577735.html
2019-09-24 12:55:00
333
转载 TensorFlow macOS
检查是否已配置 Python 环境：python3 --version pip3 --version virtualenv --version curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython get-pip.py转载于:http...
2019-09-23 13:12:00
168
转载 【windows+pycharm安装tensorflow】
先anacondaopen anaconda prompt$conda create -n tensorflow python=3.5确保名叫tensorflow的环境已经被成功添加：conda info --envs$activate tensorflow.$conda install tensorflowVerifying the Inst...
2019-09-22 19:50:00
177
转载 【深度学习】Bi-RNN | GRU | LSTM
https://www.cnblogs.com/zhaopAC/p/10240968.htmlRNN中的梯度消失与梯度膨胀GRU是如何解决梯度消失与膨胀的？转载于:https://www.cnblogs.com/pocahontas/p/11558249.html
2019-09-20 16:58:00
576
转载 李宏毅深度学习(2)——RNN
slot filling是需要存储记忆的。把现在neuron的output值store起来然后下一个时间点用，叫elman。如果存的是整个network的output，是jordan。jordan好处是我们容易知道放在memory里的值是什么。文章啊句子常用bidirectional，记忆到的范围比较大。performance好。...
2019-09-20 13:27:00
136
转载 推荐系统(4）-- Session-Based Recommendation
《SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS》http://arxiv.org/abs/1511.06939另外，本文代码的地址为：https://github.com/princewen/tensorflow_practice/tree/master/recommendation/Basic-S...
2019-09-19 16:01:00
686
转载 java知识点——从目录下读取properties
try{Properties properties = new Properties();InputStream fis = RecSysFilter.class.getResourceAsStream("mongo.properties");properties.load(fis);String host = properties.getProperty("host")...
2019-09-02 17:30:00
108
转载 李宏毅深度学习(1)——CNN的3个property
CNN其实就是把一些neuron拿走。为什么？3个property。property 1a neuron does not have to see the whole image to discover the pattern. 比如一张鸟的图片，第一layer是去侦测有没有鸟嘴存在(beak detector)。property 2鸟嘴的位置不影响，不用两组par...
2019-09-02 17:26:00
231
转载 spark常用的算子总结（8）—— filter
把超过某一个数的拿出来collectval filterRdd = sc.parallelize(List(1,2,3,4,5)).map(_*2).filter(_>5)filterRdd.collect# res5: Array[Int] = Array(6, 8, 10)转载于:https://www.cnblogs.com/pocahont...
2019-08-31 23:34:00
360
转载 spark常用的算子总结（7）—— join
join是根据key做两张表全连接("B", 2)连接了("B", "B1")就变成了(B,(2,B1))val arr = List(("A", 1), ("B", 2), ("A", 2), ("B", 3))val arr1 = List(("A", "A1"), ("B", "B1"), ("A", "A2"), ("B", "B2"))val rdd = s...
2019-08-31 23:32:00
162
转载 scala基础(2) --class constructor
class GFG(Lname: String, Tname: String, article: Int) { def show() { println("Language name: " + Lname); println("Topic name: " + Tname); pr...
2019-08-24 19:11:00
103
转载 scala基础(1) -- map
creates Mapval weights = Map("cat" -> 10, "elephant" -> 200000)val weight = weights("elephant")println(weight)val colors = Map(("bird", "blue"), ("fox", "red"))val r...
2019-08-24 19:03:00
92
转载 scala网站
https://www.geeksforgeeks.org/scala-programming-language/https://www.dotnetperls.com/_scala转载于:https://www.cnblogs.com/pocahontas/p/11399006.html
2019-08-23 11:32:00
123
转载 推荐系统(3）-- FM(Factorization Machine)
判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进行CTR预估时，除了单特征外，往往要对特征进行组合。对于特征组合来说，通用的做法主要有两大类：FM系列与Tree系列。今天，我们就来讲讲FM算法。FM(Factorization Machine)主要是为了解决数据稀疏的情况下，特征怎样组合的问题。country,day,ad_type则是对...
2019-08-23 11:31:00
217
转载 推荐系统（2）--LFM（Latent factor model）隐语义模型
在推荐系统中它能够基于用户的行为对item进行自动聚类，这些主题/类别可以理解为用户的兴趣。豆瓣书单的例子来说，那么前提是我们要对所有item（图书）进行分类。那如何分呢？假设数据集中有3个user, 4个item, LFM建模的分类数为4矩阵值Rij表示的是user i 对item j的兴趣度，这正是我们要求的值矩阵值Pij表示的是user i对class j的兴趣度；...
2019-08-22 17:05:00
277
转载 Facebook经典CTR预估模型，特征工程模型化、自动化GBDT+LR
背景/来源/参考：来自知乎王喆机器学习笔记《回顾Facebook经典CTR预估模型》，和推荐系统的局部更新（相反于全量更新）有关，《如何增强推荐系统模型更新的「实时性」？》Facebook在2014发表的“Practical Lessons from Predicting Clicks on Ads at Facebook”摘要：在这篇文章中，F...
2019-08-22 15:07:00
558
转载 推荐系统（1）--基于图的推荐算法PersonalRank算法
中间的连线表示用户与商品之间有过行为，或者是购买或者是打分，推荐的目的是从商品列表中向指定的用户推荐用户未行为过的商品。左侧的A，B，C表示的是三个用户，右侧的a，b，c，d表示的是四个商品G = {'A' : {'a' : 1, 'c' : 1}, 'B' : {'a' : 1, 'b' : 1, 'c':1, 'd':1}, ...
2019-08-19 12:29:00
255
转载 spark常用的算子总结（6）—— sortByKey
//省略scval arr = List(("A",1),("B",2),("A",2),("B",3))val rdd = sc.parallelize(arr)val sortByKeyRDD = rdd.sortByKey()sortByKeyRDD.foreach(println)sc.stop# (A,1)# (A,2)# (B,2)...
2019-08-11 13:18:00
211
转载 Spark常用的算子总结（5）—— groupByKey
按Key进行分组，输入List(("A",1),("B",2),("A",2),("B",3))输出(B,(2, 3))(A,(1, 2))然后对key进行个数统计# (A,2)# (B,2)//省略val arr = List(("A",1),("B",2),("A",2),("B",3))val rdd = sc...
2019-08-11 12:28:00
977
转载 Spark常用的算子总结（4）—— reduceByKey
按Key进行分组，使用给定的func函数聚合value值,val arr = List(("A",3),("A",2),("B",1),("B",3))val rdd = sc.parallelize(arr)val reduceByKeyRDD = rdd.reduceByKey(_ +_)reduceByKeyRDD.foreach(println)...
2019-08-11 12:26:00
151
转载 Spark常用的算子总结（3）—— flatMapValues
flatmapValues就是和flatmap差不多，但是人家本身就是个key value了，所以一个pair怎么变成多个pair呢，就是根据关于values的函数val a = sc.parallelize(List((1,2),(3,4),(5,6)))val b = a.flatMapValues(x=>1 to x)b.collect.foreac...
2019-08-11 12:24:00
964
转载 Spark常用的算子总结（2）——flatMap
与map类似，区别是原RDD中的元素经map处理后只能生成一个元素，而原RDD中的元素经flatmap处理后可生成多个元素val a = sc.parallelize(1 to 4, 2)val b = a.flatMap(x => 1 to x)//每个元素扩展b.collect/*结果 Array[Int] = Array( 1, ...
2019-08-11 12:17:00
218
转载 Spark常用的算子总结——Map
从一个list变成 key valueval a = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther", " eagle"), 2)val b = a.map(x => (x, 1))b.collect.foreach(println(_))# /*# (dog,1)# (tig...
2019-08-11 11:59:00
267
转载 NLP特征处理器 Transformer和他的历史
RNN CNN人老珠黄。全面拥抱Transformer。对于自然语言处理领域来说，2018 年无疑是个收获颇丰的年头，就是Bert 模型了。一个是Bert 这种两阶段的模式（预训练 + Finetuning）必将成为 NLP 领域研究和工业应用的流行方法；第二个是从 NLP 领域的特征抽取器角度来说，Transformer 会逐步取代 RNN 成为最主流...
2019-08-11 11:26:00
294
转载 NLP三大特征处理器之——CNN
RNN、CNN、Transformer转载于:https://www.cnblogs.com/pocahontas/p/11334327.html
2019-08-11 11:18:00
144
转载 NLP三大特征处理器之——Transformer
RNN、CNN、Transformer转载于:https://www.cnblogs.com/pocahontas/p/11334328.html
2019-08-11 11:18:00
190
转载 NLP三大特征处理器之——RNN
RNN、CNN、Transformer转载于:https://www.cnblogs.com/pocahontas/p/11334324.html
2019-08-11 11:17:00
125
转载 Spark Streaming+Kafka
https://www.cnblogs.com/xlturing/p/6246538.html转载于:https://www.cnblogs.com/pocahontas/p/11334295.html
2019-08-11 11:13:00
79
转载 spark小案例实战3（scala + spark2 版本）
需求：对每个班级内的学生成绩，取出前3名。（分组取topn）实现步骤：遍历每组，获取每组的成绩将一组成绩转换成一个数组缓冲将数组缓冲按从大到小排序对排序后的数组缓冲取其前三打印输出object GroupTop3 { def main(args: Array[String]): Unit = { val spark = Sp...
2019-08-11 11:00:00
202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人