- 博客(10)
- 收藏
- 关注
RSS订阅原创 spark 邮件报错
在集群上跑代码，如果有问题，希望能发邮件到自己的邮箱。想使用如下代码（环境是在win10下的intelliJ idea里，平时用sbt compile和双胞胎package，打成jar包后粘贴到集群spark里跑）import java.lang.Exception;import java.lang.RuntimeException;import java.lang.String;
2016-09-09 16:54:03
2121
转载 SSLHandshakeException
javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_failure引用来自“刘正阳”的评论你这个是jdk导致的，jdk里面有一个jce的包，安全性机制导致的访问https会报错，官网上有替代的jar包，换掉就好了引用来自“嘉树”的评论牛逼啊 包在这里 http://
2016-09-09 16:20:06
1030
原创 工作笔记
从git上下载项目并编译：1：git-bash.exe2：shell命令创建目录3：git init创建仓库4：git pull +url 下载，使用git fetch 和git merge会更好5：下载后，sbt compile ，编译出现中文错误，将javacOptions ++= Seq("-encoding", "UTF-8")写在pull后的文件里的build.s
2016-08-15 11:38:37
428
原创 sqoop mysql to hbase java api 1.4.5
SqoopOptions options = new SqoopOptions(); options.setConnectString("jdbc:mysql://HOSTNAME:PORT/DATABASE_NAME"); //options.setTableName("TABLE_NAME"); //options.setWhereClau
2016-05-13 14:20:07
1111
原创 reducebykey groupbykey combinebykey
reduceByKey：groupByKey：combineByKey：
2016-03-29 16:11:14
1354
原创 TeraSort and Join
Hadoop MapReduce： 首先，是分布式，是并行，所以一定要想到怎么样并行，使效率最高！（比如说teralist 就是各自并行的排序，有一个并行的过程。） TeraSort： 采样：分割，采每部分前面的，得到一个大概的分布。 找分割点。 各部分自己排序，但部分整体是相对任何其他部分有序。（reduce可以规定reduce输出也是有序的。） Join：方法一： I：f1，
2016-03-15 22:09:23
488
原创 笔记二三
对于模型的理解： 之前觉得模型应该是一种有生动形象的图形或物体，并且如果遇到需要模型化的问题我总是去想怎样将问题变成一个形状或者物体。总是转不过来弯。经过思考与查阅资料，恩恩，模型其实可以就是一个数学表达式。可以为很多问题建立数学表达式。比如，堆栈问题，数据a1，a2，a3，，，，（i>0）按一定顺序进，有哪些可能的输出顺序呢？ 我们可以用数学形式表示: if output sequenc
2016-03-14 10:54:53
378
原创 连接笔记
1:jdk,scala.msi 2:ssh,putty 3:IDEA4:FILE-SETTING-PLUGINS-SCALA 5:FILE-PROJECT STRUCTURE-LIBRARIES-“+”-JAVA——-(SPARK-ASSEMBLY-HADOOP.JAR)6:NEW-ADD jdk-ADD SCALA 7:BUILD JAR ->OUT(“D:\SPARK DISTRIBUT
2016-03-10 18:41:55
426
原创 统计学习方法概论
统计学习方法概论（学习李航的《统计学习方法》笔记）统计学习方法概论1 统计学习2监督学习3 统计学习三要素策略4模型评估与模型选择5正则化与交叉验证6泛化能力7生成模型与判别模型8分类问题9标注问题10回归问题快捷键Markdown及扩展表格定义列表代码块脚注目录数学公式UML 图离线写博客浏览器兼容1.1 统计学习统计学习（statistical lea
2016-03-07 16:45:24
554
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人