- 博客(8)
- 收藏
- 关注
RSS订阅原创 scala中父子类类型转换及引用
isInstanceOf：检查某个对象是否属于某个给定的类。asInstanceOf：将引用转换为子类的引用。classOf：如果想测试p指向的是一个Employee对象但又不是其子类，可以用if(p.getClass == classOf[Employee])，classOf方法定义在scala.Predef对象中，因此会被自动引入。如：if(p.isInstanceOf[Employee]){ val s = p.asInstanceOf[Employee]}与Java相比：s
2021-06-29 11:22:10
523
原创 Spark常用端口号
50070：HDFSwebUI的端口号8485:journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer的webUI的端口号4040：application的webUI的端口号2181：zook
2021-03-17 10:22:07
679
原创 flink on yarn 103错误浅析
背景： 1、flink on yarn： 错误日志exited with exitCode: -103 2、某一天本人提交flink任务，.原命令/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024，正常启动，我调大了-ytm为2048.程序一直报Deployment took more than 60 seconds. Please check if the requested resources are availab
2021-03-09 18:33:31
490
转载 2021-01-11
大数据组件中，Yarn是一个分布式管理系统，Zookeeper也是一个分布式管理系统，Yarn和Zookeeper的区别和联系是什么？ Yarn是一个分布式资源调度器组件。这个组件的主要作用是在每次接收到请求后，会查看当下的各个子节点的状况，统筹出运算资源的调度方案来保证任务可以顺利执行。通常来说，Yarn所调度的资源常常包括磁盘空间的资源，内存的资源和通讯带宽的资源等。Yarn是Hadoop V2.0开始引入的一个组件，这个组件是针对Hadoop1.0系统所爆露出的计算资源使用不合理等设计上的...
2021-01-11 22:22:46
104
转载 2021-01-08
面试问题：为什么RedisCluster会设计成16384个槽呢?神秘数字16384这个问题，作者是给出了回答的！地址如下:https://github.com/antirez/redis/issues/2576作者原版回答如下: The reason is:Normal heartbeat packets carry the full configuration of a node, that can be replaced in an idempotent way with the.
2021-01-08 18:46:09
91
原创 mapreduce推测执行目前版本的判定准则
目前版本的判定准则：对是否需要对一个任务启动新的执行实例的判断准则的更新也主要是为了解决上述的两个问题。那么上面的最早期版本的做法，作为改进对比，我们在这里就介绍下当前版本的Hadoop中对是否启动新的备份执行实例的判定的介绍。和早期版本相同的是，我们仍然对每个任务至多调度2个执行实例（默认参数设置）。但目前的Hadoop版本中的推测任务判定**重点关注新启动的备份任务是否有潜力比当前正在运行的任务完成得更早。**如果通过一定的算法推测某一时刻启动备份任务，该备份任务肯定会比当前任务完成得晚，那么启动该
2021-01-04 23:43:06
287
原创 Intellij idea启动tomcat项目，404问题解决
其实应该很多人都遇到过这个问题。主要的问题原因为：1、web.xml配置 servlet有问题。2、Jar包版本不对或有缺少。3、war打包的配置不对。主要是想说下 facets和Artifacts的配置还有tomcat的配置。下图是Facets的配置：PATH的路径一定得是你项目中web.xml的路径。注意：如果PATH这里配错的话，它会给你的项目自己创建一个对应目录的web.xml文件，导致很多人这里没有发现一直404.Web Resource Diectory的路径顾名思义，w
2020-12-28 12:34:40
5141
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人