技术
关注
分享
扫一扫
u4110122855
1.熟悉 Spark、 ElasticSearch、 Kafka、 Solr、 Impala等分布式开源组件
2.熟悉 Spark、 MapReduce 计算框架和工作原理，了解Tez框架
3.熟悉 Scala、 Java、C/C++等编程语言，了解html语言
4.熟悉 Linux 操作系统，能够使用Shell脚本语言编程
5.灵活使用 MySql， Oracle， MS SQL Server 等关系数据库
6.熟悉 Cloudera Hadoop 和纯粹开源 Hadoop 版本的组件
7.有较为丰富的集群部署、开发和维护管理经验
展开
-
备忘录方法
动态规划算法的一个变形是备忘录方法。备忘录方法也用一个表格来保存已解决的子问题的答案，在下次需要解决此问题时，只要简单地查看该子问题的解答，而不必重新计算。与动态规划算法不同的是，备忘录方法的递归方式是自顶向下的，而动态规划算法则是自底向上递归的。因此，备忘录方法的控制结构与直接递归方法的控制结构相同，区别在于备忘录方法为每个解过的子问题建立了备忘录以备需要时查看，避免了相同子问题的重复求解。原创 2013-01-02 22:33:52 · 3359 阅读 · 0 评论 -
动态规划算法与分治算法思想
动态规划算法与分治法类似，其基本思想也是将待求解问题分解成若干子问题，先求解子问题，然后从这些子问题的解得到原问题的解。与分治法不同的是，适合于用动态规划法求解的问题，经分解得到的子问题往往不是相互独立的。若用分治法来解这类问题，则分解得到的子问题数目太多，以至于最后解决原问题需要耗费指数时间。然而，不同子问题的数目常常有多项式量级。在用分治法求解时，有些子问题被重复计算了许多次。如果我们能够保存原创 2013-01-02 11:55:42 · 3342 阅读 · 0 评论 -
让CPU占用率曲线听你指挥
能帮助你了解当前线程/进程/系统效能的API大致有以下这些。sleep（）---这个方法能让当前线程“停”下来。waitForSingleObject()----自己停下来，等待某个事件发生。GetTickCount()QueryPerformanceFrequency(), QueryPerformanceCounter（）让你访问精度更高的cputimeGetSystemTime原创 2013-01-10 16:47:44 · 506 阅读 · 0 评论 -
Hadoop对各个节点的角色定义
Hadoop分别从三个角度将主机划分为两种角色。第一、最基本的划分为Master和Slave，即主人和奴隶；第二，从HDFS的角度，将主机划分为NameNode和DataNode（在分布式文件系统中，目录的管理很重要，管理目录相当于主人，而NameNode就是目录管理者）；第三，从MapReduce的角度，将主机划分JobTracker 和TaskTracker(一个job经常被划分为多个Task转载 2014-04-28 15:22:22 · 7179 阅读 · 0 评论