qq_35753140的博客

借鉴这篇博客，由于flink没有提供将DataSet写入kafka的API，所以自己写了一个。通过实现org.apache.flink.api.common.io.OutputFormat接口，参照JDBCOutputFormat，加入了自定义分区器。GithubKafkaOutputFormat.javapackage com.yngwiewang;import org.apache....

注意每次修改环境变量都要重启cmd本机运行需要hadoop common，可以从 github 下载 zip，解包以后设置 HADOOP_HOME 环境变量指向它，然后在 PATH 里加上 HADOOP_HOME\bin，特别注意，hadoop common 的版本要和 spark 的 hadoop 版本匹配spark 的 scala 和 本机的 scala 大版本要匹配Exceptio...

需求：用BucketingSink进行分桶sink，按照event time每小时一个分桶，即一个文件夹，方便Hive查询文件分桶说明在每个分桶文件夹内有若干文件，文件名为_part-8-0.in-progress或_part-81-0.pending或part-8-0，分别代表处于in-progress、pending和finish状态。文件关闭后就由in-progress转变到pen...

蜜蜂和熊的问题100只蜜蜂，2头熊，每只蜜蜂每次生产的蜂蜜是1，有一个罐子，容量是50罐子的蜂蜜量一旦到达20，熊就一次吃掉20注意问题生产和消费函数在等待结束执行完生产消费逻辑后要notifyAll()生产者和消费者执行完生产消费函数后要yield()以上两点可以保证蜂蜜到达20以后熊尽快开始消费，不然总是等到罐子满了熊才开始消费。代码App.java publi...

和尚吃馒头问题30和尚，100个馒头，每个和尚最多吃4个馒头，最少吃1个馒头，一次只能吃1个馒头。满足上述条件，尽快吃光馒头。注意合适没吃一个馒头之后要 yield()，不然他会连续吃满4个馒头才撒嘴。代码Monk.javaclass Monk extends Thread{ private String monkName; private Boss boss;...

之前做过基本的集合操作比较，例如循环向 list 追加元素，python 比 java 快，我想可能是因为 python 的基本容器数据类型经过 C 优化导致。再比较简单的多线程操作：1000 张票两个售票员线程卖票，结果是 python 多数在 600 多毫秒完成，java 多在 300 多毫秒多完成。代码：Java:Saler.javapublic class Saler exten...