qq_14950717的博客

最近在项目里面需要从kafka推送的数据读取数据，spark streaming处理，由于推过来的是Json字符串，需要转换成dataFrame做进一步处理，但是Json字符串字段很多，而且还不固定；我想转换代码如下： val NewsDF = sqlContext.createDataFrame(NewsRdd,classOf[News])但是怎么吧json字符串转换成JavaBean呢

在项目中，我从mongodb中查询数据出来，经过一些处理，将结果放在集合里面，将这些信息封装在一个javabean里面，然后需要经过排序返回给前端页面；示例代码：package fl;/** * Created by MCYarn on 2016/12/26. */public class person { private String name = ""; private i

项目中用到了 elasticsearch（一个开元的搜索引擎，和solr一样都是基于lucene实现的），从es中读取的数据，放在一个map中，由于是从多个index读取的数据，而且里面有一些脏数据，我想过滤掉这些数据，但是不知道该用es怎么去操作，只好在map里面去过滤了。测试例子：Map<String,String> map = new HashMap<String,String>();

Random类 (java.util) Random类中实现的随机算法是伪随机，也就是有规则的随机。在进行随机时，随机算法的起源数字称为种子数(seed)，在种子数的基础上进行一定的变换，从而产生需要的随机数字。相同种子数的Random对象，相同次数生成的随机数字是完全相同的。也就是说，两个种子数相同的Random对象，第一次生成的随机数字完全相同，第二次生成的随机数字也完全相同。

Scala中操作Java集合 两种情况需要在Scala中操作Java集合。一种是Scala调用了其他的Java库，针对Java集合需要转换为Scala集合，如此才能享受Scala集合提供的福利；另一种是编写了Scala程序，但需要提供给Java库，为了更好地无缝集成，要让Java库体会不到Scala的存在。 Scala调用Java库 我在编写spark批量导入mongodb的程序中，用到伪代码