longlovefilm的博客

1 spring中bean转json时首字母、第二个字母是大写变小写的问题需要在实体pojo类中的字段定义加上注解。这个跟javaBean相关规范和lombok的转化有关系，还会影响get/set方法，必要时需要重写get/set方法。 /** * 组织类型id 2分校；6管理组；3学科组；4教学组 */ private String orgTypeId...

ALTER TABLE `cdb_user_group_org_mapping` add ( `status` tinyint(1) unsigned NOT NULL DEFAULT '1' COMMENT '数据有效性 0 无效 1 有效', `create_time` varchar(80) DEFAULT NULL COMMENT '创建时间',...

1、 src/redis-cli -h 192.168.1.81 -p 6379 -a password2进入hive client前设置队列权限hive --hiveconf mapreduce.job.queuename=root.jiaoguan.xesoa进入hive_client后设置队列权限set mapreduce.job.queuename=root.budata...

select count(distinct(stu_id)) from xxx "aggs": { "count": { "cardinality": { "field": "stu_id" } } },select distinct stu_id from xxx "aggs": { "zcl": {...

1 select count(*) as num from tableName groupby class_id having num > 50000{ "query": { "bool": { "must": [], "must_not": [], "should": [] } }, "aggs": { "AsC...

1 查看yarn 日志yarn logs -applicationId application_1524544136087_10502 -appOwner hadoopuser1 查看操作日志（当前用户的目录下）[ads@bj-sjhl-data-devp-online-23-24 20:43:55 /home/ads]$ cat .hivehistory2 查看本地目录文件（h...

一、关于acks、retries、replication.factor、min.insync.replicasProducer在发布消息到某个Partition时，先通过ZooKeeper找到该Partition的Leader，然后无论该Topic的Replication Factor为多少（也即该Partition有多少个Replica），Producer只将该消息发送到该Partiti...

环境：elasticsearch 1.7java 1.8scala 2.11.8sbt 1.2.6spark 2.3.2代码package eximport org.apache.spark.sql.SparkSessionimport org.elasticsearch.spark.rdd.EsSparkimport org.elasticsearch.spar...

集群的spark还没有用起来，自建一个单机spark,然后连接本机的kafka生产者消费消息。idea+spark scala代码package eximport org.apache.spark.SparkConfimport org.apache.spark.streaming.Secondsimport org.apache.spark.streaming.Stre...

题记Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。有了数据后，我们就需要对数据进行检索操作。根据实际开发需要，往往我们需要支持包含但不限于以下类型的检索：1）精确匹配，类似mysql中的 “=”操作；2）模糊匹配，类似mysql中的”like %关键词% “查询操作；3）前缀匹配；4）通配符匹配；5）正则表达式匹配；...

https://blog.youkuaiyun.com/ly262173911/article/details/75127339http://www.cnblogs.com/duyinqiang/p/5696253.html1 选蓝色字体方案，不要选红色方案。具体解释见下方文字：为了减少db的读压力，加快读速度，系统使用cache做缓存，会引起cache一致性问题。因为db会有事务性导致回滚，而c...

ES操作还是应该看官网api指南，这里写了几个自己用到的，作为总结记录。https://www.elastic.co/guide/en/elasticsearch/reference/5.1/search-aggregations-metrics-top-hits-aggregation.html1聚合索引中字段stu_num的数量（groupby）,min_doc_count代表每一...

1 聚合搜索的字段如果是求和的情况下，字段不能为string类型，那么排序时字段要求是不是也一样呢？ 

横轴是读取redis的key的数量，纵轴是时间。绿色是pipline方式，蓝色是单次读取，红色是mget方式读取。此图在相同环境下运行时间对比，包含连接redis和读取时间，有比较意义。{0: {1000: 0.05, 20000: 0.41, 40000: 0.74}, 1: {1000: 0.23, 20000: 3.93, 40000: 7.73}, 2: {1000: 0.03, 20...

1 删除特定的字段db.yourcollection.update({},{$unset:{"需要删除的字段":""}},false,true)