Black&White的专栏

问题描述：有个业务需求，统计某个时间点之前数据库中的数据，不传时间的话就统计所有，接口写完之后做了两个测试，分别是不传时间和传当天晚上23:00的时间，当天晚上23：00属于未来时间，两次统计的记录数应该是一样的才对，可事实是两者不一致。传23:00的时间的统计数据每次统计的结果是一样的，比不传时间统计的数据要少，不传时间每次统计的数据都是不一样的，因为数据库的数据一直在变，所以23:00的时间统计的一直是某个历史时间的数据，因为统计结果每次都一样，当时下意识看了下时间，是17点多，而公司的业务除了国内

Hive下载hive下载地址：http://mirror.bit.edu.cn/apache/hive/解压到/usr/local：tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/重命名：mv apache-hive-2.3.4-bin/ hive-2.3.4修改环境变量并保存/etc/profile：vim /etc/profi...

分析 ： 访问权限问题解决 ：在hadoop的conf目录下的配置文件core-site.xml中加入如下配置<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> &...

CommitFailedException，顾名思义就是Consumer客户端在提交位移时出现错误或异常，还是那种不可恢复的严重异常。报错：Caused by: org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebal...

环境：CDH-5.14.2-1.cdh5.14.2.p0.3问题描述：添加Hive服务时，部署hdfs,yarn,hbase,kafka,spark2,hive的client配置时报错如下。解决方案：首先解决第一个问题JAVA_HOME is not set and could not be found.命令行查看，确实配置了JAVA_HOME:[root...

环境：CDH集群问题描述：Cloudera Manager 监控HDFS爆红Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录Missing blocksCurrupt blocks解决方案：以上问题描述都是hdfs丢失块或者块损坏造成，当hdfs丢失块时，hdfs会进去安全模式，只能...

环境：Windows 10 x64 1903VMware Pro 15.0.1问题描述：通过Vmware 15 Pro安装了三台虚拟机，关机重启时，有一台机器启动直接黑屏，任务管理器显示占用内存和CPU都很高，且Vmware Workstation VMX进程无法被结束，以管理员身份运行CMD通过taskill结束进程，返回找不到相应pid的进程。通过禁用有关vm的服务，关...