Black&White的专栏

问题描述： 有个业务需求，统计某个时间点之前数据库中的数据，不传时间的话就统计所有，接口写完之后做了两个测试，分别是不传时间和传当天晚上23:00的时间，当天晚上23：00属于未来时间，两次统计的记录数应该是一样的才对，可事实是两者不一致。 传23:00的时间的统计数据每次统计的结果是一样的，比不传时间统计的数据要少，不传时间每次统计的数据都是不一样的，因为数据库的数据一直在变，所以23:00的时间统计的一直是某个历史时间的数据，因为统计结果每次都一样，当时下意识看了下时间，是17点多，而公司的业务除了国内

Hive下载 hive下载地址：http://mirror.bit.edu.cn/apache/hive/ 解压到/usr/local：tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/ 重命名：mv apache-hive-2.3.4-bin/ hive-2.3.4 修改环境变量并保存 /etc/profile：vim /etc/profi...

分析 ： 访问权限问题 解决 ：在hadoop的conf目录下的配置文件core-site.xml中加入如下配置 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> &...

CommitFailedException，顾名思义就是Consumer客户端在提交位移时出现错误或异常，还是那种不可恢复的严重异常。 报错： Caused by: org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebal...

环境： CDH-5.14.2-1.cdh5.14.2.p0.3 问题描述： 添加Hive服务时，部署hdfs,yarn,hbase,kafka,spark2,hive的client配置时报错如下。 解决方案： 首先解决第一个问题 JAVA_HOME is not set and could not be found. 命令行查看，确实配置了JAVA_HOME: [root...

环境： CDH集群 问题描述： Cloudera Manager 监控HDFS爆红 Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录 Missing blocks Currupt blocks 解决方案： 以上问题描述都是hdfs丢失块或者块损坏造成，当hdfs丢失块时，hdfs会进去安全模式，只能...

环境： Windows 10 x64 1903 VMware Pro 15.0.1 问题描述： 通过Vmware 15 Pro安装了三台虚拟机，关机重启时，有一台机器启动直接黑屏，任务管理器显示占用内存和CPU都很高，且Vmware Workstation VMX进程无法被结束，以管理员身份运行CMD通过taskill结束进程，返回找不到相应pid的进程。 通过禁用有关vm的服务，关...