留歌__36的博客

CREATE TABLE `test_duplicate_key` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键id', `name` varchar(255) DEFAULT NULL, `age` int(11) , PRIMARY KEY (`id`), UNIQUE KEY `name_idx` (`name`)) ENGINE=InnoDB;select * from test_duplicate_key1

写在前面今天看见群里有小伙伴在问sql中on&where有啥区别，似乎都能实现过滤数据的效果，但又感觉又不太一样，始终有点理不清。这不，这里简单记录下我的理解。如果有误，欢迎指正~笔芯结论就是：1.on先过滤数据再进行表的连接，where先连表得到临时查询结果 最后再对结果进行过滤2.on 后面的过滤条件只会影响当前表的行数，而如果把这个从表的筛选条件 放在了where里面，这样就会影响主表的返回行数所以，也是比较多的场景是：拿left join 举例，如果你需要返回左表的全部数据，这

(2021) [root@hadoop001 airflow]# airflow db initTraceback (most recent call last): File "/root/.virtualenvsi/2021/bin/airflow", line 5, in <module> from airflow.__main__ import main File "/root/.virtualenvsi/2021/lib/python3.9/site-packages/

写在前面之前我在本地创键Hive表的时候一般都是以textFile格式进行存储的，最近玩的一些大表确实占用空间的，就想着Parquet格式存储+Snappy压缩来实现数据的存取。殊不知，Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path于是我检查了下本地环境：➜ ~ hadoop checknative20/12/20 12:00:33 WARN util.NativeCodeLoader:

问题描述：在时钟同步额时候，出现：[root@GaussDB200 ~]# ntpdate ntp1.aliyun.com 5 Jul 01:32:56 ntpdate[2154]: the NTP socket is in use, exiting[root@GaussDB200 ~]# the NTP socket is in use, exiting解决：[root@GaussDB200 ~]# service ntpd stopRedirecting to /bin/systemc

写在前面在实际开发中，我遇到一个场景：将源数据读取进来，加载为DataFrame之后，其中一个处理步骤是，需要将某一列的数据单独提取出来作为一个数组，然后传递给后面的udf()函数。需求：读取的是日期字段列，因为在数据仓库中，各个数据表的数据形态是不一致的，每种数据形态都有自己的日期字段，一般来说：比如，快照表我们的日期字段可能是DW_XX_DT。这个就看自己公司如何定义了。我这里遇到的情况是：日期字段列中有空字符串""（读出来是null），还有中文字符"为空",然后还有DW_XX_DT 或 Dw_x

写在前面因为我有在维护一个之前帮别人做的项目，然后，时常可能会有一些小的需求改动。就需要我每次把项目代码拉下来，小小的调试修改。搞不懂，每次我在启动前端项目的时候，总会有这样那样的惊喜~嘿呀，咋搞呢？我又不是专业的前端，我只能见一次尝试解决一下了。可能有的小伙伴也会遇到同样的问题，为了快速过坑 ，我就把我的错误记录下来，希望能够帮助到你。回到主题：错误解析：Node Sass找不到当前环境的绑定，我的node 好像是12，node-sass版本还是适配的node 8 ?是这样样吗？报错中，也说

问题说明我在使用JPA作为项目的ORM框架的时候，在分页查询中，不管咋样使用查询不出来数据，然后发现Hibernate构建的查询SQL中，在where子句中带上了createTime=0这个条件。这样肯定是过滤掉了全部数据了。疑问：为啥这里Hibernate会在SQL中 自动加上这个createTime=0 这个条件呢？很奇怪~~直到我看见 在这里实例化的对象中，对象的createTi...

写在前面我在直接下载https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz解压使用会出现几个bug，之前也是出现了，然后也没有来记录一下。现在记录一下.问题1. 第一个，你要把mysql驱动包放在lib目录下。不然会报找不到驱动包的错误问题2. Exception in thread “main” java.l...

Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-参照这个开始解决：You will also notice that ...

写在前面在我使用spark对接kudu的过程中，出现如下错误：Caused by: org.apache.kudu.client.NoLeaderFoundException: Master config (192.168.1.117:7051) has no leader.Exceptions received: org.apache.kudu.client.RecoverableExce...

写在前面有天早上我的一个同事，突然跑来告诉我。我们某张表的自增ID变得很大。类似1173776258468638722 这种。这个当然是不能接受的啊。着手解决然后就开始找问题的原因，一开始我想的是数据库上的问题，我删掉不合理的数据，alter table *** AUTO_INCREMENT=20，修改自增ID从20开始。手动插入数据，居然OK。那就说明，可能是我们代码insert数据的...

想问一个问题：Spark Streaming 如何保证有序消费 kafka数据？topic多分区如果是全局有序 kafka只有在单partition才生效，多partitions不支持全局有序，或者比较难;如果是局部有序 可以利用 相同的key映射到同一个partition的特点 保证 key内有序,例如：指定key（比如order id），具有同1个key的所有消息，会发往同1个pa...

Caused by: java.lang.RuntimeException: java.lang.Integer is not a valid external type for schema of string

gotten and still exists when having issued:sudo service hive-server2 restartsudo -u hdfs hadoop dfsadmin -safemode leaveservice hive-metastore restartnetstat -tanp | grep 10000

问题描述：I’m running: ./gradlew clean build installDistazkaban.executor.ExecutorDaoTest > classMethod FAILED java.sql.SQLException: Table "EXECUTION_LOGS" already exists; SQL statement: CREAT...

前置说明：在研究别人的开源项目的时候，本地安装安装好项目依赖。运行npm run start ,出现如下- vue@2.5.2 (D:\IDEA_Work\fulingfront\node_modules\_vue@2.5.2@vue\dist\vue.runtime.common.js)- vue-template-compiler@2.6.10 (D:\IDEA_Work\fulingf...

写在前面一天早上，同事和我讲说，服务器好像无法写入数据进去了。似乎是磁盘满了，然后叫我找一下原因，解决一下，，，然后我就只有开始弄诺。。。df -lh 发现/挂载点确实饱满了，达到use100%，这样当然没法用了第一步找到大文件https://newsn.net/say/centos-find-bigfile.html（如何查找大文件）我先把大于1G的文件按降序排出来find /...

kafka读取数据到sparkstreaming是遇到以下这个错误java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute解决方法：tranformation最后一步产生的那个RDD必须有相应Action操作，例如massage...

Exception in thread “main” org.apache.spark.SparkException: java.nio.channels.ClosedChannelExceptionorg.apache.spark.SparkException: Couldn’t find leader offsets for Set([test,0])

写在前面由于前同事留下的一个爬虫项目，爬虫主要爬取别的系统的数据来支撑我们的数据大屏。同事留下的是在本地算是基本开发完毕的爬虫项目。我需要做的就是将项目部署上线在服务器上就可以了。但是因为我也刚更新设备，就记录一下我的整个流程。代码是python3的写的，但是Mac OSX系统自带的是python2版本的。所以就想着就使用双Python版本就可以啦。一.安装Python3前置：安装好Ho...

在用SparkStreaming对接Kafka的过程中，遇到上面的问题。大概就是说，无法连接到Kafka,这样Broker就不能得到了。解决：1.看你的对接的kafka机器的9092端口是否被放出来2.你启动的kafka（Broker）参数/配置文件listeners=PLAINTEXT://192.168.1.116:9092这个参数要和你代码中的保持一致才行3.再就是可能你的to...

问题说明：一般来说，我编写Spark,MapReduce程序都是会在本地IDEA中进行，开发。本地跑通了，才会把代码放到集群上去跑。当我在运行一个简单的Spark Job 的时候，控制台出现如下的错误：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries....