Rango_lhl的博客

一、sqoop同步oracle数据非clob字段：要处理换行符，在sqoop脚本中，参数使用下面任意一个即可#替换为空 --hive-delims-replacement "" #删除--hive-drop-import-delims 二、sqoop同步oracle数据clob字段clob字段一般包含大量文本，必然包含换行符，使用上面参数没有作用，需要使用下面参数：#指定clob列为String类型--map-column-java CLOB列=String 例子如下：orac

本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：1.先分享一下拉链表的用途、什么是拉链表。2.通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。3.举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表(因为现在Hive的大规模使用，我们会以Hive场景下的设计为例)。4.分析一下拉链表的优缺点，并对前面的提到的一些内容进行补充说明，比如说拉链表和流水表的区别

把Flume Source（netcat类型），从终端上不断给FlumeSource发送消息，Flume把消息汇集到Sink（avro类型），由Sink把消息推送给Spark Streaming并处理后输出版本信息：spark2.4.0 Flume 1.7.0（基于pyspark）一、Flume安装①、文件导入# 将apache-flume-1.7.0-bin.tar.gz解压到/usr/local目录下sudo tar -zxvf apache-flume-1.7.0-bin.tar.g.

数据库小知识学习系列问题：MySQL InnoDB中，select where xxx=123 for update；该xxx没有索引，是使用表锁还是全部数据加行锁？答：InnoDB引擎（默认RR隔离级别）中的行级锁是依赖索引实现的，问题条件xxx为非索引字段，所以使用的是表锁。如若隔离级别为RC，则通过 where 条件走非索引列过滤之后（where xxx=123），不符合条件的记录上的行锁，会释放掉。也就是先表锁后释放非过滤条件的行锁。ps：如果是Oracle，由于默认使用RC隔离，效