码基的博客

#!/bin/bashts=$(date +%s%3N)list="/tmp/table2drop"touch $listecho > $listdeclare -A tbl_retentiondbs=$(hive -S -e "show databases" | grep -i -v -e 'default' -e 'database_name' -e 'tmp')for db in $dbs; do tbls=$(hive -S -e "show tables in

说明：数据库的分组算法有两种，sort group和hash group。前者需要会所有数据进行全局排序，然后在迭代每一条记录时，凡是与上一条记录不一致的，就划分为一个新组。后者则是直接对分组列计算hash值，相同的值会被hash同一组。MapReduce编程中reduce端shuffle就是典型的sort group。貌似现在传统型数据库的分组，以及hive在map端分组都采用的是hash...

Sampling Syntax 抽样语法Sampling Bucketized Table 分桶表抽样table_sample: TABLESAMPLE (BUCKET x OUT OF y [ON colname])The TABLESAMPLE clause allows the users to write queries for samples of the data instead...

学习笔记<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...

定义留存率：某天活跃用户，在之后几天是否活跃，一日留存率就是用户注册后第二天仍然活跃，以此类推，三日留存率，七日留存率。任务：计算某段时间内注册的用户的一日留存率，三日留存率和七日留存率。建表use default;show tables;create table register_tbl(user_id string,register_date string)row for...

Sub createTable() Columns(1).ClearContents Dim tableCount As Integer Dim fieldCount As Integer Dim fields As String Dim eachFieldCount As Integer Dim dt As String Dim f A...