光尘的博客

select date_format(date_sub(current_date(), 90), 'yyyymMdd')select date_format(date_sub(current_date(), 90), 'yyyy-mM-dd')

hadoopApache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机集群的大型数据集的分布式处理。它被设计成从单个服务器扩展到数千台机器，每个机器提供本地计算和存储。数据文件被分成多个块存储在各个计算机上，提供冗余备份机制。这就是HDFS分布式文件存储系统。 hadoop集群上的每台计算机都有自己的cpu，充分利用这些cpu进行并行计算。这就是mapreduce。Hive基于hadoop的数据仓库工作，可以将结构性的数据映射成一张数据库表，提供HiveQL语句（类sql）

一、通过hash key和range keyimport gzipfrom pysnap import settingsfrom pysnap.aws import dynamodbclass DynamodbSearch(): @staticmethod def search(harsh_key, range_key): table = sett...

参考：https://blog.youkuaiyun.com/junhongzhang/article/details/90056539

简介1、索引的作用：因为数据中的记录很多，为了方便我们查找，提高查询的效率；2、索引的原理：对要查询的字段建立索引其实就是把该字段按照一定的方式排序； 建立的索引只对该字段有用，如果查询的字段改变，那么这个索引也就无效了，比如图书馆的书是按照书名的第一个字母排序的，那么你想要找作者叫张三的就不能用该索引了； 如果索引太多也会降低查询的速度3、索引是优缺点：首先明白为什...

逻辑架构图​​​​

创建单分区：create table day_table(id int, content string)partitioned by (dt string)row format delimited fields terminated by ',';创建多分区：create table bigdata_jr.e_hb_zk (rysecret string)partitioned by (dt string, rule string)row format delimited field

查询指定日期时间中的日期。返回2017-02-08to_date('2017-02-08 11:15:50')

查询存在一个表而不在另一个表中的数据记录方法一：使用 not in，仅适用单个字段，效率低select A.ID from A where A.ID not in (select ID from B)方法二：适用多个字段匹配，效率中使用 left join...on... , "B.ID isnull" 表示左连接之后在B.ID 字段为 null的记录select A.ID ...

查看已启动服务器ps -ef | grep mysqld管理数据库mysql -u root -puse mysql;FLUSH PRIVILEGES;SHOW DATABASES; // 查看所有数据库SELECT DATABASE(); // 查看正在使用的数据库SHOW TABLES;SHOW COLUMNS FROM runo...