ck3207的博客

工作中，有时候会遇到分享本地数据库给同事使用的情况。下面是可能用到的一些操作。相互借鉴。分配用户权限格式分配用户权限时，可以控制用户对数据的增删改查等，也可以控制用户只可以查看数据库中的具体表GRANT ALL PRIVILEGES ON database.table TO user@ip IDENTIFIED BY 'password';eg:GRANT SELECT, INSE

手动在hive表插入数据时，需特别注意两点：1、hive表不可以指定字段插入2、如果hive表是分区表，插入数据时，需指定分区下面以分区表为例，插入数据：查看表结构hive> show create table acct_wt_user_avg_stock_hold_days;OKCREATE EXTERNAL TABLE `acct_wt_user_avg_stock_hol...

over窗口函数的基础部分在上一篇文章中已经介绍过（参考文章：https://blog.youkuaiyun.com/ck3207/article/details/84329207）。下面来讲一讲over窗口函数的其他灵活的用法。即，统计当前行的前N行及后N行数据。先来看一下数据的组成：SELECT name, "ID" FROM CLIENT order by "ID";结果为：3 1ck2 2...

impala插入数据的时候，出现报错：[hs-170:21000] > insert into test_abc(fund_account, client_name, client_sex) values('1234567890123456789001', 'name1', '0');Query: insert into test_abc(fund_account, client_nam...

over() 是一个常用的函数，不管在oralce 还是大数据hive-sql 都支持。最近在看SQL的时候，才发现，自己以前的理解与over()实际使用有一定的偏差。使用over（order by xxx） 按照xxx排序进行累计，order by是个默认的开窗函数over（partition by xxx）按照xxx分区over（partition by xxx order by xx...

通过navicat连接oralce数据库时，发现弹出报错：ora-00257 archiver error. connect interval only,unit freed。 经查询，大致定位为日志满了，需要清理日志。 1、以oracle身份登录数据库su - oracle2、进入Sqlplus控制台sqlplus /nolog3、以系统管理员登录connec...

接上一篇文章hbase的基本操作，做进一步深入。细想一下，使用put命令插入数据到hbase，使用get方法从hbase读取数据还是有诸多不方便。显然，NO SQL数据库在某些操作上还是没有支持SQL的数据库更加便捷。那么，是否可以将hbase与什么关联一下，既支持hbase的NO SQL又保留SQL的一些特性？答案是hbase与hive关联可以实现上述需求。如何关联关联前，先创建hbas...

HBase是一个分布式的、面向列的开源数据库。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 Hbase的组成结构可用表形容： hbase是一张表：表中有一个唯一键是 row key, 每个row key 对应 N（N >= ...

在一台208服务器上，原本安装了一个mariadb数据库，应开发人员要求，需安装一个版本稍高mysql数据库。208服务器是centos,内置有mysql5.1版本，想着先卸载mysql5.1然后安装一个mysql5.6版本的数据库。 操作如下： 检测系统是否自带安装mysql：yum list installed | grep mysql若存在，先关闭数据库：service ...

遇到一个需求，需要计算hive库中，某资产近一个月的资产值。 比如：今天是2018年2月28日，近一个月若是按照自然月来算，那么是2018年2月1日至2018年2月28日。最终需要的日期格式为：yyyyMMdd。当日时间戳unix_timestamp() 方法可得到当前时间的时间戳。上月今日使用 add_months(日期，N) 函数可将日期往前、往后推N个月。主要有两种格式： ...

推荐理由：一、解决csv文件导入mysql数据库的问题。二、解决导入数据中文乱码情况。拿到一份csv文件，有八个csv文件，每个csv文件的数据需要导入数据库对应表。常用的navicat for mysql工具支持导入。 1、右键需要导入数据的表，点击“导入向导”，弹出如下弹框。看了一眼，导入类型并没有我们需要的csv文件格式（注：Navicat Premium 11 支持csv导入格式）。双击打

最近项目需要对hadoop-cdh进行性能测试，由于是大数据处理方面，造数据就显得很重要了。造数据前，想到了两种造数据方法。一种是用之前测试时写的造数据脚本造数据。另一种是在数据库现有的基础上造数据。前一种方法是通过python脚本写的，主要是为测试方便写的，时间方面肯定会大大加长。另外很重要的原因，脚本并没有对所有表写了造数据的方法。 刚好有券商提供的测试数据，可以作为基础数据。在基础数据上，再

需求最近需要创建几个库，源sql是从oracle数据库导出的，需写入到mysql数据库内。oracle所有字段都是大写的，但是mysql所有字段都是小写的。为统一，mysql数据库的字段都需要是小写的。 例如：有这么一个表 his_price表，oralce导出sql是这样的：CREATE TABLE `his_price` ( `EXCHANGE_TYPE` varchar(4) NOT N

MySQL数据库支持两种集合操作：UNION DISTINCT和UNION ALL。 UNION DISTINCT组合两个输入，并应用DISTINCT过滤重复项，一般可以直接省略DISTINCT关键字，直接使用UNION。 在多个SELECT语句中，对应的列应该具有相同的字段属性，且第一个SELECT语句中被使用的字段名称也被用于结果的字段名称。建表数据为了更好的理解，造了下面mysql的两张表和一

今天配置mycat时，发现新配置的mycat库 访问报错：invalid datasource:0ERROR 3009 (HY000): java.lang.IllegalArgumentException: Invalid DataSour经排查，发现是mycat配置了yunying1-4, 但是mysql中实际是 yuying1-4。明显是建库的时候，少了一个字母，原本想建 yuny...