
数据库
大数据架构师Pony
不勤于始,将悔于终。
展开
-
su: 警告:无法切换到目录/home/oracle: 权限不够-bash: /home/oracle/.bash_profile: 权限不够
给755权限:chmod 755 /home/oracle,再切换到oracle用户,即可成功!在使用linux服务器时,通过root用户切换到oracle时报错。查看目录权限: ls -ld /home/oracle。查看oracle用户情况:id oracle。原创 2022-09-06 14:17:21 · 4638 阅读 · 0 评论 -
mysql造数之随机函数
-- MySQL 获取11位手机号码(可以随机出现几位数的数字)SELECT CONCAT('1',CEILING(RAND()*9000000000+1000000000));-- 随机获取0或1SELECT FLOOR((RAND() * 2));-- 随机获取一条数据SELECT * FROM person ORDER BY RAND() limit 1;-- 随机删除90%的数据delete from users where rand() < 0.9-- 获取某.转载 2021-11-04 17:51:13 · 334 阅读 · 0 评论 -
mysql的binlog是什么,有哪些分类?
什么是binlog MySQL的二进制日志可以说MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。 一般来说开启二进制日志大概会有1%的性能损耗。二进制有两个最重要的使用场景:其一:MySQL Replication在Master端开启binlog,Master把它的二进制日志传递给slaves来达到master-slave数据一致的目的。 其二:自然就是数据恢复了,通过...原创 2022-02-21 13:48:41 · 546 阅读 · 0 评论 -
no appropriate protocol mysql......问题解决
原因:jdk1.8导致SSL调用权限有问题。解决:修改jdk的参数,删除三个参数:原创 2021-12-15 19:05:10 · 3079 阅读 · 0 评论 -
MySQL报错:data.too.long.for.column.xxx.at.row.1
MySQL报错:Data too long for column ‘xxx’ at row 1原因:xxx字段长度太短解决:增大xxx字段长度为200语句如下:ALTER TABLE table_name MODIFY COLUMN column_name VARCHAR(200);原创 2021-08-10 16:52:18 · 1437 阅读 · 0 评论 -
MySQL创建用户,设置密码时提示密码安全问题.
问题:create user maxwell@'%' IDENTIFIED by 'maxwell';ERROR 1819 (HY000): Your password does not satisfy the current policy requirements解决:SHOW VARIABLES LIKE 'validate_password%';set global validate_password_policy=LOW;set global validate_passwor原创 2021-08-24 09:30:33 · 790 阅读 · 0 评论 -
mysql远程登录失败,但是密码正确。
问题描述:mysql账号密码都正确,但是远程登录时,总提示密码错误。Access denied for user 'root'@'' (using password: YES) Access denied for user 'root'@'解决:重新初始化/usr/bin/mysql_secure_installation再次远程登录,即可成功!...原创 2021-07-27 16:14:38 · 773 阅读 · 0 评论 -
python解析日期格式
输入:20210519解析后:2021-05-19因为clickhouse里面toDate( ) 括号里是2021-05-19 这种类型# -*- coding: utf-8 -*-from clickhouse_driver import Clientimport datetime## --数据库连接函数,创建表client = Client(host='10.37.22.29', database='zxba', ..原创 2021-05-19 20:57:20 · 564 阅读 · 0 评论 -
clickhouse: db::exception: memory limit (for query)overed(超出内存限制)
问题描述:clickhouse进行复杂查询时,包含多个left join和group by,会报错:超出内存限制。原因:默认情况下,ClickHouse会限制group by使用的内存量,默认设置为9.31GB,由users.xml文件中max_memory_usage参数控制,可以分别为每个用户设置不同的内存量。解决:1.临时设置SET max_memory_usage = 128000000000; #128G,如果没有那么多的内存可用,ClickHouse可以通过设置这个“溢原创 2021-05-13 10:15:52 · 9888 阅读 · 0 评论 -
ClickHouse Merge合并时机问题
首先 Merge不是实时的,是后台定时任务去自动merge,只有在合并过程中才会出现重复数据删除,无法设置或掌控,一般merge时间是10-15分钟,但是如果某个分区一直不写入新的数据可能存在该分区一直不merge,这没发保证的。如果需要该分区merge,只能强制merge。强制merge建议带分区optimize TABLE sales_db.order_detail PARTITION (2020,202001) FINAL;1强制merge属于CPU性操作,会相当耗费CPU资源,建议在晚.转载 2021-05-12 16:40:51 · 7694 阅读 · 1 评论 -
mysqlxx::ConnectionFailed: Access denied for user ‘root‘@‘node01‘ (using password: YES) ((nullptr):
问题:远程对mysql进行一些连接或者其他操作时,报错:DB::Exception: mysqlxx::ConnectionFailed: Access denied for user 'root'@'node01' (using password: YES) ((nullptr):3306).原因:mysql没有开启远程连接解决:1.以root登录mysql2.use mysql;3.select * from user where User = 'root';..原创 2021-04-30 18:03:26 · 646 阅读 · 1 评论 -
the MaterializeMySQL engine requires default_authentication_plugin=‘mysql_native_password‘.
clickhouse同步mysql数据时,创建clickhouse的表时,报错:需要修改mysql的配置。发现是只读的。看下记录再去mysql的my.cnf 修改重启mysql再次在ck中创建表原创 2021-04-28 18:15:21 · 1634 阅读 · 0 评论 -
clickhouse性能测试并数据集下载(Star Schema Benchmark)附clickhouse官网
# 下载SSBM工具[root@node01]# git clone https://github.com/vadimtk/ssb-dbgen.git[root@node01]# cd ssb-dbgen[root@node01]# make生成数据[root@node01]# ./dbgen -s 100 -T c[root@node01]# ./dbgen -s 100 -T p[root@node01]# ./dbgen -s 100 -T s[root@node01]# .原创 2021-04-13 10:36:00 · 2404 阅读 · 0 评论 -
oracle数据库 ORA-01810: 格式代码出现两次 oracle中如何插入date类型的数据
oracle数据库插入date类型数据时,报错:格式代码出现两次原因:格式化字符串有问题,其中不应该将某个格式重复两次,否则Oracle就不知道要从哪个占位区间去解析该字段了,解决:正确的格式应该是这样的,用MI来代表分钟,而不是java中的mminsert into EV_SMSvalues('10001','1010','111','1111','1','1',to_date('2020/09/27 10:10:10','yyyy/mm/dd hh24:mi:ss'),'185.原创 2020-09-27 11:52:11 · 488 阅读 · 0 评论 -
SQL面试-开窗函数的使用
学生表------------------------------------------------------sno(学号) name gender enrolldate(入学日期)------------------------------------------------------1001 张三 男 200101011002 李四 女 200106151003...原创 2020-08-15 18:33:05 · 255 阅读 · 0 评论 -
SQL语句优化之like 的优化+性能优化
常量开头的like , 会利用index ,没问题SQL> select * from test_like where object_name like AS%';开头和结尾都是%,对不起,很难优化SQL> select * from test_like where object_name like '%%';以常量结束,直接写的时候是不能应用index的SQL> select * from test_like where object_name like '.原创 2020-06-16 13:22:09 · 6924 阅读 · 2 评论 -
vncserver多用户登录问题之拒绝连接
vncserver多用户登录问题之拒绝连接1.1:root用户可以登录,但是2:grid用户却登录失败!原因:2:grid用户没有进行密码设置或者配置文件 /etc/sysconfig/vncservers 有问题。vi /etc/sysconfig/vncservers修改配置文件如上图:只保留 VNCSERVERS=“1:root 2:grid” 这一行。重启vncserver服务:service vncserver restart重启使用vncClient客户端登录用户2:grid原创 2020-12-12 19:02:07 · 1657 阅读 · 0 评论 -
clickhouse性能测试之航空数据测试
https://www.cnblogs.com/gomysql/p/6655553.html原创 2021-02-03 10:08:49 · 222 阅读 · 0 评论 -
idea连接clickhouse
原创 2021-02-02 16:25:36 · 3540 阅读 · 0 评论 -
can not create replicated table without zookeeper -----clickhouse安装配置创建表出错!
解决:clickhouse配置文件config.xml配置好zookeeper的信息将修改后的配置分发到node02,node03机器上,并修改<macros>标签相应内容scp config.xml node02:/etc/clickhouse-server/config.xmlscp config.xml node03:/etc/clickhouse-server/config.xml...原创 2021-01-27 13:09:06 · 1543 阅读 · 0 评论 -
clickhouse离线安装和卸载
1 clickhouse简介Clickhouse 是一个开源的面向联机分析处理(OLAP, On-Line Analytical Processing)的列式存储数据库管理系统。优点 缺点 写入快、查询快 不支持事务 SQL 支持 不适合典型的 K/V 存储 简单方便,不依赖 Hadoop 技术栈 不适合 Blob/Document 存储 支持线性扩展 不支持完整的 Update/Delete 操作 深度列存储 非跨平台 向量化查询执行转载 2021-01-13 11:40:52 · 4786 阅读 · 2 评论 -
DBeaver下载
DBeaver 百度云下载,DBeaver下载速度慢官网链接:DBeaver CommunityDownloadDBeaver Community Edition 6.3.5DBeaver Community Edition 6.3.5 Windows 64 bit (installer)提取码:07p8DBeaverCommunity Edition 7.1.5DBeaver Community Edition 7.1.5 Windows 64 bit (installer) ..原创 2021-01-13 10:41:58 · 2850 阅读 · 0 评论 -
sql中 limit 2 , limit 2,3 , limit 2 offset 3 的区别
原创 2020-12-25 14:50:38 · 8892 阅读 · 2 评论 -
OGG工作原理(Oracle Golden Gate)
OGG是什么?是基于日志的结构化数据复制软件作用是什么?能够实现大量数据的实时捕捉、变换、投递。实现源数据库与目标数据库的数据同步。工作原理是什么?相关组件有什么?1.Manager负责OGG 整体的监控和管理(1).Trail文件的生成和删除(2).定期监控进程,负责进程的启动/停止2.Extract(Capture)(1).从redo 或 archive log获得DB变更信息,取得主键或唯一键的变更前后的值(2).以一定间隔读取REDO日志,原创 2020-12-25 09:30:41 · 3835 阅读 · 0 评论 -
ORACLE rac集群概念和原理
Oracle集群概念和原理Oracle的三种高可用集群方案1 RAC(Real Application Clusters) 多个Oracle服务器组成一个共享的Cache,而这些Oracle服务器共享一个基于网络的存储。这个系统可以容忍单机/或是多机失败。不过系统内部的多个节点需要高速网络互连,基本上也就是要全部东西放在在一个机房内,或者说一个数据中心内。如果机房出故障,比如网络不通,那就坏了。所以仅仅用RAC还是满足不了一般互联网公司的重要业务的...转载 2020-12-25 09:16:42 · 3089 阅读 · 0 评论 -
Oracle开启归档日志功能详细步骤
Oracle开启归档日志功能详细步骤1.查看oracle归档状态SQL> archive log list;数据库日志模式 非存档模式 //目前不是归档模式自动存档 禁用存档终点 USE_DB_RECOVERY_FILE_DEST最早的联机日志序列 27711当前日志序列 277132.关闭数据库SQL> shutdown immediate;3.启动数转载 2020-12-24 17:20:59 · 6895 阅读 · 2 评论 -
为什么ElasticSearch查询速度比mysql快?
数据查询速度对比分析(MySql + InnoDB)mysql:MyISAM索引原理:B+树查找InnoDB:InnoDB索引总结:mysql的磁盘IO次数太多ElasticSearch优化:尽量使数据先在内存中查询原创 2020-12-14 15:25:56 · 2439 阅读 · 0 评论 -
canal监控mysql数据库变化的问题--service mysqld start 失败
解决:/var/lib/mysql 目录下,删除所有mysql-bin.001 、、、 mysql-bin.index等文件!执行命令:rm -rf mysql-bin*原创 2020-10-11 23:00:52 · 277 阅读 · 0 评论 -
canal监控mysql变化的问题-NoNode for /otter/canal/destinations/example/cluster
原因:没有节点解决:到canal的安装目录下面,查看canal的配置文件,发现没有指定canal.zkServers的地址!canal.properties原创 2020-10-11 21:11:56 · 1314 阅读 · 0 评论 -
canal监控mysql数据库数据变化的巨坑!!
原理:canal监控mysql的数据库数据变化是根据数据库的binlog来监控的。问题描述:使用canal监控mysql数据库数据变化时,总是监控不到。解决:一路排查问题,确认不是其它问题后,去确认vim /etc/my.cnf 这个文件。添加上面三行,再次重启mysql。删除meta.data,重启canal,问题解决。meta.data文件,此文件记录了canal读取的日志文件的信息,测试,问题解决!查看监控的信息目录下 :/export/servers...原创 2020-06-19 14:05:07 · 4862 阅读 · 2 评论 -
数据库语句优化+数据库优化
原创 2020-06-06 20:32:26 · 201 阅读 · 0 评论