- 博客(105)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sed 进行行合并
s/\n/ /' input.txt # 直接修改文件。s/\n/ /' input.txt # 备份后修改。从第1行开始，每隔一行（即处理所有奇数行）执行合并操作，效果与上述命令一致。s/\n/\t/' input.txt # 用制表符连接。s/\n/,/' input.txt # 用逗号连接。：将合并后的两行之间的换行符替换为空格（可替换为其他字符，如逗号。如果文件总行数为奇数，最后一行会单独保留（不会被合并）。将文件的第1行与第2行合并、第3行与第4行合并，以此类推。
2025-04-01 11:19:42
265
原创 MongoDB 的索引是提高查询性能的核心机制，类似于传统关系型数据库的索引。以下是对 MongoDB 索引的详细说明：
MongoDB 的索引是提高查询性能的核心机制，类似于传统关系型数据库的索引。db.collection.dropIndexes() // 删除所有索引（保留 _id 索引）db.collection.dropIndex("indexName") // 删除指定索引。db.collection.reIndex() // 重建所有索引（慎用，可能阻塞操作）稀疏性控制：稀疏索引（sparse: true）仅对存在该字段的文档创建索引。
2025-03-25 15:40:22
566
原创 clickhouse 数据导入导出操作
在ClickHouse中处理CSV和TSV数据ClickHouse支持从CSV导入和导出数据。由于 CSV 文件可以具有不同的格式细节，包括标题行、自定义分隔符和转义符号，因此 ClickHouse 提供了格式和设置来有效地解决每种情况。从 CSV 文件导入数据在导入数据之前，让我们创建一个具有相关结构的表：CREATE TABLE sometable( `path` String, `month` Date, `hits` UInt32)ENGINE = MergeTre
2024-01-16 10:49:18
4722
原创 mysql8.0 设置用户密码
select user,host ,authentication_string from user where user='bi_analysis';create user 'analysis'@'10.200.%' identified with mysql_native_password as '*4E3929455421BE180418FC522395343DC';grant select on tms.* to 'bi_analysis'@'10.200.%';show grants f
2023-11-23 15:32:49
189
原创 AnalyticDB for PostgreSQL 实时数据仓库上手指南
AnalyticDB for PostgreSQL 提供企业级数据仓库云服务，基于开源Greenplum构建，采用MPP架构，支持1000+节点PB级数据的实时分析。通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等，同步交易库数据 到 ADBPG，构建实时数仓。批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG，支撑在线交互分析。数据按冷热分析，支持在线查询OSS分布式云存储上的格式化数据。
2023-11-23 13:45:59
1351
原创 time 模块这一篇就够了
在python中，通常有三种方式来表示时间： 时间戳、元组（结构化时间，（struct_time))、格式化的时间字符串。*** 把字符串转换成功时间戳 或者把时间戳转换成字符串格式*** ，借助中间格式：时间元组格式。需要把给定的多个格式化时间转换成时间元组，再有时间元组转换成时间戳进行数字的大小比较。需要把时间戳格式转换成时间元组格式，再由时间元组的格式转换成时间字符串格式。结构化时间 (struct_time 元组共有9个元素。时间戳 （timestamp）把格式化时间 转换成时间戳。
2023-03-27 18:15:58
470
原创 time datetime模块 一篇精通
在python中，通常有三种方式来表示时间： 时间戳、元组（结构化时间，（struct_time))、格式化的时间字符串。*** 把字符串转换成功时间戳 或者把时间戳转换成字符串格式*** ，借助中间格式：时间元组格式。需要把给定的多个格式化时间转换成时间元组，再有时间元组转换成时间戳进行数字的大小比较。需要把时间戳格式转换成时间元组格式，再由时间元组的格式转换成时间字符串格式。结构化时间 (struct_time 元组共有9个元素。时间戳 （timestamp）把格式化时间 转换成时间戳。
2023-03-26 19:22:47
345
原创 全表扫描优化
select id, dict_code, word, synonym from nlpff_dictionary_word limit 150000, 30000；SELECT `nlpff_dictionary_word`.`id`, `nlp_dictionary_word`.`dict_code`, `nlp_dictionary_word`.`word`, `nlp_dictionary_word`.`synonym`FROM `nlpff_dictionary_
2023-03-24 17:07:12
150
原创 clickhouse 在使用普通用户登录后执行select分布式表时报错：default： Authentication failed : password is incorrect or no
clickhouse 权限设置用户管理
2022-08-30 16:12:46
1716
原创 Linux overcommit_memory Transparent HugePages 内核参数说明
linux 系统内存管理核心参数overcommit_memory
2022-07-14 08:47:41
363
原创 Mongo 服务器上的 CPU 使用率很高，但 Mongo 似乎处于空闲状态
设置：我们在 4.2.13 版本中运行 MongoDB。副本集，主副本和两个副本。服务器有 4 个 CPU 和 16 GB 的 RAM（m5.xlarge 实例和 gp2 磁盘）并且只专用于 Mongo。Primary 主要用于写入，而我们的读取主要从副本执行。我们正在运行 Mongo，默认配置和 transactionLifetimeLimitSeconds 设置为 900。问题：在负载测试期间，我们经常遇到主节点卡住的情况。平均负载变为 ~9 ）并且通过观察 mongotop 和 mongostat
2022-06-30 14:03:46
1272
原创 clickhouse 在导入csv格式的文件时，因行格式不统一时报错的解决方案（列的数量和列属性不一致时）
clickhouse-client 导入csv格式的文件时，行格式不符合表格式时的处理方案。
2022-06-07 09:34:56
3590
原创 python文件处理
#打开模式w write 写入模式 没有则创建，存在则清空后在写入。r read 读取模式a append 追加模式x xor 异或模式 文件已存在则报错！ 不存在的则创建#扩展模式+ plus 增强模式b bytes模式（二进制） 如图片，视频，音乐模式一共16种w,w+,wb,wb+r,r+,rb,rb+a,a+,ab,ab+x,x+,xb,xb+字符集fp = open("文件名",mode=模式,encoding=编码集)fp = op..
2022-05-05 11:12:13
474
原创 MongoDB 维护常用命令
MongoDB 常用命令1、链接或登陆命令mongo -h 192.168.10.1 --port 27019 -u admin -p --authenticationDatabase admin或use admindb.auth('admin','password')2、查看数据库信息show dbs或者db.runCommand({"listDatabases: 1 "})3、查看表信息show tablesshow collections4、关闭mongod服.
2022-01-24 16:56:18
2085
原创 mysql show 命令汇总
1、查看二进制日志信息show master logsshow binary logs2、查看二进制日志中的事件show binlog events in 'binlog.00001' from pos limit [offset] row_count;3、show 字符集show character set like 'patten' | where expr;4、查询表中的列show collumns from table_name;5、查看见库语句show cre.
2022-01-20 14:50:29
3489
1
转载 mongoexport 导出 不重复的列 distinct 的方法
如何使用mongoexport 导出distinct 不重复的column value 值MongoDB: export distinct column value由 余生颓废 提交于 2021-02-07 18:22:32问题Anyone have idea how to export distinct column value on mongodb using mongoexport command.Command: db.coll.distinct("uid");The sol
2021-12-17 14:26:33
347
转载 percona-table-checksum 经典说明
Percona-Toolkit 之 pt-table-checksum 总结2019-04-04 10:31H_Johnny 阅读(1734) 评论(0)编辑收藏举报目录常用选项(OPTIONS) DSN选项(DSN) 从库检查(REPLICA CHECKS)环境与数据准备 执行一致性校验 输出字段解析 获取校验结果 工具其他选项基本说明 使用限制 用法示例 工作流程 总结 参考正文pt-table-checksum- Verify ...
2021-12-17 10:39:42
459
原创 使用mysql_config_editor 管理mysql登录
如果不想每次登录mysql 数据库时都输入密码时，可以使用如下命令进行密码管理1、mysql_config_editor set --login-path=mysql_3306 --host=10.10.10.10 --user=root --port=3306 --password2、mysql_config_editor set --login-path=mysql_3307 --socket=/data/3307/tmp/mysql.sock --port=3307 --user=roo..
2021-12-01 11:34:29
1054
原创 统计mysql服务 中的表占用磁盘的大小（SQL）
select table_schema,table_name ,(( table_rows * AVG_ROW_LENGTH + INDEX_LENGTH )/1024/1024/1024) as table_size from tables where table_schema not in ('sys','mysql','information_schema','performance_schema') order by table_size desc limit 40;
2021-12-01 11:20:01
827
原创 mysqldump 指定单表备份脚本
#!/bin/shmysqldump="/mysql/bin/mysqldump"mysql_user='admin'mysql_password='admin'backup_dir="/app/dbbak/zb_backup"mysql_host='10.10.10.10'mysql_port="3330"table_list="/app/dbbak/zb_backup/backup_table_list.txt"log_file="/app/dbbak/zb_backup/backup
2021-12-01 10:58:10
1157
原创 mysql root 用户可以创建用户但无法发给用户授权的问题
在测试环境创建用户及授权时突然发现无法进行授权，报2800 错误。mysql> show grants for 'root';+-------------------------------------------+| Grants for root@% |+-------------------------------------------+| GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' |+--...
2021-11-09 10:59:26
829
原创 使用mysqlbinlog 截图binlog日志
1、show master logs；show binary logs;mysql> show master logs;+---------------+-----------+| Log_name | File_size |+---------------+-----------+| binlog.000001 | 5720095 || binlog.000002 | 177 || binlog.000003 | 154 |+--------...
2021-11-07 17:04:07
284
华为 应用安全网管
2017-11-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人