小僵尸打字员的博客

原文作者: 翁智华;原文: https://www.cnblogs.com/wzh2010/p/15027366.html数据库对象命名规范数据库对象数据库对象是数据库的组成部分，常见的有以下几种： 表（Table ）、索引（Index）、视图（View）、图表（Diagram）、缺省值（Default）、规则（Rule）、触发器（Trigger）、存储过程（Stored Procedure）、 用户（User）等。 命名规范是指数据库对象如数据库（SCHEMA）、表（TABLE）、

前言有个朋友业务需要存大量的流水数据, 还希望可以实时根据流水聚合统计, 需求计算的精度到小数点18位(Es和Doris就可以直接ps了), 正好可以看看很火的clickhouse不看不知道, 一看吓一跳, 查询速度是真快啊, 数据压缩也是香了一匹, 运维再也不怕磁盘报警了!简单操作一下因为我要测精度, 就不用官方示例了, 有兴趣的建议了解一下, 比较全搭建直接在 docker仓库 上找到clickhouse的镜像, 拉取就完事了// 拉取镜像docker pull yandex/click

前言五个月没更新的我又回来了! 各位朋友六一快乐啊!这次是朋友有一个比较emmm罕见的需求吧, 场景类似活动时间吧, 活动结束的倒序, 正在进行的正序, 看看sql应该怎么写环境Mysql版本Mysql 5.7准备表和数据简单来个表, 主要就是按时间部分正序部分倒序,CREATE TABLE `test_order` ( `id` int(11) NOT NULL AUTO_INCREMENT, `timer` int(20) DEFAULT NULL, PRIMARY KEY

前言最近一直在忙公司新项目开发, 主要是用go开发后段功能, 所以一直都没时间写博客了, 也不知道要写些啥, 正好刚有个朋友问我排序的问题, 平常用的也比较多, 这里写一篇划波水 (用Go一时爽, 一直用Go一直爽)开始表演默认排序都知道 sql 默认自带排序, 字符串的话按照字母顺序来, 数字的话按照数字大小来, 比如这个样子这是表sql 语句及执行结果自定义排序实际过程中...

这大概是最详细的一篇关于Redis文章了，分享给热爱钻研技术的童鞋们~ 转载 https://studygolang.com/topics/8514一、Redis雪崩、穿透、并发等5大难题解决方案缓存雪崩数据未加载到缓存中，或者缓存同一时间大面积的失效，从而导致所有请求都去查数据库，导致数据库CPU和内存负载过高，甚至宕机。比如一个雪崩的简单过程：1、redis集群大面积...

linux安装es和kibana参考博文 https://blog.youkuaiyun.com/han12398766/article/details/88373869启动报错1Exception elasticsearch.keystore这个错是因为先用root用户启动的es创建的文件, 所以删除就好了启动报错22019-05-01 19:50:28,655 main ERROR Nul...

前言主要是因为懒得写insert语句, 所以打算用pandas存数据, 比较方便, 下面时测试成功脚本, 使用自拿"""@author xiaofei@date 2019-05-13@desc 测试pandas存入mysql"""import pymysqlimport pandas as pdfrom sqlalchemy import create_engine#...

前言其实mongo聚合语法都是一样的, 只不过类型不同的部分需要做一些处理简单聚合

把Mysql的数据同步到Elasticsearch是个很常见的需求，但在Github里找到的同步工具用起来或多或少都有些别扭。例如：某记录内容为"aaa|bbb|ccc"，将其按|分割成数组同步到es，这样的简单任务都难以实现，再加上配置繁琐，文档语焉不详...所以我写了个同步工具MysqlsMom：力求用最简单的配置完成复杂的同步任务。目前除了我所在的部门，也有越来...

背景表里面有上亿条数据, 写了一条左联的查询语句, 比如这样select a.city, b.value from tablea as a left join tableb as b on a.cid = b.cid where a.source = 10然后语句执行就卡死了,实际上这条语句在tablea 只有30条数据, 在tableb没有数据,然后用 explain 查看语句也走索...

前言今天遇到了mongo 的一条语句两个问题, 在这里分享一下留个记录问题一Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in.这个问题是我使用mongo的agg...

mongo聚合使用mongo的.aggregate方法, 类似一个聚合流水线的一个过程, 可以理解为文档经过多次管道阶段最后生成的结果, 可以直接看mongo aggregate官方文档 的一张图将整体文档经过多次管道最后生成想要的文档这个原理官方也提供了很多 聚合管道运算符, 用到的朋友可以直接查询讲一下我自己解决问题写的一条语句db.getCollection('cityarea2_...

工作需要,我要把我的工作成果每隔三天发送邮件,展示三天的工作情况,所以在linux上写了个脚本,每三天发一次邮件,下面是源代码coding: utf-8import sysreload(sys)sys.setdefaultencoding('utf8')from config import *from mongo_db import MongoDBimport time,da

俩篇对mysql和redis用法解释很详细的博客: mysql: http://www.jb51.net/article/117330.htm redis: https://www.cnblogs.com/xuchunlin/p/7067154.htmlimport pymysql建立mysql连接,ip、端口、用户名、密码(passw

从mysql查询数据导入redisselect_sql = "select A.source_id,A.pic_url,A.id from newhouse_%s.complex_pic as A LEFT JOIN newhouse_%s.complex as B ON A.complex_id=B.complex_id WHERE A.source_id=%s AND B.weigh

用flask小小的写了一下mango的增删改查,挺好用的上代码#coding:utf8from bson.objectid import ObjectIdfrom pymongo import MongoClientfrom flask import Flask,url_forapp = Flask(__name__)client = MongoClient('127.0.0...

###介绍一下使用场景, 我这边之前使用redis做生产者消费者队列, 然后因为redis容量不大, 升级成本也比较高, 所以就拿kafka用来做消息队列, 因为数据是及时生产及时消费的, 所以说也就没有用太深, 拿topic当redis的key用的生产者from pykafka import KafkaClientimport jsonhosts = "192.168.0.1:xxxx...

转自: https://www.cnblogs.com/yycc/p/7338894.htmlexplain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。使用方法，在select语句前加上explain就可以了：如：explain select surname,first_name form a,b where a.id=b....

索引就用空间来换取时间下面我会用explain 来测试联合索引和普通索引的作用项, 只测两个字段, source和name有兴趣的可以看下我下面的测试, 并不繁琐, 没兴趣的直接看结论吧1 联合索引的第一个字段可以当普通索引来用, 即比如我的联合索引是name+source, 那么我只拿name当where当条件也会命中索引, 但是用source就不会了, 查询全部的数据2 如果只是两...

问题描述在执行脚本插入操作的时候, 报了一个 mysql 连接断开的错误, 报错信息为 pymysql.err.OperationalError: (2013, ‘Lost connection to MySQL server during query’), 原因是同时操作了太大的数据, 比入我就用 cursor.execute(sql) 执行了上千条插入语句, 然后再commit 一次, 这样...

redis 在哈希里面查询带关键字的小key hscan问题 比如说我现在有一个哈希队列, 做的是 用户id+行为编号: 时间 的一个缓存(随意举得例子,不要介意), 现在有一个用户注销了, 我现在需要把这个用户的所有信息缓存全部干掉, 你要怎么做? 获去该哈希队列所有的key然后再匹配? 太捞了, redis 提供了一种匹配机制, 类似 keys * 这种规则的匹配模式解决 比如我...

MySQL概念 数据： data 数据库： DB 数据库管理系统：DBMS 数据库系统：DBS MySQL：数据库 mysql：客户端命令（用来连接服务或发送sql指令） SQL：结构化查询语言 ，其中MySQL支持这个。 SQL语言分为4个部分：DDL（定义）、DML（操作）、DQL（查询）、DCL（控制） MySQL->