点点的博客

mysql数据库不要使用join，建议方案

MYSQL知识点（那为什么不是B树⽽是B+树呢？聚集索引与⾮聚集索引的区别，limit 1000000 加载很慢的话，你是怎么解决的呢？mysql中in 和exists的区别）

一、首先进入https://www.ownthink.com/进入官网，然后需要关注微信公众号拿到数据、但是我关注了，分享一下。通用知识1.4亿知识图谱数据拿走不谢链接: https://pan.baidu.com/s/1LZjs9Dsta0yD9NH-1y0sAw 提取码: 3hpp解压密码：https://www.ownthink.com/旧版本：链接: https://pan.b...

一、下载postgresqlwget https://ftp.postgresql.org/pub/source/v10.3/postgresql-10.3.tar.gz二、下载zlib，因为安装报错http://www.zlib.net/类似的错误：configure: error: readline library notfoundIf you have readline al...

1、修改服务器BIOS设置1.1.选择performance Per watt Optimized(DAPC)模式、发挥CPU最大性能。1.2.Memory Frequency(内存频率) 选择Maximum performance（最近性能）。1.3.内存设置菜单中 启动Node Interleaving 避免UNMA问题。2、磁盘I/O相关配置2.1.使用SSD磁盘。2.2.如官...

一、什么是DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。实现包括MySQL，SQL Server，Oracle，PostgreSQL，HDFS，Hive，HBase，OTS，ODPS等各种异构数据源之间高效的数据同步功能。二、工具部署方法一、直接下载DataX工具包：DataX下载地址下载地址：https://github.com/alibaba/DataX/b...

一、 简介Neo4j 是目前最流行的图形数据库，支持完整的事务，在属性图中，图是由顶点（Vertex），边（Edge）和属性（Property）组成的，顶点和边都可以设置属性，顶点也称作节点，边也称作关系，每个节点和关系都可以由一个或多个属性。Neo4j创建的图是用顶点和边构建一个有向图，其查询语言cypher已经成为事实上的标准。其他的图形数据库还包括Oracle NoSQL数据库，Orie...

如果发生以下错误，则表示 mysqld已收到来自给定主机的中间中断的许多连接请求：Host 'host_name' is blocked because of many connection errors.Unblock with 'mysqladmin flush-hosts'max_connect_errors系统变量 的值 确定允许的连续中断连接请求的数量。max_connec...

一、首先要导入pom.xml <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version&g...

近期开发的系统中使用MySql作为数据库，由于数据涉及到Money，所以不得不慎重。同时，用户对最大访问量也提出了要求。为了避免Mysql成为性能瓶颈并具备很好的容错能力，特此实现主从热备和读写分离。在此简做纪要,以备日后所用！一、配置主从条件：两台PC，IP分别为192.168.168.253,192.168.168.251。两台PC上的Mysql版本为5.0。253上的Mysql为Ma...

###【在多台机器上执行下面的命令#在所有创建一个xiaoniu普通用户：useradd xiaoniu#为xiaoniu用户添加密码：echo 123456 | passwd --stdin xiaoniu#将xiaoniu添加到sudoersecho "xiaoniu ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/xiaoniu...

stringRedisTemplate.opsForValue().set("test", "100",60*10,TimeUnit.SECONDS);//向redis里存入数据和设置缓存时间 stringRedisTemplate.boundValueOps("test").increment(-1);//val做-1操作 stringRedisTemplate.opsForValu...

一、什么是prestoPresto是Facebook开发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。二、搭建presto首先Centos 7.X 系统，JDK采用的Oracle的1.8.X的版本。presto的版本是采用最新版0.218，Python为版本Python 2.4+presto下载地址：http://prestodb.github.io/resources...

一、Oracle数据库就一般情况来说，Oracle存储中英文的字段用varchar2类型就可以了，但有些时候，遇到生僻字就不行了， 在默认字符集环境下，实现Oracle储存生僻字： 㛃、䶮…（使用nvarchar2字段类型实现）首先，把生僻字转换为Unicode。工具链接https://tool.chinaz.com/tools/unicode.aspx“㛃” 转为Unicode为 “\u3...

一、什么是AlluxioAlluxio（之前名为Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级。在大数据生态系统中，Alluxio介于计算框架(如Apache...

一、前端离线作用最近几年新起来的、5G、人工智能、或者卫星基站，但是有没有考虑到，如果有一天没有电或者能源逐渐枯竭、那么离线是一个不错的选择、很火的智能音响、其中也采用的离线技术、为了解决没有网络或者信号很差的时候。那么前端离线技术有哪些呢？1、Application Cache 与 Cache Storage不管是浏览器缓存还是APP的缓存，都可以采用Application Cache或者...

使用步骤使用mysqldump dump出PG兼容的MySQL建表语句（修改下面语句中的databasename和dumpfile.sql），此处dump语句很重要，一定要转为PG兼容的建表语句：mysqldump --opt --compatible=postgresql --default-character-set=utf8 -d databasename -r dumpfile.s...

一、什么是BlazingSQLBlazingSQL是一个基于RAPIDS生态系统构建的GPU加速SQL引擎。RAPIDS基于Apache Arrow柱状内存格式，cuDF是一个GPU DataFrame库，用于加载，连接，聚合，过滤和操作数据。二、BlazingSQL必要环境系统：Ubuntu 16.04 LTSGPU 支持：Pascal or Better、Compute Capabil...

RocksDB是使用C ++编写的嵌入式kv存储引擎，其键值均允许使用二进制流。由Facebook基于levelDB开发，提供向后兼容的levelDB API。RocksDB针对Flash存储进行优化，延迟极小.RocksDB使用LSM存储引擎，纯C ++编写.Java版本RocksJava正在开发中。参见RocksJavaBasic。RocksDB依靠大量灵活的配置，使之能针对不同的生产环境...

mysql本身可以从日志文件恢复数据，其原理是日志文件会记录指定时间段的sql操作记录。但我们不可能存储从数据库安装到当前的日志文件，日志早爆炸了，后面的日志会覆盖之前的日志，所以，想从日志恢复完整数据，那是不可能的。而通过自己备份数据库，再从日志中找到备份时间到当前时间的更改记录，就可以恢复所有数据。下面的脚本生成指定数据库备份，打包压缩，并删除10天前备份。mysql_back.sh...

Logstash是一个数据收集管道，配置输入输出，可将数据从一个地方传到另一个地方。同步mysql到Elasticsearch，这里的输入，指的是mysql,输出就是Elasticsearch。新版本的Logstash和Elasticsearch跟之前老版本的有些不同，所以我也是自己折腾了小半天，总算成功。下面的操作，Logstash和Elasticsearch的版本都是6.0.1...

一、spring boot不知道什么原因启动报错（导入eclipse中出现pom.xml报错） Description Resource Path Location Type Could not calculate build plan: Failure to transfer org.apache.maven.plugins:maven-compiler-plugin:pom:2.0.2 fr...

OPTIMIZE TABLE 当您的库中删除了大量的数据后，您可能会发现数据文件尺寸并没有减小。这是因为删除操作后在数据文件中留下碎片所致。OPTIMIZE TABLE 是指对表进行优化。如果已经删除了表的一大部分数据，或者如果已经对含有可变长度行的表（含有 VARCHAR 、 BLOB 或 TEXT 列的表）进行了很多更改，就应该使用 OPTIMIZE TABLE 命令来进行表优化。这个命令可以

Java执行一个SQL查询未提交，遇到1205错误。    java.lang.Exception:    ### Error updating database.  Cause: java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction     解决办法：        执行my

前言：朋友咨询我说执行简单的update语句失效，症状如下：mysql> update order_info  set province_id=15  ,city_id= 1667  where order_from=10 and order_out_sn='1407261241xxxx';ERROR 1205 (HY000): Lock wait timeout exceeded; tr

2.环境说明2.1    硬件环境(两台机器的硬件环境相同)CPUInter(R) Pentium(R) Dual CPU E5200 @2.50GHz内存大小384MB硬盘大小8GB其它说明本机器为虚拟机，其有两块网卡，一对网卡直

MySQL5.7主主复制配置主机1IP：172.16.1.206主机2IP：172.16.1.226一、首先安装MySQL 5.71、卸载两台主机系统中已经有的mysql相关软件包rpm -qa | grep -i mysqlyum remove mysql(相关软件包名称) -y2、分别在两台主机系统中执行以下命令在http://dev.m

1.安装环境说明安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.132.操作系统环境准备2.1 配置SSH免密码登录主节点里root用户登录执行如下步骤ssh-keygencd ~/.ssh/cat id_rsa.pub >>authorized_keyschmod ~/.sshchmod ~/.ssh/authoriz

甲骨文公司有很多功能强大但受关注程度较低的产品，Warehouse Builder(简称OWB)就是其中之一。就像甲骨文旗下其他的几个非关系数据库管理系统产品一样，OWB刚开始的版本用起来都让人感觉很不顺手，例如用户界面不够友好，经常出现错误，不易于安装和使用等等。不过，在最近的几个版本，OWB已经逐渐完善，成为一款高性能多功能的应用软件，让用户能够获得超凡的体验。本文将和大家一起探讨如何用O

百万数据进行查询与排序！在网上找了一堆，有一下几大排序算法如：快速排序，归并排序，堆排序，百万数据查询 。那什么是快速排序：     1.  快速排序算法是一种不稳定的排序算法。其时间复杂度为O(nlogn)，最坏复杂度为O(n^2)；快排的平均空间复杂度为O(logn)，关于空间界的论断来自于《编程珠玑第2版》第113页。但是其最坏空间复杂度为O(n)。       快速排序

再用SQLYog进行10w用户数据sql导入的时候,出错,后查看日志找到错误代码为:MySQL 服务器已离线后经过google发现时mysql设置的问题.这个问题是因为MySql的默认max_allowed_packet过小所致，修改大一些即可max_allowed_packet = 100M另外，可以增加一下两个参数，来扩大相应时间in

此配置是老男孩生产线上使用的配置，在培训的时候，他给的，我在这里，对各参数添加了中文说明这配置已经优化的不错了，如果你的mysql没有什么特殊情况的话，可以直接使用该配置参数MYSQL服务器my.cnf配置文档详解硬件：内存16G[client]port = 3306socket = /data/3306/mysql.sock[mysql]no-au

一、在springBoot使用事物时，发现事务并没有正常执行，没有进行回滚： @GetMapping("/addincome/1") @Transactional public String addIncome1(@RequestParam("name") String name, @RequestParam("amount") double amount) { ...

Kettle是一个开源项目，作为ETL工具，kettle提供了丰富的功能和简洁的图形化界面。作为免费开源的ETL工具，可以通过其桌面程序进行ETL步骤的开发并执行。kettle以插件形式来实现每个转换步骤的工作，发行版中已经提供了常用的转换清洗插件，如果还不能满足业务需求的话，则可以自己开发相应插件实现。但在使用原有插件或者自定义插件的过程中遇到问题时，如果不好定位原因，则可以通过源码环境来调试，...

启动Mycat 1.windows启动命令mycat.bat start2.liunx启动命令$MYCAT_HOME/bin/startup_nowrap.sh注意：如果出现异常或者报错JAVA_OPTS="-server -Xms2G -Xmx2G -XX:MaxPermSize=64M -XX:+AggressiveOpts -XX:MaxDirectMemorySiz...

MySQL 正则表达式 MySQL 同样也支持其他正则表达式的匹配， MySQL中使用 REGEXP 操作符来进行正则表达式匹配。 如果您了解PHP或Perl，那么操作起来就非常简单，因为MySQL的正则表达式匹配与这些脚本的类似。 下表中的正则模式可应用于 REGEXP 操作符中。 模式 描述^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属...

当使用Mysql帐号远程登陆的时候，出现类似如下错误：ERROR 1130: Host '192.168.1.3' is not allowed to connect to this MySQL 解决办法：1. 改表法(可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "us

目前系统整理了一些网上开放的免费科研数据集，以下是分类列表以及下载地址，供高校和科研机构免费下载和使用。金融美国劳工部统计局官方发布数据 上证A股日线数据，1999.12.09 至 2016.06.08，前复权，1095支股票 深证A股日线数据，1999.12.09 至 2016.06.08，前复权，1766支股票 深证创业板日线数据，1999.12.09 至 2016.06.08，...

PowerDesigner 是数据库建模功能很强大的工具，其可以生成pdm文件建立表结构及表间关联关系，也可以生成java 中bo，po，dao层的代码。还可以生成建库脚本，方便的创建数据库结构。因此，能够快速生成PDM文件是提高数据库建模的必要条件。一般powerdesiger生成PDM模型文件有几种方式：1. 通过PD界面手动操作，一个一个建表，建字段说明，并建立表关系。 2. 通过已

一、mysql目录文件ibdata1:系统表空间 包含数据字典、回滚日志/undolog等（insert buffer segment/double write segment/rollback segment/index segment/dictionary segment/undo segment）ib_logfile0/ib_logfile1：事务日志/redologmysq