
数据库
小龙在山东
本博客为个人整理的技术笔记,仅用于学习。
展开
-
MySQL8.0正则表达式:正则查找、中文匹配、正则替换、提取字符串
在MySQL中,使用REGEXP或RLIKE操作符进行正则表达式匹配,而使用NOT REGEXP或NOT RLIKE操作符进行不匹配。一些常用的MySQL正则表达式语法::匹配任意字符(除了换行符)。[]:匹配方括号中的任意字符。[^]:匹配不在方括号中的任意字符。:匹配零个或多个前面的字符。:匹配一个或多个前面的字符。?:匹配零个或一个前面的字符。{n}:匹配恰好n个前面的字符。{n,}:匹配至少n个前面的字符。{n,m}:匹配至少n个,但不超过m个前面的字符。:匹配字符串的开头。原创 2023-09-20 23:45:00 · 4736 阅读 · 0 评论 -
查看MySQL连接数、缓存、锁、慢日志、语句、吞吐、配置等监控数据
使用 mysql的show命令实现获取,从 connects、buffercache、lock、SQL、statement、Database throughputs、serverconfig 7个方面获取监控数据。原创 2022-12-29 22:38:11 · 980 阅读 · 0 评论 -
ETL工具大全:Kettle、DataCleaner、canal、DataX
Kettle是一款国外开源的ETL工具,使用Java语言编写,可以运行在Windows、Linux、Unix上,数据抽取高效、稳定。Kettle包含Spoon、Pan、Chef、Encr和Kitchen等组件,Spoon是一个图形用户界面,可以方便直观地完成数据转换任务。Spoon可以运行转换和任务,转换用Pan来运行,任务用Kitchen运行。原创 2022-10-05 09:48:20 · 7498 阅读 · 1 评论 -
Tableau JDBC连接GraphDB
1、下载JDBC驱动2、把JDBCjar包放在合适的位置WindowsMacOS3、打开Tableau,打开。,也可以是远程的repository地址。5、然后就可以打开数据库界面了。原创 2022-07-15 22:30:00 · 427 阅读 · 0 评论 -
CentOS查看操作sqlite数据库
CentOS自带sqlite3。连结sqlite数据库$ sqlite3 ex1SQLite version 3.36.0 2021-06-18 18:36:39Enter ".help" for usage hints.sqlite> create table tbl1(one varchar(10), two smallint);sqlite> insert into tbl1 values('hello!',10);sqlite> insert into tbl1 va原创 2021-12-03 09:19:50 · 1536 阅读 · 0 评论 -
Kettle 6.1 从oracle导入数据到hive表 环境配置
kettle:pdi-ce-6.1.0.1-196Hadoop :cdh5.11 hive 1.0Kettle安装省略,解压就可以使用,需要把oracle 驱动包放到 D:\pdi-ce-6.1.0.1-196\data-integration\lib 下第一步:修改配置文件D:\pdi-ce-6.1.0.1-196\data-integration\plugins\pentaho-big-data-plugin\plugin.properties 修改前:active.hadoop.confi原创 2021-03-25 11:44:32 · 1050 阅读 · 0 评论 -
python3 psycopg2查询PostgreSQL返回字典
python3 psycopg2查询PostgreSQL返回字典列表。import psycopg2from psycopg2 import extras # 不能少conn = psycopg2.connect(database="db_name", user="postgres", password="123456", host="localhost", port="5432")cur = conn.cursor(cursor_factory=psycopg2.extras.DictCurs原创 2021-03-05 11:49:06 · 2826 阅读 · 0 评论 -
PostgreSQL导出导入sql数据
导出$ pg_dump -U postgres -t system_calls wangye > ./db.sql# pg_dump -U user_name (-t table_name) db_name(default user_name) > path/to/mydb.sql导入# 新建数据库$ createdb new_db$ psql -d new_db -U postgres -f mydb.sql# psql -d db_name -U user_name -f原创 2021-02-26 16:30:37 · 627 阅读 · 0 评论 -
Python转Oracle LOBs(CLOB/BLOB) 为String字符串
从数据库直接读取小于1GB的CLOBs and BLOBs的格式作为字符串,这比数据流方式更快。这里用到了connection.outputtypehandler:def OutputTypeHandler(cursor, name, defaultType, size, precision, scale): if defaultType == cx_Oracle.DB_TYPE_CLOB: return cursor.var(cx_Oracle.DB_TYPE_LONG, ar原创 2021-01-15 10:31:11 · 2158 阅读 · 0 评论 -
用Rowfactories改变 cx_Oracle 查询返回结果为 字典 形式
cx_Oracle默认返回元组数据,如果想返回字典形式数据,最简单的方式是修改Rowfactories方法。cx_Oracle “rowfactories” are methods called for each row that isretrieved from the database. The Cursor.rowfactory() method is calledwith the tuple that would normally be returned from the database.原创 2021-01-14 19:05:51 · 986 阅读 · 0 评论 -
ORA-01722: 无效数字
如果columnid字段是Number类型,sql查询时用到where过滤columnid=1类似语句会报错:ORA-01722: 无效数字需要columnid转换一下:TO_NUMBER(a.A_COLUMNID)=1原创 2021-01-14 18:15:49 · 1419 阅读 · 0 评论 -
Python连结Oracle数据库的环境搭建和基本代码
本机环境Windows Server 2019Python 3.8.5下载oracle数据库instantclienthttps://www.oracle.com/technetwork/topics/winx64soft-089540.html安装cx-Oracle从https://pypi.org/project/cx-Oracle/#files下载对应版本的cx_Oracle-8.1.0-cp38-cp38-win_amd64.whl。用pip安装:pip install cx原创 2021-01-14 17:46:52 · 371 阅读 · 0 评论 -
Oracle c12 impdp导入dmp备份数据
安装Oracle c12下载地址在官网。登录Oracle SQL Developer新建用户create user USERNAME identified by PASSWORD;创建表空间create tablespace TABLESPACENAME-- 表空间名datafile 'C:\app\Administrator\oradata\TABLESPACENAME.dbf' -- 表空间存储文件位置size 50m -- 文件大小autoextend on next 50原创 2021-01-13 21:19:37 · 258 阅读 · 0 评论 -
sqlcmd导出备份数据到CSV/交互
sqlcmd是sql server自带的命令行工具,比之前的osql和issql更好用,毕竟是sql2005新加工具。sqlcmd备份# 导出数据到csvsqlcmd -S localhost -U SA -P pwd -d RM_DB -Q "SELECT tel FROM dbo.m_ask WHERE tel!=''" -o "D:\back.csv"# 备份sqlcmd -S ./sqlexpress -U sa -P 000000 -d master -Q"BACKUP DATABAS原创 2020-07-21 17:16:15 · 2164 阅读 · 0 评论 -
SQL Server 2017 还原老备份
SQL Server 是一款强大的关系型数据管理系统,很多Web服务要用,平常也不免要还原备份,这里就记录一下这次把老版本的数据备份还原到SQL Server 2017里。SQL Server 2017 官方下载地址:https://www.microsoft.com/zh-cn/download/details.aspx?id=29066并且安装上SQL Server Management ...原创 2020-03-06 16:38:55 · 2796 阅读 · 0 评论 -
综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ
本文将从,Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。一、资料文档Kafka:中。有kafka作者自己写的书,网上资料也有一些。rabbitmq:多。有一些不错的书,网上资料多。zeromq:少。没有专门写zeromq的书,网上的资料多是一些代码的实现和简单介绍。rocketmq:少。没有专门写rocketmq的...原创 2019-11-13 15:32:39 · 299 阅读 · 0 评论 -
Scrapy模拟表单和Ajax发送POST请求
普通请求使用scrapy.Request类就可以实现,但是遇到模拟表单提交post请求的时候,Request类就不如子类**FormRequest类方便了,因为他自带**formdata,专门用来设置表单字段数据。def start_requests(self): form_data = {'f1':'1', 'f2':'100'} # 表单数据,字典格式,注意数字也要用引号引起来,否则报原创 2017-08-21 10:36:02 · 8361 阅读 · 0 评论 -
hadoop、storm和spark的区别
一、hadoop、Storm该选哪一个?为了区别hadoop和Storm,该部分将回答如下问题:1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop适合什么场景,什么情况下使用hadoop 4.什么是吞吐量首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读转载 2017-08-15 11:54:46 · 724 阅读 · 0 评论 -
SBT安装和基本使用
SBT(Simple Build Tool)是scala的构建工具,需要Java1.8+版本。安装包安装首先要安装JRE http://blog.youkuaiyun.com/lilongsy/article/details/77452317然后下载SBT,并解压。 https://github.com/sbt/sbt/releases/tag/v1.0.0wget https://github.com/s原创 2017-08-23 11:42:24 · 1385 阅读 · 0 评论 -
Spark获取并分析Mysql数据
安装环境Java环境安装并启动Spark下载并解压Sparkwget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgztar xzvf spark-2.2.0-bin-hadoop2.7.tgz /usr/localcd /usr/localln -s spark spark-2.2.0-bin-hadoop原创 2017-08-31 18:11:23 · 1940 阅读 · 0 评论 -
logstash导入日志并用Kibana可视化展示
Kibana 让您能够自由地选择如何呈现您的数据。或许您一开始并不知道自己想要什么。不过借助 Kibana 的交互式可视化,您可以先从一个问题出发,看看能够从中发现些什么。原创 2017-12-07 14:44:29 · 6277 阅读 · 0 评论 -
统计学习过程
我毕业于美国一个统计学专业排名前10名的公立大学。今年6月刚刚毕业。从大二上第一门统计专业课算起,已经和统计学打了三年的交道了。我从最开始by chance进的专业,到觉得这个专业无聊,再到开始对这个专业不讨厌,最后到现在觉得这个专业很性感,决定和统计学继续把交道打下去,其实中间还蛮曲折的。自己是属于非常努力的那种学生,但是因为天赋有限,所以“努力”让自己在整个专业中的成绩稳定在中上游,“缺乏天赋”转载 2017-12-14 10:34:25 · 1241 阅读 · 0 评论 -
TF-IDF算法抽取中文内容的主题关键词
使用scikit-learn的TF-IDF算法抽取主题关键词原创 2017-12-22 18:23:19 · 2515 阅读 · 0 评论 -
Tensorflow安装(Ubuntu Python3.5)
安装环境Ubuntu 16.04.2 LTSPython 3.5.2选择版本仅支持CPU版本TensorflowGPU版本TensorFlow如果只是用来学习测试,建议安装第一个(CPU版本),此处用的这个版本。 产品线上就选第二个,毕竟性能更高一些,但是安装要稍微复杂一点。安装Python环境1.安装pip Virtualenv$ sud原创 2018-02-01 15:17:15 · 3176 阅读 · 1 评论 -
kafka1.0.0安装启动和客户端基本使用
下载安装需要提前装好JDK。下载地址:http://kafka.apache.org/downloads.html推荐下载scala 2.11版本的。解压并进入目录。启动需要启动zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties启动kafkabin/kafka-serv原创 2018-01-23 14:16:08 · 1425 阅读 · 0 评论 -
PyMySQL增删查改CRUD
PyMySQL增删查改的例子:表结构:CREATE TABLE `users` ( `id` int(11) NOT NULL AUTO_INCREMENT, `email` varchar(255) COLLATE utf8_bin NOT NULL, `password` varchar(255) COLLATE utf8_bin NOT NULL, PRI...原创 2018-12-22 17:32:00 · 445 阅读 · 0 评论 -
分布式数据复制的三种方式
把数据分布到多个节点上有两种常见的方式:复制(Replication)和分区(Partitioning)。现在主要讲下分布式数据复制。将数据库分布到多台机器上,有多种原因:可扩展性:数据量、读取负载、写入负载超过单台机器的处理能力。容错/高可用:单台机器(或多台机器、网络或整个数据中心)出现故障的情况下,仍然能继续工作。多台机器可以提供冗余,一台出现故障,另一台可以接管。延迟:每个用户可以...原创 2019-08-02 13:15:39 · 4279 阅读 · 0 评论 -
数据库事务隔离级别的区别
隔离级别说明存在的问题解决的问题Serializable (串行化)最严格的级别,事务串行执行资源消耗最大脏读、幻读、不可重复读取REPEATABLE READ(重复读)保证了一个事务不会修改已经由另一个事务读取但未提交(回滚)的数据。幻读,性能损失脏读、不可重复读取READ COMMITTED (提交读)大多数主流数据库的默认事务等级,保证了一个...原创 2019-09-05 15:09:44 · 582 阅读 · 0 评论 -
脏读、脏写、不可重复读、更新丢失、写偏差、幻读
没有数据库的事务隔离,会出现以下各种问题:脏读一个客户端读取到另一个客户端尚未提交的写入。读已提交或更强的隔离级别可以防止脏读。脏写一个客户端覆盖写入了另一个客户端尚未提交的写入。几乎所有的事务实现都可以防止脏写。读取偏差(不可重复读)在同一个事务中,客户端在不同的时间点会看见数据库的不同状态。快照隔离经常用于解决 这个问题,它允许事务从一个特定时间点的一致性快照中读取数据。快照...原创 2019-09-05 15:30:06 · 2306 阅读 · 0 评论 -
记录一次融媒体和大数据的巡展
这是一次索贝公司的全国巡展会,现场拍下了几张关于融媒体和大数据及视频的图片资料。原创 2017-07-03 20:31:45 · 509 阅读 · 0 评论