自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 【云计算一】云计算基础知识

我们都知道,一般一种新技术的出现,总是由于目前面临的挑战,无法使用现有技术无法解决,聪明的IT工程师就会研究就新的技术。那么现在是遇到哪些挑战呢?云计算又是怎么解决这些挑战的呢?

2022-09-14 20:29:46 1553

转载 大数据之元数据

一、元数据是什么?二、元数据是从哪里来?三、元数据分类四、元数据应用五、元数据管理六、元数据价值

2022-04-28 21:43:00 2099 1

原创 hadoop集群之hdfs文件系统常见操作命令

hdfs文件系统常见操作命令

2022-04-22 22:16:13 3170 2

原创 搭建Hadoop集群环境三:hadoop环境初始化

hadoop集群环境的初始化

2022-04-20 22:33:40 8497 1

原创 sql bug之repalce:Argument data type ntext is invalid

sql bug之repalce:Argument data type ntext is invalid

2022-04-12 10:19:19 1185 2

原创 搭建hadoop集群环境二:hadoop安装及配置

hadoop集群环境搭建之hadoop安装及配置

2022-04-07 23:00:09 1735

原创 搭建hadoop集群环境一:服务器基础环境准备

搭建hadoop集群环境一:服务器基础环境准备

2022-03-27 22:50:09 3424 3

转载 mssql数据库中角色介绍

mssql中的角色分析

2022-03-26 09:15:56 369

原创 windows配置hosts映射文件

一、目标在Vmware中安装了3台服务器, 可以通过主机名称访问,后面服务器集群配置会用到。192.168.88.128 node1 node1.adeaven.com192.168.88.129 node2 node2.adeaven.com192.168.88.130 node3 node3.adeaven.com二、配置hostswindows路径 C:\Windows\System32\drivers\etc,编辑 hosts文件三、测试win + r ,打开命令框,输

2022-03-14 20:40:15 4967

原创 mysql之数据行序号

实现查询数据生成行序号

2021-12-22 21:55:31 2633

原创 自定义数据编码实现

实现自定义多级编码,且尽可能避免并发造成编码重复

2021-12-22 21:28:57 893

原创 centos7中搭建数据库复制集群

复制是指将主数据库的DDL和DML操作通过二进制日志传到从服务器中,然后在从库上对这些日志重新执行(也叫重做),从而使得从库的数据保持同步。mysql支持一台主库同时向多台从库进行赋值,从库也可以作为其他从库服务器的主库,实现链状复制。

2021-12-11 18:37:04 824

原创 centos7中修改root密码

问题:新配置mysql如何修改root密码?1. 问题阐述续上篇中,刚完成不通过 密码直接登录mysql,那如果我们需要密码登录,初始root是多少呢?那么,现在我们应该怎么做呢?2. 解决步骤2.1 修改 my.cnf ,取消注释 skip-grant-tables,这样我们不需要 通过密码登录了vi /etc/my.cnf2.2 保存退出后,重启mysqlsystemctl restart mysqld2.3 不输入密码登录mysql ,置空root密码//

2021-11-15 22:18:18 623

原创 centos7中mysql的安装

安装前检查是否有自带的mysql rpm -qa | grep mysql如果有需要先卸载掉系统安装的 rpm -e mysql  // 普通删除模式 rpm -e --nodeps mysql  // 强力删除模式,如果使用上面命令删除时,提示有依赖的其它文件,则用该命令可以对其进行强力删除安装mysql说明:本次使用 yum 命令安装 MySQL https://dev.mysql.com/downloads/repo/yum/ // 下载 安装文件 wget h.

2021-11-15 22:18:03 304

原创 mysql与mssql中将多行转为一行

一、mysql 编写,关键词 group_concatselect GROUP_CONCAT(a.role_name) rolename from t_role as a 二、mssql 编写,关键词 for xml path(’’)SELECT STUFF((SELECT distinct ',' + pt.pestsName FROM F_PreventPestRecord as prv left join CloudFarmXCCSdb0.dbo.Fp_pest.

2021-10-12 11:38:01 325

原创 mysql实战之临时表、存储过程、if语句、循环

一、知识拆解1、创建临时表1.1 作用 :临时保存表数据1.2 生命周期: 随创建语句而产生,随当前 会话关闭而自动销毁,或者手动销毁1.2 基本语法 // 语法上和创建普通 表 多加了TEMPORARY ,其他完全一样 create TEMPORARY table table_name ( col type, col2 type ) Engine=InnoDB default charset utf8;1.3 手动销毁 // 关于临时表的增删改查和普通 表完全一..

2021-09-28 21:37:17 428

原创 kettle之执行sql脚本及保存数据格式为json

一、需求描述数据存档,存档后的数据不能修改需要通过 输入(如表输入) 的数据 作为参数 批量执行操作因为存档,所以保存个格式要求是json二、开发环境mysql8.0.12kettle 9.x三、实现步骤step1、新建 转换 trans_update_sql, 增加 表输入和 执行sql脚本 组件step2: 编辑 表输入,获取 源数据step3: 编写 执行sql脚本【此是关键步骤】此处我们先执行sql,只用ghorlandName 更新 js..

2021-09-26 11:01:56 1692

原创 kettle发送邮件(多个接收人)

一、场景描述执行完转换任务后,无论成功还是失败都需要通知给开发人员需要通知的人员有时不止一个,这就要求通知接收人支持多人同时接收二、kettle具体实现1、提前准备注册一个邮箱(直接直接用qq邮箱),申请 SMTP服务(以下是新浪邮箱的设置,基本都差不多)2、新建 kettle 作业(test_send_email)–> 增加 发送邮件 控件–>设置邮箱 服务器3、设置 邮箱地址信息4、 执行测试,测试完成则恭喜你,已经搞定了...

2021-09-24 17:41:51 1645 2

原创 kettle设置环境变量和获取变量(单值)

一、场景描述数据同步过程中,部分数据量太大,直接执行 插入/更新 组件,很容易内存溢出,执行任务失败此类数据变动不大,属于时序数据,不可编辑或删除, 比如日志数据、物联网数据二、解决思路既然是时序数据,那么我们只需要找出上次同步的终点或本地同步的起点就可以只同步变动的数据我的想法是,查询目标库中总行数或者最大主键标识,然后 查找 原始数据中 大于 总行数或最大主键标识的数据即可。三、kettle具体实现1、设置环境变量表输入设置变量2、获取..

2021-04-24 14:44:56 15609 14

原创 mysql Bugs 之 mysql8.x 登录中遇到 caching_sha2_password 问题解决

一、 问题来源本地测试安装的是mysql8.x生产环境的是mysql5.x登录时就会显现 caching_sha2_password 的错误提示二、问题分析官方解释:Starting with MySQL 8.0.4, we are changing the default authentication plugin for MySQL server from mysql_native_password to caching_sha2_password. Correspondingly,

2021-03-20 17:09:26 1082

原创 mysql Bugs 之 使用IP登录数据库

一、问题描述我们需要登录另一台服务器上的,我们需要通过IP来登录mysql,而非使用localhost业务服务器和数据库服务器不在同一台机上的情况二、解决思路打开命令窗口 登录mysql mysql -u root -p切换数据库mysql 查看用户mysql> select Host,User,plugin from user;+---------------+------------------+-----------------------+| Host

2021-03-20 17:08:46 205

原创 SSM框架中集成Mongdbo的具体实现

环境说明spring 4.2.xmongodb 4.x ,生产环境数据库maven假设,你已搭建ssm框架或者springmvc项目引入mongodb依赖库创建 mongodb.properties参数配置文件创建 spring-mongodb.xml 配置文件编写测试类启动测试...

2021-01-15 15:59:03 331

原创 mongodb中的用户配置

一、环境说明系统:centos 7mongodb 4.x以上关于安装过程,请移步官网步骤,或者使用宝塔–》应用商店安装,很简单。二、用户配置连接数据库,初始安装完,是没有任何账户和密码的,直接启动就行,mongo --port 27017// 执行后进入mongo 命令行,如果没有进入,请根据错误提示修复数据库切换进入 admin数据库,这是默认的一个数据库use admin初次进入,先创建一个超级账户,具体操作命令,官网学习,基础很简单 db.create

2021-01-15 15:57:20 333

原创 Superset从配置到使用系列之四:集成Superset到自己的前端项目中

需求描述数据看板页面如果不用登录就可以访问集成进来的页面,样式如何修改?比如隐藏头部菜单数据看板去除登录分享面板,拿到链接,如果此时直接在其他浏览器访问,就会直接跳转到登录页面解决思路1、权限不够就需要赋予权限,找到需要赋权的对象 通过查看源代码可以发现这些访问都是通过public角色的;2、角色权限 Admin:拥有所有权限; Alpha:能访问所有数据源,增加或者更改数据源,但不能更改其他用户权限; Gamma:必须结合其他能访问数据源的角色才能访问数据。这个角色所能访问

2020-10-17 11:58:46 5475

原创 Superset从配置到使用系列之三:Superset的第一个demo

需求说明数据主题:用户数据指标:1、各用户类型数量统计,饼图呈现2、每月用户增加量,时序折线图最终页面呈现数据展板,统一展示具体操作步骤设置一下页面语言,Superset做了部分汉化配置数据源数据源–》数据库–》添加,完善数据源信息安装数据库依赖数据库:数据库的显示名称SQLAlchemy URI:配置链接uri,下面有个 SqlAlchemy docs ,详细介绍各种数据库的链接mysql数据库:mysql://username:passw

2020-10-17 11:58:08 1090

原创 Superset从配置到使用系列之二:环境配置和初始化

添加系统依赖 yum upgrade python-setuptools yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel创建虚拟环境为了避免依赖冲突,创建superset的虚拟环境conda create -n super python=3.8进入虚拟环境 source activate

2020-10-17 11:57:29 1066 1

原创 Superset从配置到使用系列之一:基础环境

一、运行环境介绍Vmware 14pro 虚拟机,当然也可以购买云服务器Centos7 操作系统Python 3.8Anaconda3 安装Superset的工具,通过它可以搭建Superset运行的虚拟环境二、运行环境安装1、Centos7的安装(略)特别注意事项是:需要开启网络,否则无能无法下载资源2、Python3.8安装及Pip在当前操作系统中,默认的是python2.x,安装Superset需要和部分环境python3及pip3...

2020-10-17 11:56:56 349

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除