- 博客(38)
- 资源 (2)
- 收藏
- 关注
原创 Stable Diffusion 提示词解析|AI绘画
玩了很久的SD,感觉已经没有一开始的激情了,最近有幸看到了几篇关于提示词的指导文章,突然感觉又发现了新大陆,整理后供大家一起学习。
2024-01-12 10:14:19
1574
2
原创 无需翻墙|Stable Diffusion WebUI 安装|AI绘画
最近终于有机会从围墙里往外看,了解到外面的世界已经有了天翻地覆的变化,感叹万千,笔者在本地mac,windows,linux,docker部署了不下20遍后,整理出来的极简避坑安装方案,供大家参考学习。
2023-12-29 14:46:25
3235
3
原创 Flink 实现Mysql的数据同步 Mysql Sink Mysql
Flink Sink Mysql 简单实现 环境需求解析完整代码源码下载附:mysql-cdc环境组件版本scala2.12netcat*kafka*mysql*flink1.13.3需求监听mysql某个表的动态,实时同步到另一个数据库中。当然使用maxwell或canal也可以实现同样的效果。这里只是简单演示解析创建环境//创建环境 val settings = EnvironmentSettings.newInsta
2021-11-21 15:54:54
5133
2
原创 Flink Sink Mysql 简单实现
Flink Sink Mysql 简单实现 环境解析完整代码源码下载环境简单实现从一个数据源获取数据,根据特定标识字段,将数据sink到不同mysql表中。组件版本scala2.12netcat*kafka*flink1.13.3解析创建环境、输入流,从socket获取输入数据 val env = StreamExecutionEnvironment.getExecutionEnvironment val inputStream = env
2021-11-21 15:09:42
2412
原创 Flink 自定义 filter 简单实现
Flink filter 简单实现 环境解析源码下载环境组件版本scala2.12netcat*flink1.13.3解析自定义Filter函数,继承 flink 的 FilterFunction 方法package com.z.demo.filterimport org.apache.commons.lang3.StringUtilsimport org.apache.flink.api.common.functions.FilterFunctio
2021-11-21 14:52:04
1780
原创 Flink datastream join 示例
Flink datastream join 示例 环境环境测试从kafka获取数据,直接在控制台打印结果组件版本scala2.12kafka*flink1.13.3
2021-11-18 09:12:24
493
原创 Flink Table中groupby的使用
Flink sql 中group by的使用 环境解析完整代码依赖环境测试从kafka获取数据,直接在控制台打印结果组件版本scala2.12kafka*flink1.13.3解析创建环境val settings = EnvironmentSettings.newInstance().inStreamingMode().build()val tEnv = TableEnvironment.create(settings)创建表 tEnv.ex
2021-11-16 10:26:25
1556
原创 Flink sql 中group by的使用
Flink sql 中group by的使用 环境解析完整代码依赖环境测试从kafka获取数据,直接在控制台打印结果组件版本scala2.12kafka*flink1.13.3解析创建环境val settings = EnvironmentSettings.newInstance().inStreamingMode().build()val tEnv = TableEnvironment.create(settings)创建表tEnv.exe
2021-11-16 09:21:44
2051
原创 Flink SQL - OVER windows‘ ordering in stream mode must be defined on a time attribute.
OVER windows' ordering in stream mode must be defined on a time attribute.
2021-10-27 15:32:39
4353
1
原创 大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比
大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比概述环境数据库配置安装配置启动命令输出结果HA监控web总结概述前两章分别写了maxwell和canal的安装使用,我本人其实是第一次听说这两个工具。那就从新手使用方面,对比下这两个工具。环境工具版本LinuxCentos 7JDK1.8scala2.11mariadb10.3Zookeeper3.5.8kafka2.4.1Flink1.1
2021-10-07 14:19:42
920
原创 大数据平台实时数仓从0到1搭建之 - 13 Canal
大数据平台实时数仓从0到1搭建之 - 13 Canal概述Canalquickstart修改MariaDB配置Docker下载canal-server启动canal-server客户端输出收尾附客户端代码概述今天学习下Mysql数据库的实时数据采集,看着网上比较流行的有阿里的Canal和Maxwell,看着GitHub上还是用Canal的的人多一点,可能是因为阿里的开源项目。不过,工具不在乎背景,适合自己的才是最好的。初次认识到这两个工具,先从实践来看下两个工具的相似和不同。Maxwell官网:M
2021-10-07 11:23:41
605
原创 大数据平台实时数仓从0到1搭建之 - 11 docker
大数据平台实时数仓从0到1搭建之 - 11 server113概述docker安装配置镜像站完成概述创建个新节点,用来安装一些工具服务,配套基础服务Dockerserver113 192.168.1.113docker安装参考菜鸟教程,https://www.runoob.com/docker/centos-docker-install.html[root@server113 ~]# curl -fsSL https://get.docker.com | bash -s docker
2021-10-06 17:15:54
276
原创 jdk各种版本下载地址,直接下载,无需登录
jdk各种版本下载地址,直接下载,无需登录http://jdk.java.net/archive/
2021-10-06 15:38:30
26347
1
原创 大数据平台实时数仓从0到1搭建之 - 10 阶段回顾
大数据平台实时数仓从0到1搭建之 - 10 阶段回顾概述jpsall整体架构概述截止kafka安装完成,其实一个简单的架构已经可以用了,这里整理下现在集群上安装的各种服务jpsalljpsall,展示出目前三台节点上所有的java进程[root@server110 opt]# ./jpsall.sh ----------------jps server110 --------------------31744 QuorumPeerMain32420 Jps32182 Kafka173
2021-10-03 22:27:46
284
原创 大数据平台实时数仓从0到1搭建之 - 09 Flink 集群&OnYarn
大数据平台实时数仓从0到1搭建之 - 09 Flink 安装配置概述Flink集群规划安装配置文件同步Standalone模式集群启动web UI测试关闭集群Flink on Yarn同步到其他机器提交任务安装完成附件:kafka生产者附件:WordCount 代码概述Flink集群规划server110server111server112FlinkJobManagerTaskManagerTaskManagerTaskManager安装配置[root@serv
2021-10-03 21:54:10
431
原创 大数据平台实时数仓从0到1搭建之 - 08 集群脚本
大数据平台实时数仓从0到1搭建之 - 08 集群脚本概述环境变量jps & jpsall.shzkServer.sh & zk.shkafka-server-start & kafka.sh概述目前涉及到的zookeeper和kafka,都是需要在每台机器上做启动停止操作,本文使用shell脚本,处理集群的操作重点语法:ssh host 命令在对应的host节点上执行某个命令环境变量需要修改对应的用户的环境变量,使用root用户执行脚本,则需要在/root/.b
2021-10-03 16:28:01
205
原创 大数据平台实时数仓从0到1搭建之 - 07 kafka 安装配置
大数据平台实时数仓从0到1搭建之 - 07 kafka 安装配置概述kafka集群规划安装配置同步到其他节点集群启动集群测试安装完成概述kafka安装也比较简单,只需要配置数据存储路径和集群服务器就行,需要注意的也是集群唯一标识broker.idkafka集群规划server110server111server112kafkabroker.id.0broker.id.1broker.id.2安装配置[root@server110 software]# t
2021-10-03 16:05:15
196
原创 大数据平台实时数仓从0到1搭建之 - 06 zookeeper 安装配置
大数据平台实时数仓从0到1搭建之 - 06 zookeeper 安装配置概述zookeeper集群规划安装配置同步其他机器测试安装完成概述zookeeper 安装比较简单,只需要在zoo.cfg中加入集群信息即可,需要注意的地方是zkData/myid不要忘了配置,三台机器id不能相同zookeeper集群规划server110server111server112zookeeperzk.1zk.2zk.3安装#直接解压[root@server110 so
2021-10-03 14:38:05
146
原创 大数据平台实时数仓从0到1搭建之 - 05 hive 安装配置
大数据平台实时数仓从0到1搭建之 - 05 hive 安装配置概述集群规划mariadb10.3安装配置创建metastore库和hive用户hive解压hive-env.sh配置hive-site.xmlmysql jar包初始化元数据配置完成测试hive同步到server111,server112完成概述hive不需要集群配置,在server110上安装配置完,然后复制到server111,server112就行环境具体的环境信息可以参考02-架构设计篇Centos 7jdk 1.8
2021-10-03 12:55:30
284
原创 hadoop historyserver启动,无法访问,查看报错等问题
hadoop historyserver启动,无法访问,查看报错等问题1、historyserver无法启动2、historyserver已启动,可以看到进程,web无法访问url3、historyserver已启动,可以访问日志,提示可能未完成日志聚集记录下hadoop遇到的问题1、historyserver无法启动mapred-site.xml 文件里配置的server111节点,所以只能在server111节点启动,其他节点均不能启动2、historyserver已启动,可以看到进程,
2021-10-03 00:09:10
4687
原创 大数据平台实时数仓从0到1搭建之 - 01 目录
大数据平台实时数仓从0到1搭建之 - 01 目录概述目录概述由于公司架构选型,正好有机会可以从传统数仓向大数据离线实时数仓转型,记录下自己学到的东西,以及遇到的问题。预计框架组件,希望路过的大佬可以指点一二hadoop,hive,hbase,zk,kafka,flink,mysql目录大数据平台实时数仓从0到1搭建之 - 01 目录大数据平台实时数仓从0到1搭建之 - 02 架构设计大数据平台实时数仓从0到1搭建之 - 03 虚拟机基础配置大数据平台实时数仓从0到1搭建之 - 0
2021-09-30 21:22:53
450
原创 Cognos - DPR-ERR-2058 调度程序此时不能处理请求。 调度程序仍在初始化。 如果问题仍然存在,请与管理员联系。
DPR-ERR-2058 调度程序此时不能处理请求。 调度程序仍在初始化。 如果问题仍然存在,请与管理员联系。ERROR [ognos.pogo.http.StandaloneServerConnection] findingActiveCmThread: Unable to initialize CAMFactory CAM-CRP-1085 验证是否已载入安全提供程序类时发生错误。 原因:java.lang.ClassNotFoundException: org.bouncycastle134.jce
2020-05-29 20:31:28
867
原创 查看oracle表被哪些其他用户程序所引用
oracle 查看表被哪些其他用户程序所引用DBA_SOURCE 根据表名模糊匹配DBA_DEPENDENCIES 根据表名或用户查询依赖
2020-05-29 00:07:10
1411
原创 Linux虚拟机-桥接网络-可视化简单配置
Linux虚拟机-桥接网络-可视化简单配置,nm-connection-editor,systemctl restart network
2020-05-25 22:21:30
713
原创 SEO小白在线试坑(一)
最近看了一本SEO的书,感觉内容并不像想象中那么困难,所以想记录学习并测试下书中的方法前言SEO相关后续前言最近看了一本SEO的书,感觉内容并不像想象中那么困难,所以想记录学习并测试下书中的方法,后期练习的时候,还希望各个圈内的大佬指点一二。SEO相关选择合适的域名、服务器、系统域名主要是让用户好记服务器是要求带宽够用,避免搜索引擎抓取数据的时候网速跟不上这里的系统应该指的是软件,免费开源的别人写好的建站工具核心关键词、次要关键词、长尾关键词搜索引擎抓取网站的重点网站
2020-05-23 00:18:22
149
原创 Linux开机失败,救援模式修复
Linux开机失败,救援模式修复环境步骤环境系统 - 虚拟机 centos7为了搭建samba,开启了selinux,然后系统开机就一直在转圈圈,所以本文记录救援模式修复的过程步骤重启系统进入内核,看到如图菜单的时候按e键,进入编辑模式找到如下图所示位置,添加rd.break console=tty0,然后按CTRL + X保存,系统自动重启理论上不出问题的话,将看到如下界面,然后执行,注意rw和remount直接的是逗号,且没有空格,看到shell有变
2020-05-19 13:23:13
1855
原创 按照官网步骤sbin/start-yarn.sh失败
按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh 启动失败sbin/stop-yarn.sh 执行失败环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式sbin/start-yarn.sh 启动失败[root@ip10 hadoop-3.2.1]# sbin/start-yarn.sh Starting resourcemanagerERROR: Attempting to op
2020-05-17 22:58:39
4252
3
原创 从本地往hadoop上复制文件失败
从本地往hadoop上复制文件失败环境执行bin/hdfs dfs -put etc/hadoop/*.xml input失败问题2:Name node is in safe mode.环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式执行bin/hdfs dfs -put etc/hadoop/*.xml input失败[root@ip10 hadoop-3.2.1]# bin/hdfs dfs -put etc/hadoo
2020-05-17 22:23:51
3044
原创 启动hadoop无法访问web NameNode
启动hadoop后,无法访问NameNode网页环境按照官网步骤启动hadoop后,无法访问页面环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式按照官网步骤启动hadoop后,无法访问页面我这里遇到的是linux防火墙问题,学习阶段建议关闭防火墙,避免在不必要的问题上浪费精力systemctl status firewalld.service #查看防火墙状态 centos7systemctl disable firew
2020-05-17 21:26:55
1725
原创 自学hadoop 遇到的第一个问题
自学hadoop 遇到的第一个问题环境执行sbin/start-dfs.sh报错,启动失败环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式执行sbin/start-dfs.sh报错,启动失败Starting namenodes on [localhost]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAM
2020-05-17 21:10:24
653
Stable Diffusion WebUI -模型&依赖-006
2023-12-29
Stable Diffusion WebUI -模型&依赖-005
2023-12-29
Stable Diffusion WebUI -模型&依赖-004
2023-12-29
Stable Diffusion WebUI -模型&依赖-003
2023-12-29
Stable Diffusion WebUI -模型&依赖-002
2023-12-29
Stable Diffusion WebUI -模型&依赖-001
2023-12-29
flinkDemo完整代码scala版 - flinkDemo.zip
2021-11-18
echarts树图实现点击收缩子节点
2016-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人