- 博客(27)
- 收藏
- 关注
RSS订阅原创 初识LangChain和AutoGPT
AutoGPT是一个开源应用程序，它结合了GPT-4和GPT-3.5技术，可以自主实现用户设定的目标。AutoGPT具有以下功能：读写文件、浏览网页、审查提示结果、互联网访问、长期和短期内存管理，以及使用GPT-3.5进行文件存储和生成摘要等。它是一个为聊天机器人、生成式问答（GQA）、摘要等提供支持的库。
2023-08-28 20:54:33
3768
原创 log4j 学习
①程序需要打印日志，必须先声明一个Logger。②调用Logger，使用不同的级别打印日志。FATAL: 打印致命错误信息ERROR: 打印错误信息WARN: 打印警告信息INFO: 打印普通信息DEBUG: 打印调试信息TRACE: 打印追踪信息③在配置文件中编写Appender(决定日志输出到哪里及格式)。④在配置文件中编写策略(哪些Logger使用什么Appender打印)。
2022-10-04 17:50:11
289
原创 Java新日期时间工具类-LocalDate、LocalDateTime与timestamp、Date的转换
LocalDate、LocalDateTime与timestamp、Date 之间的相互转换
2022-10-04 13:35:10
671
原创 git笔记
让git显示正在跟踪的文件列表。将 .idea 等不需要的文件推到远程仓库。远程仓库回退版本。部分内容转自https//www.cnblogs.com/liuer-mihou/p/10877493.html。
2022-07-19 06:45:46
542
原创 窗口函数-笔记
知乎：https://zhuanlan.zhihu.com/p/165210822window_function_name(window_name/expression)OVER ([partition_defintion][order_definition][frame_definition])窗口数据集由"[partition_defintion]“，”[order_definition]“，”[frame_definition]"确定。窗口函数中的元素1) 函数名 window_function_
2022-07-12 11:38:52
190
原创 Linux常用命令
查看内存剩余 参数：服务类1.临时后台服务管理2.开机自启网络、防火墙选项说明防火墙关闭systemctl stop firewalld.service 关闭防火墙服务firewall-cmd --state 检查防火墙状态防火墙自动启动systemctl is-enabled firewalld（查看状态）systemctl disable firewalld（关闭）systemctl enable firewalld（开启）重起网卡 systemctl restart ne
2022-07-11 13:21:46
281
原创 大数据组件集群-常用启停命令
NameNode格式化（首次启动）格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）（1）整体启动/停止（常用）start-dfs.sh/stop-dfs.sh (任意节点都可以，一般在namenode节点）start-yarn.sh/stop-yarn.sh（须在resourceManager节点)（2）分别启动/停止hdfs --daemon start/stop namenode/datanode/seco
2022-07-11 13:15:46
1308
原创 大数据组件常用日志位置
*重要日志的位置( user是启动服务的用户，hostname 是机器的名字)*NameNode: $HADOOP_HOME/logs/hadoop-user-namenode-hostname.logDataNode: $HADOOP_HOME/logs/hadoop-user-datanode-hostname.logJobTracker: $HADOOP_HOME/logs/hadoop-user-jobtracker-hostname.logTaskTracker: $HADOOP_HOME/log
2022-07-11 13:13:00
869
原创 大数据常用web页面
http://hadoop102:9870/http://hadoop103:8088/clusterhttp://hadoop104:9868http://hadoop102:19888/hadoop102:8020
2022-07-11 13:04:56
346
原创 phoenix-数据采集项目-spark-零散笔记
0225yarn-site.xml 配置10-SparkSpark为什么比MR快普通集合和迭代器的区别普通集合（如List等）会把所有数据加载到内存，若数据量太大，用普通集合会内存溢出。但是迭代器不会，迭代器是需要数据的时候才加载到内存。......
2022-07-11 13:00:51
403
原创 VIM 学习
以vi/vim打开一个档案就直接进入一般模式了（这是默认的模式）。在这个模式中， 你可以使用『上下左右』按键来移动光标，你可以使用『删除字符』或『删除整行』来处理档案内容， 也可以使用『复制、贴上』来处理你的文件数据。表1-1常用语法句号.可以重复上一次操作，因此可用“."连续缩进。全选、复制y 复制选中内容到0号寄存器"+y 复制选中内容到＋寄存器，也就是系统的剪贴板，供其他程序用VISUAL模式进入：v 功能：选中VISUAL LINE模式进入：V（shift+v） 功能：行
2022-07-11 12:56:33
370
原创 Flink 笔记
Flink运行时包含2种进程:1个JobManager和至少1个TaskManagerTaskManager 是一个JVM进程。经验：TaskManager内存设置，一般一个TaskManager 4-6G内存；再大反而不好，因为可能会发生GC，发生GC时TaskManager不对外工作，若内存很大，发生GC时 时间会比较久。内存设置超出yarn上限也不好。yarn一个任务的内存上限默认是8G。Slot：对CPU和内存的封装 一个TaskManager有多个slot, 多个slot之间对内存进行隔离，共享
2022-07-11 12:51:15
910
原创 MyBatis和log4j 零碎笔记
尚硅谷SparkStreaming项目中要用到的知识点。配置规则namespace:必须和接口的全类名一致 sql 的id： 必须和对应的方法名一致占位符：#{}内的参数要和pojo的属性名完全一致，才能获得set、get方法。sql.xml要在主xml中的mapper标签中声明。①程序需要打印日志，必须先声明一个Logger。②调用Logger，使用不同的级别打印日志。FATAL: 打印致命错误信息ERROR: 打印错误信息WARN: 打印警告信息...
2022-07-11 11:44:04
150
原创 尚硅谷-离线数仓-笔记
数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。数据仓库（ Data Warehouse ），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备
2022-07-11 10:03:52
2176
原创 HQL笔记
查看所有表 查看函数的功能分区表查询语句原则Hive函数1、判断类if(条件表达式，为true执行， 为false执行 )nvl(值，默认值)： 当值不为null返回值，否则返回默认值coalese(值1，值2…): 返回第一个不为null的值isnull(值)： 值 is null等价isnotnull(值)： 值 is not null类似java中的多重if -elsecase when 条件判断1 then xxxx when 条件判断2 then xxxx … else xx
2022-07-11 09:57:00
898
原创 阿里fastjson解析脏数据时的坑，fastjson解析null和空字符串““时的结果记录
用阿里的fastjson解析脏数据时，可能会遇到null和空字符串"“, fastjson解析null和空字符串”"时的结果都为null。并不会抛异常！因此，在过滤脏数据时，若直接根据fastjson抛不抛异常来过滤，会返回null值，导致后面的空指针异常！过滤的时候加上非空判断。...
2022-06-19 10:48:46
797
原创 FlinkSQL 执行executeInsert方法，把结果写出到MySQL时，结果表和sink的表的字段顺序不一样导致错误
FlinkSQL 执行executeInsert方法，把结果写出到MySQL时，结果表和sink的表的字段顺序不一样导致错误结论FlinkSQL 执行executeInsert方法时，结果表和sink的表的字段顺序必须一致
2022-06-15 12:55:13
1239
原创 FlinkSQL求TopN时遇到的错误
在求TopN的时候，一步一步测并打印测试结果。遇到如下问题执行上面代码的时候，报下面的错误：org.apache.flink.table.api.TableException: The window can only be ordered in ASCENDING mode.把desc降序删掉又报下面的错误org.apache.flink.table.api.TableException: OVER windows’ ordering in stream mode must be defined o
2022-06-15 11:07:58
2246
2
原创 使用Flink CDC 2.x版本 读取MySQL，只能读取全量数据，无法读取增量（binlog） 数据
使用Flink CDC 2.x版本，读取MySQL的时候，只能读取全量数据，无法读取增量（binlog） 数据我本身已经开启了checkpoint在github上找到相关问题解答，但是我本身已经开启了checkpointhttps://github.com/ververica/flink-cdc-connectors/wiki/FAQ(ZH)后来把HDFS上的checkpoint目录删掉，问题就解决了。怀疑之前的checkpoint可能有问题。...
2022-06-11 10:03:23
3296
原创 javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites
javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate)
2022-06-10 17:09:12
297
1
原创 大数据基础-董CC
大数据基础JAVA基础:集合,线程,IO,反射,泛型,Map(映射),JVM(1.8),GC,算法,数据结构,streamWEB:GIT, VUE，Mysql,主从,读写分离,分库分表,索引,存储过程.SSM：Shiro,看雷图画雷图,设计模式,servlet,生命周期,过滤,拦截,监听JT:业务,nginx,redis(缓解数据库压力应对高并发,去状态),dubbo(zookeeper),mycat,微服务:cloud,MQ(RabbitMQ(1.2W),RocketMQ(3-5W),Kafka.
2021-05-24 23:22:34
297
原创 Flink 笔记 DN
Flink 笔记 DNFlink 笔记Flink介绍Flink近年来逐步被人们所熟知，不仅是因为Flink提供同时支持高吞吐、低延迟和exactly-once语义的实时计算能力，同时Flink还提供了基于流式计算引擎处理批量数据的计算能力，真正意义上实现了批流统一，同时随着阿里对Blink的开源，极大地增强了Flink对批计算领域的支持。众多优秀的特性，使得Flink成为开源大数据数据处理框架中的一颗新星，随着国内社区不断推动，越来越多的国内公司开始选择使用Flink作为实时数据处理技术。Flin
2021-05-05 17:52:43
589
Flink动态CEP，来自啤酒鸭
2022-09-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人