- 博客(17)
- 收藏
- 关注
RSS订阅原创 kafka 通过 flink 将数据落到 doris 的原理
整个流程的关键在于利用 Flink 的流处理能力，将 Kafka 中实时生成的数据高效处理后，直接导入 Doris 中，以便支持后续的分析和查询工作。通过这种集成，可以实现高效的实时数据分析平台，支持海量数据的处理和快速响应的业务需求。
2024-08-20 15:43:08
1882
1原创 HADOOP 保姆级环境搭建及知识总结
首先在官网下载JDK和Hadoop登录Linux到root用户下，创建两个文件目录，例如：module，software两个文件目录，通过FinalShell将两下载好的两个文件上传到module目录下，通过命令将两个文件解压到创建的另外一个目录中去解压完两个文件之后，配置环境变量。配置完上面的两个路径，执行：source /etc/profile 刷新一下我们配置的文件，分别写Java查看配置jdk是否成功，Hadoop查看配置Hadoop是否成功当出现这样的内容说明我们创建成功了。
2024-01-09 23:21:02
1477
原创 hive的学习笔记 持续更新
Hive 的数据都是存储在HDFS上的，默认有一个根目录，在hive-site.xml,由参数hive.metastore.warehouse.dir指定。是hive的一种优化手段表，指根据表中字段的值，经过hash计算规则将数据文件分成指定的若干个小文件。hive中能够写SQL处理的前提是针对表，而不是针对文件，因此需要将文件和表之间的对应关系描述记录清楚。元数据信息（用来描述数据的数据）是hive的一种优化手段表，指定分区列的值将表划分成不同的分区，可以更快的对指定分区数据进行查询。
2024-01-08 22:46:11
620
原创 Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user informat
这个错误起初以为是自己的用户权限被锁了，但是查找了一下发现这个不是用户权限问题，而是自己在输入登录指令的时候发现多了空格。从Hadoop集群登录到hive的时候，虽然登录进去了hive里，但是在操作的时候总是报错。重新筛选了一下登录 指令就好了。
2024-01-04 21:58:45
772
原创 Linux:错误E45：“readonly” option is set(add ! to override)及Job for network.service failed because 解决方法
之后执行systemctl start network 命令是报错：原因是上次你在配网卡是没有保存退出，存在两块网卡的配置文件。可以将上次配置删除，留下刚刚配置好的。然后重新执行：systemctl start network 就不会报错了。显示文件出现：E45: 'readonly' option is set (add!to override)在执行:systemctl stop network。第一步：:set noreadonly。
2024-01-01 21:05:11
1906
原创 linux远程连接finalshell始终失败解决方法
用编译器 编写 vim ifcfg-ens33,修改BOOTPROTO的状态为dhcp（动态ip）再重启虚拟机：shutdown -r now；重启了虚拟机，进入终端命令 : su -root 到root用户下 cd /etc/sysconfig/network-scripts 目录下。自己是虚拟机远程连接一直失败，最后查找很多文献终于解决了这个问题，希望对你们有帮助。刚开始连接不上，查看了网络连接问题：windows +r输入: ncpa.cal。再查看虚拟机的编辑，点击更改设置-还原了默认设置。
2023-12-28 23:14:28
1656
原创 MYSQL插入数据报错：ERROR 1366 (HY000): Incorrect string value: ‘\xD5\xC5\xCE\xDE\xBC\xC9‘
使用上述两个语句查看MYSQL数据库服务器和数据库字符集。显示出来的问题是：所插入的字符串的值不正确。
2023-12-26 11:46:25
299
原创 Linux用户管理及用户组
操作步骤：切换到root用户，执行visudo命令（打开vi编译器：/etc/sudoers），进入文件在最行按i进入编译模式写入：[用户名] ALL=(ALL) NOPASSWD: ALL 完成后按Esc退出编译模式，按:wq保存并退出。linux 系统的真是用户，这类用户可以使用用户名和密码登陆系统。root 用户拥有对系统的完全控制权，能运行任何命令，所以 root 用户也是系统中最具危险性的用户。退出root用户，查看当前目录，返回到/根目录下，通过sudo命令创建文件，发现一创建成功。
2023-12-22 18:03:52
53
原创 MySQL流程控制函数（if, case)
案例：查询员工的工资的情况，如果工资>20000,显示A级别，如果工资>15000,显示B级别，如果工资>10000，显示C级别，否则，显示D级别。案例：查询员工的工资，要求部门号=30，显示的工资为1.1倍,部门号=40，显示的工资为1.2倍,部门号=50，显示的工资为1.3倍,其他部门，显示的工资为原工资。when 常量1 then 要显示的值1或语句1;when 常量2 then 要显示的值2或语句2;when 条件1 then 要显示的值1或语句1。else 要显示的值n或语句n;
2023-12-22 16:15:12
168
原创 Linux编译器vim
例如：输入 vim hello.txt 文件不存在编译新文件，进入hello.txt文件中，按i键键入插入模式，内容输入it and code. :wq为保存并退出。末行模式：用来保存文件内容或退出编辑模式，还能对文件的内容进行搜索、替换、保。入模式），每种模式分别又支持多种不同的命令快捷键，能大大提升工作的效率。输入模式：主要用于文本编辑，在输入模式就可以对正常的文本内容进行编辑。vi 和 vim 都是 Linux 中的编辑器，不同的是。vim 文本编辑器中存在三种模式：命令模式、末行模式（
2023-12-21 22:34:02
178
原创 Linux的echo，飘号(`)， 重定向符，tail
命令 echo pwd 本意是输出当前的工作路径，但是pwd被作为普通字符输出了。因此，可以通过将命令用反引号（飘号）将其包括（`pwd`）会被作为命令执行，而非普通字符。注：无需选项，只有一个参数，表示要输出的内容，复杂的内容可以用""。>>：将左边命令的结果，追加写入到符号右侧指定的文件中。>：将左边命令的结果，覆盖写入到符号右侧指定的文件中。选项：-f 表示持续跟踪，退出跟踪：ctrl c。可以查看文件尾部的内容，跟踪文件的最新更改。参数：表示被跟踪的文件路径。重定向符：>和 >>
2023-12-21 22:05:56
501
原创 linux 的find， which，grep命令及管道符 |
命令不能用来搜索普通文 件，只能用来搜索系统命令。用于在系统中搜索符合条件的文件名，如果需要模糊查询时，就需要使用正。find 搜索路径 [选项] 搜索内容。-name 按照文件名来搜索。列出命令所在的路径，在通配符来进行匹配，
2023-12-20 21:29:47
374
原创 Linux的基本命令
常会用到 2 个符号“./”【表示当前目录下】、“../”【表示上一级目录】。cp -r 参数1 参数2（参数1被复制文件，参数2是复制文件）mv 参数1 参数2 (参数1被移动的文件，参数2要移动去的地方）录，使用“cd ~”可以切换到当前用户的家目录。此处目录 可以是文件夹名称也可以是包含名称的一个完整路径。ls -al:显示所有文件以列表的形式展示。显示所有的文件/文件夹（包括隐藏文件）ls -l :将文件以列表的形式展示。cd ../..返回上两级的目录。cd ../:返回上一级的目录。
2023-12-20 20:29:39
51
原创 MYSQL环境变量
如过命令运行错，说明MySQL的环境变量不对。点击此电脑属性-高级系统设置-环境变量-系统变量中找到path：将MySQL所在的bin目录粘贴进去。MySQL的登陆：mysql -h主机名 -p端口号 -u用户名 -p密码。方法二：通过cmd启动、停止服务：net stop/start mysql。MySQL的退出：exit。方法一：计算机管理-服务。
2023-12-18 20:47:08
48
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人