
大数据开发
文章平均质量分 80
一级新生
学习!不要停下来啊!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
安装JDK与配置环境变量
在/etc/profile文件的末尾添加JDK的安装目录。引用已添加的JDK安装目录并指定其下的“bin”原创 2024-08-19 18:04:04 · 678 阅读 · 0 评论 -
离线安装 MySQL 数据库系统并实现远程登录
当我们的帐号不允许从远程登录,只能在 localhost 连接时,这个时候只要在 MySQL 服务器上,更改 mysql 数据库里的 user 表里的 host 项,从 localhost 改成 % 即可实现用户远程登录。安装好 MySQL 后,我们需要初始化数据库,初始化和启动数据库时最好不要使用 root 用户,而是使用 mysql 用户启动。将 host 字段的值改为 % 就表示在任何客户端机器上能以 root 用户登录到 MySQL 服务器,建议在开发时设为 %。使用 rpm 命令依次安装。原创 2024-08-19 19:03:52 · 854 阅读 · 0 评论 -
安装Pentaho Data Integration并启动
首先进入“/opt/software/”目录,然后解压“pdi-ce-9.3.0.0-428.zip”包至当前目录下。这是因为 PDI 在 Linux 下需要一些第三方依赖,环境中提供了“webkitgtk-2.4.9-1.el7.x86_64.rpm”的web引擎rpm包,存放在“/opt/software/”目录下。(如果还有其它警告,按照警告信息安装其它的第三方工具解决)执行“/opt/software/pdi-ce-9.3.0.0/”目录下的“./spoon.sh”脚本打开 PDI 图形化界面。原创 2024-08-19 19:36:43 · 934 阅读 · 0 评论 -
介绍 Kettle 的 Spoon 图形化界面工具
位于界面的第二栏,分别有【文件(F)】、【编辑】、【视图】、【执行】、【工具】、【帮助】6 个菜单项。单击菜单栏中的【文件(F)】选项,弹出【文件(F)】快捷菜单下包含的所有选项。单击菜单栏中的【编辑】选项,弹出【编辑】快捷菜单下包含的所有选项。单击菜单栏中的【视图】选项,弹出【视图】快捷菜单下包含的所有选项。单击菜单栏中的【执行】选项,弹出【执行】快捷菜单下包含的所有选项。单击菜单栏中的【工具】选项,弹出【工具】快捷菜单下包含的所有选项。单击菜单栏中的【帮助】选项,弹出【帮助】快捷菜单下包含的所有选项。原创 2024-08-20 12:57:55 · 3034 阅读 · 0 评论 -
【Kettle】新建转换工程
(2)选中“CSV文件输入”组件,右键点击“编辑步骤”弹出“CSV文件输入”组件可配置的所有参数选项,这些参数选项我们会在后续的课程中详细讲解和使用,目前我们只需点击“文件名”参数后的“浏览(B). . .”进行所需读取文件的选择。(6)点击【关闭】按钮,关闭“预览数据”窗口,接着在“CSV 文件输入”窗口点击【确定】按钮即可完成 CSV 文件输入 组件的参数配置。(2)选中“CSV文件输入”后按住键盘上的【Shift】键,然后拖拽至“Excel输出”组件,进行组件间的“节点连接”。原创 2024-08-20 13:42:41 · 1349 阅读 · 0 评论 -
【Kettle】新建任务工程
在新建的【作业 1】任务工程中,点击左边的组件区域中的【通用】对象,显示出【通用】对象下的所有组件,选择【Start】组件,拖拽至右边的工作区域中,完成【Start】组件的创建。弹出保存弹窗,将作业保存至“/root/software/”目录下,并命名为“first_job.kjb”作业文件。配置完成后我们点击工作区域上方的执行按钮,弹出 执行作业 窗口,点击【执行】按钮执行作业。点击菜单栏【文件】,在弹出的子菜单栏中选择【新建】下的【作业(J)】新建一个作业。我们这里配置“类型”为“不需要定时”原创 2024-08-20 13:53:59 · 710 阅读 · 0 评论 -
【Kettle实战】组件讲解(战前磨刀)
在组件的基础参数中,【步骤名称】表示 Excel 输出组件名称,在单个转换工程中,名称必须唯一,默认值为“Excel 输出”。移除选项卡下仅有一个参数“字段名称”,此参数可选择输入流中想要移除的字段,或点击【获取移除的字段】获取要删除的字段。排序是对数据中的无序记录,按照自然或客观规律,根据关键字段大小递增或递减的次序,对记录重新排列的过程。【Excel输出】组件参数包含组件的基础参数,以及【文件】【内容】【格式】【字段】4个选项卡参数。参加排序的字段,使用一个【字段】表来设置字段的参数。原创 2024-08-21 13:43:21 · 673 阅读 · 0 评论 -
【Kettle实战】统计售货机日销售金额
在【Excel输出(售货机日销售金额)】组件中,设置参数,输出的Excel文件名为“无人售货机各售货机日销售金额.xls”,并将其输出到“/root/project/analysis_result/”目录下,此目录如果不存在则自行创建(可使用组件内的“创建父目录”参数实现)。创建【排序记录】组件(组件命名为“排序记录(售货机ID排序)”)、【Excel输出】组件(组件命名为“Excel输出(售货机日销售金额)”)组件,将聚合统计的各售货机的日销售金额输出至Excel文件中,并建立组件之间的连接。原创 2024-08-21 13:15:58 · 1150 阅读 · 0 评论