使用kettle获取网页图片并转存到数据库

原创 于 2025-10-11 09:27:21 发布 · 161 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etl

kettle整体转换

1获取图片地址url

3HTTP client插件获取图片

4JavaScript插件转码

var tp = new Packages.java.lang.String(tpstring).getBytes('ISO-8859-1');

5表输出入库

Kettle获取html网页数据存储到mysql表
APguantou的博客
03-24 2123
使用Kettle抽取html数据并保存在mysql中
通过KETTLE实现sqlserver数据库转换到MYSQL数据库
qq_36537751的博客
08-05 860
从sqlserver数据库转换到MYSQL数据库操作 打开Kettle,进入数据库连接，按照下图标记选择并输入数据库连接信息 连接类型选择： MS SQL Server(Native) 连接方式选择：Native(JDBC) serverTimezone Hongkong 输入表名，点击获取字段， 点击
KETTLE将本地图片抽取到oracle库
gangma2
05-18 1311
一、模拟抽取环境准备： 1、两张要抽取的图片 2、一个Excel表格，表格中是照片的序号和照片的存放路径（用txt也可以，主要作用是kettle能读取到图片的路径） 3、创建图片存放的表，创建语句如下SQL。 create table T_ZP ( xh NUMBER,--序号 path VARCHAR2(2000),--图片存放路径 photo BLOB,--图片 rksj VARCHAR2(20)--入库时间 ) 二、抽取模型 1、打开kettle创建一个转换，依次调用
利用kettle通过http请求批量获取图片并入库示例
weixin_43975784的博客
05-08 3338
批量http请求kettle流程图示例： 1.自定义常量数据组件 2.HTTP web service插件 3.javascript代码 4.表输出 效果如下 写下这篇博客，主要是个人感觉这个东西还挺实用，由于时间长久的话可能就忘记了，所以在这里记录下来，作为经验积累 ...
关于kettle里对特殊编码的转码问题
study_students的博客
10-15 2193
我这里以数据库oracle（WE8ISO8859P1）和sqlserver（UTF-8）互转为例 上图，首先需要表输入 这里的简易转换必须选√ ，虽然会导致预览出现乱码，但是不要慌，这跟最后的结果没啥关联 开始进行第一次转码 数据点击获取改变字段即可，主要是encoding处需要第一次转为GBK 第二次转码 与上一步相同，更改encoding转码为ISO-8859-1 正常输入字段映射即可，执行 这是我成功的结果，这是我在网上查了很久才找到最...
kettle对图片等二进制文件的迁移（使用Oracle数据库）
紫夜的博客
08-22 3630
最近有个需求，就是将图片通过kettle导入到Oracle数据库里进行保存，平时我们在数据库里保存的绝大多数都是结构化数据，而像图片这一类非结构化二进制数据应该怎么保存在Oracle里面呢？
kettle将图片转换至二进制存储至数据库
紫夜的博客
08-22 969
二进制文件（图片、txt文件等）在oracle和文件系统间的传输
Kettle实战100篇 第20篇 MySQL数据库导出到ElasticSearch
八一菜刀的专栏
10-06 3046
业务需求：在系统上线后,原系统的日志信息是存储到MySQL数据库中,但是随着日志数据越来越大,导致数据查询缓慢,加上日志数据并非业务系统关键数据,因此,系统考虑改版升级,使用ElasticSearch来存储日志数据,因此需要将源存在MySQL数据库上的数据迁移到ES中 简单示例 我们先来看一个简单的ES导入数据范例,建立ES的索引结构 PUT /scheduler_log 建立字段...
Kettle 3.2 教程：数据抽取与转存操作指南
"Kettle初级教程提供了关于Kettle PDI的数据转存和数据抽取的指导，包括资源库管理、菜单栏和工具栏的使用、主对象树的操作以及各种转换核心对象的详细介绍。" Kettle（Pentaho Data Integration，简称PDI）是一个...
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
2401_84166327的博客
05-01 980
XML可扩展标记语言eXtensible MarkupLanguage，由W3C组织发布，目前推荐遵守的是W3C组织于2000年发布的XML1.0规范。XML用来传输和存储数据，就是以一个统一的格式，组织有关系的数据，为不同平台下的应用程序服务。
使用Kettle 进行行Oracle数据迁移时处理编码转换处理US7ASCII 编码
不积跬步，无以至千里
11-20 3791
查看Oracle数据源编码： 执行： SELECT Userenv('language') FROM dual; 结果：AMERICAN_AMERICA.US7ASCII mysql 目标库 为utf-8 US7ASCII这个US7ASCII 到底是个神马字符集呢，我们知道其实 ascii是iso-8859-1的子集。那其实US7ASCII 也应该能够转化为iso-8...
kettle获取网络图片（文件）
cict1963的博客
08-09 3835
前言 数据人员提出的需求是，从FastDFS获取图片保存到本地，通过网络请求获取文件此样例适都是适用。 样例转换 样例讲解 以下依次讲解每一步的作用 图片url地址 此处简单的使用了自定义常量数据作为url地址源，一般都是从数据库中得到图片的名称、地址等信息，实际运用中根据实际源头替换此控件...
计算机编码--2.ASCII与ANSI、ASCII扩展与IOS-8859-1
天下英雄出我辈，一入江湖岁月催
07-07 1788
本来想把所有编码写在一起的，无奈每一种编码的知识其实都蛮多的，并且越往后面你的越多，分开写。 编码与解码的定义： 狭义的： 我们要和计算机打交道，必须把人类社会的语言符号和机器中的语言（01）对应起来。将人类设备的语言转变为计算机语言的过程叫做编码，反过来叫做解码。 广义的： 在不同的表达格式上进行的转换，向“自身表达格式”转换的过程称为解码，向"对端表达格式"转换的过程称为编码。...
如何使用kettle对数据库数据进行抽取保存
weixin_44246060的博客
07-19 1921
安装软件： 第一步：开发环境。jdk1.8以及以上 第二步：安装kettle官方软件http://kettle.pentaho.org，目前最新8.2版本。 下载软件包， 下载之后，解压到文件夹就可以了。我的路径为D:\ETL\data-integration。 点击spoon.bat就可以进入图形界面的编辑了（kettle还有两种编辑方式ktr、kjb类型这里不赘述。因为菜、这个图形编辑工具就够...
kettle怎么获取Linux服务器磁盘使用情况并插入数据库
最新发布
07-29
### 获取Linux服务器磁盘使用情况并插入数据库 在Linux系统中，可以通过执行命令（如`df`）获取磁盘使用情况，然后通过Kettle（现称 **Pentaho Data Integration**）将数据抽取、转换并存储到数据库中。 #### 1. 获取磁盘使用情况 Linux系统中可以使用 `df` 命令查看磁盘空间使用情况。例如： ```bash df -h ``` 输出示例如下： ``` Filesystem Size Used Avail Use% Mounted on /dev/sda1 50G 20G 30G 40% / tmpfs 1.9G 0 1.9G 0% /dev/shm /dev/sdb1 100G 50G 50G 50% /data ``` #### 2. 使用Kettle抽取数据 Kettle支持通过“执行Shell脚本”步骤来运行Linux命令并获取输出结果。具体步骤如下： 1. **创建转换（Transformation）** - 添加 **"Execute SQL script"** 或 **"JavaScript"** 步骤来执行命令。 - 更推荐使用 **"Execute a process"** 步骤来运行 `df -h` 命令。 2. **解析输出** - 使用 **"Split fields"** 或 **"JavaScript"** 步骤将输出按行和列进行解析。 - 例如，可以使用正则表达式匹配每一行的字段，提取 `Filesystem`, `Size`, `Used`, `Avail`, `Use%`, `Mounted on` 等信息。 3. **数据清洗与转换** - 转换数据格式，例如将 `Size`, `Used`, `Avail` 从字符串转换为数值（例如 `20G` 转换为 `20480` MB）。 - 去除百分号并转换为数值类型（例如 `40%` 转换为 `40`）。 4. **写入数据库** - 使用 **"Table output"** 或 **"Insert / Update"** 步骤将数据写入目标数据库。 - 确保目标数据库表结构与抽取的数据字段一致。 #### 3. 示例转换设计 1. **输入步骤**：使用 `Execute a process` 运行 `df -h`。 2. **字段解析**：使用 `JavaScript` 或 `Split fields` 解析输出。 3. **字段转换**：使用 `JavaScript` 或 `Calculator` 转换数据格式。 4. **输出步骤**：使用 `Table Output` 将数据插入数据库。 #### 4. 数据库表结构示例 假设目标数据库为 MySQL，表结构可以设计如下： ```sql CREATE TABLE disk_usage ( id INT AUTO_INCREMENT PRIMARY KEY, filesystem VARCHAR(255), size VARCHAR(10), used VARCHAR(10), avail VARCHAR(10), use_percent INT, mounted_on VARCHAR(255), capture_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); ``` #### 5. 调度执行 可以使用 **cron** 或 **Kettle 的作业（Job）功能** 定时执行转换，定期采集磁盘使用情况并存储到数据库中。 #### 6. 扩展功能 - **报警机制**：可以在数据库中设置触发器或通过Kettle的条件判断步骤，当磁盘使用率超过阈值时发送通知。 - **数据可视化**：将采集的数据通过 BI 工具（如 Grafana、Tableau）展示，实现监控和分析功能。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值