
生产并消费rocketmq数据并将数据上传到存储服务器上
文章平均质量分 64
已实战为线索,生产、消费rocketmq数据并将数据上传到存储服务器(minio或阿里oss)上。可以掌握安装rocketmq、minio 。 生产、消费、上传数据到minio或者阿里oss上
一枚开发小咸鱼
博主对视频汇聚和视图库接入非常了解,有五年+以上的经验
另外也支持sass定开。
商业合作的话 可加QQ 1148831243 技术咨询也可加 200一次,没解决不收钱。
展开
-
java实现并消费rocketmq数据并将数据上传到存储服务器上
功能点说明1.相关软件的安装2.将数据推送到rocketmq3.消费rocketmq数据4.将数据上传到minio/阿里云oss5.下载minio/阿里云oss数据效果版本minio版本 <!-- https://mvnrepository.com/artifact/io.minio/minio --> <dependency> <groupId>io.minio</groupId>原创 2021-09-22 21:46:06 · 745 阅读 · 0 评论 -
批量删除符合条件的存储文件(使用亚马逊的SDK)
上一章我们实现了查询 这一章我们实现删除。原创 2024-11-06 09:00:00 · 63 阅读 · 0 评论 -
根据指定时间批量获取符合条件的存储文件(使用亚马逊的SDK)
前几天有个项目地的存储占用达到了90%左右,需要释放一些资源。原本是有程序释放资源的,但因为一些原因导致资源释放失败。由于项目比较老,维护起来比较复杂,就单独写了个java的程序用来删除存储上的资源。原创 2024-11-05 17:29:30 · 70 阅读 · 0 评论 -
rocketmq producer同异步发送信息
asyncSend和sendOneWay都是异步方法 ,但能成功生成数据,但异常处理机制不同,我们需要根据自身的需求情况来选择。报错是同一个报错,但sendOneWay需要自己捕获自己处理,一个是在回调方法中可判断是否成功有返回值。@RequestLog 是自定义的日志注解,有兴趣的话 可以看我的这篇。java交流群(限订阅了的加):868794080。启动rocketmq 可参考。原创 2024-06-05 15:41:41 · 99 阅读 · 0 评论 -
kafka producer同异步发送信息
kafka producer同异步发送信息原创 2022-03-11 23:23:32 · 1996 阅读 · 0 评论 -
调用亚马逊oss_sdk获取图片路径
调用亚马逊oss_sdk获取图片路径原创 2022-03-14 22:54:54 · 1018 阅读 · 1 评论 -
调用阿里云oss_sdk获取缩略图路径
调用阿里云oss_sdk获取缩略图路径原创 2022-03-12 23:57:45 · 3454 阅读 · 0 评论 -
调用阿里云oss_sdk获取图片路径
这一期我们分享如何获取图片路径原创 2022-03-12 23:35:39 · 761 阅读 · 0 评论 -
上传在线图片到阿里云oss(使用亚马逊的SDK) 优化版
上传在线图片到阿里云oss(使用亚马逊的SDK) 优化版原创 2022-06-18 18:25:48 · 312 阅读 · 0 评论 -
上传在线图片到阿里云oss(使用亚马逊的SDK)
上传在线图片到阿里云oss(使用亚马逊的SDK)原创 2022-03-14 22:42:51 · 4413 阅读 · 0 评论 -
上传在线图片到阿里云oss(使用阿里云的SDK)
这一期我们分享将在线图片上传到oss中。原创 2022-03-12 23:23:00 · 843 阅读 · 0 评论 -
win10安装kafka kafka_2.13-2.8.1
将收到的数据写到阿里oss,然后将阿里oss图片地址和缩略图地址写到kafka中原创 2022-03-10 23:04:43 · 1189 阅读 · 0 评论 -
特别篇:java实现将视频分片上传到minio(一):视频分片
背景 因为工作中有涉及到关于视频相关的,有一个关于录像写入存储的功 能,是同事写的。比较好奇,就想自己学习看看。 前一阵子正好看到有javacv,里面正好有封装ffmpeng的音视频操作的操作。就学习了下,简单的实现下这个功能。 视频分片引入maven <dependency> <groupId>org.bytedeco</groupId> <artifactId>javacv-platform&原创 2021-10-06 18:57:27 · 1979 阅读 · 0 评论 -
特别篇:java实现将视频分片上传到minio(二):视频文件写入到minio
上期回顾特别篇:java实现将视频分片上传到minio(一):视频分片实现想法上期我们已经将视频分片写到对应的文件夹中,那这期我们是不是只需要读取到对应的文件,然后将文件上传到minio中就可以了。视频文件写入到miniominio版本 <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId>原创 2021-10-06 19:15:49 · 2307 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上12:minio删除数据(8.3.0)
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:minio下载数据(8.3.0)minio删除数据只需要加入以下代码就能获取到下载路径minioClient.removeObjects( RemoveObjectsArgs.builder().bucket(bucketName).objects(list).build());这里有修复了之前的一个bug,我之前有说过:minio删除数据(7.原创 2021-10-01 16:54:12 · 385 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上11:minio下载数据(8.3.0)
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:minio上传数据minio下载只需要加入以下代码就能获取到下载路径//获取图片路径//桶名称 和文件名minioClient.getPresignedObjectUrl(new GetPresignedObjectUrlArgs.Builder() .bucket(bucketName) .object(fileName)原创 2021-10-01 09:08:20 · 280 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上10:minio上传数据(8.3.0)
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:rocketmq消费数据minio上传引入maven包 <!-- https://mvnrepository.com/artifact/io.minio/minio --> <dependency> <groupId>io.minio</groupId> <artifactId>minio</原创 2021-10-01 08:48:18 · 190 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上:minio(8.3.0)引入异常问题
引入maven包这样引入会有一个问题。 <!-- https://mvnrepository.com/artifact/io.minio/minio --> <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.3.0&l原创 2021-10-01 08:32:50 · 318 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上09:阿里云oss删除数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:minio删除数据阿里云oss删除数据引入maven包 <!-- OSS SDK 相关依赖 --> <dependency> <groupId>com.aliyun.oss</groupId> <artifactId>aliyun-sdk-oss</artifactId>原创 2021-09-30 11:10:41 · 196 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上08:minio删除数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:阿里云oss下载数据minio删除数据引入maven包 <!-- https://mvnrepository.com/artifact/io.minio/minio --> <dependency> <groupId>io.minio</groupId> <artifactId>minio</原创 2021-09-27 21:29:26 · 251 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上07:阿里云oss下载数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:阿里云oss上传数据阿里云OSS下载只需要加入以下代码就能获取到下载路径//桶名称 和文件名//过期时间Date expiration = new Date(new Date().getTime() + 3600 * 1000);URL url = ossClient.generatePresignedUrl(ossConfig.getBucketName(), fileName, expiration);获取到原创 2021-09-23 22:33:33 · 183 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上06:阿里云oss上传数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:minio下载数据阿里OSS上传引入maven包 <!-- OSS SDK 相关依赖 --> <dependency> <groupId>com.aliyun.oss</groupId> <artifactId>aliyun-sdk-oss</artifactId>原创 2021-09-23 21:58:03 · 188 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上05:minio下载数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:minio上传数据minio下载只需要加入以下代码就能获取到下载路径//永久获取图片路径//桶名称 和文件名String objectUrl= minioClient.getObjectUrl(bucketName, fileName)获取到的下载路径例子:http://127.0.0.1:9001/test2/data/20210922/S000444002001020040101202009091500022原创 2021-09-22 23:20:28 · 159 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上04:minio上传数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:rocketmq消费数据minio上传引入maven包 <!-- https://mvnrepository.com/artifact/io.minio/minio --> <dependency> <groupId>io.minio</groupId> <artifactId>minio</原创 2021-09-22 22:58:35 · 194 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上03:rocketmq消费数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:rocketmq生产数据rocketmq消费数据引入maven包版本: <ons-client.version>1.8.8.Final</ons-client.version> <commons-beanutils.version>1.9.4</commons-beanutils.version> <dependency>原创 2021-09-22 22:42:33 · 283 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上02:rocketmq生产数据
上期回顾java实现生产并消费rocketmq数据并将数据上传到存储服务器上:安装rocketmq和miniorocketmq生产数据引入maven包版本: <ons-client.version>1.8.8.Final</ons-client.version> <commons-beanutils.version>1.9.4</commons-beanutils.version> <dependency>原创 2021-09-22 22:29:05 · 288 阅读 · 0 评论 -
java实现生产并消费rocketmq数据并将数据上传到存储服务器上01:安装rocketmq和minio
下载并启动rocketmqRocketMQ需要64位的JDK,请确保是64位系统并安装的是的64位JDK配置rocketmq环境变量变量名:ROCKETMQ_HOME变量值:E:\work_software\rocketmq-all-4.3.2-bin-release (你的路径)启动NameServer进入进入rocketmq的bin文件夹,点击文件路径并输入cmd回车然后执行:start mqnamesrv.cmd弹出的窗口不可以关闭启动Broker启动rocketmq-con原创 2021-09-22 21:47:58 · 318 阅读 · 1 评论