- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sqoop写入parquet文件
sqoop import -D mapred.job.queue.name=ittest "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \--connect "jdbc:oracle:thin:@10.1.*:1521:*" \--username "*" \--password "*" \--query "select * from table where \$CONDITIONS" \--hcatalog-database t.
2021-01-04 10:54:23
433
原创 sparkstreaming任务监控脚本（参考用）
spark_main.sh#! /bin/bashwhile read appName do sh /home/mes/report/script/spark/spark_crontab/spark_monitor.sh ${appName}echo ${appName}done < /home/mes/report/script/spark/spark_crontab/spark_app_name.txtspark_monitor.sh#! /bin/bash..
2020-08-25 15:34:05
454
原创 kafka+sparkstreaming+hive参考案例
参考谁的也忘了，就当个案例看看吧。package mes.test.com.mainimport com.alibaba.fastjson.{JSON, JSONObject}import mes.hikcision.com.utils.PropUtilimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.rdd.RDDimport org.apache.spark.s.
2020-08-25 14:47:10
614
原创 sparkstreaming2.2保存offset使用checkpoint、kafka(1.0.1)、redis三种方式案例
1、测试代码，使用三种方法保存kafka的offset（未优化版）package kafka.comsumerimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimp...
2019-08-27 10:43:35
1774
hbase的api，后台操作及代码操作
2019-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人