- 博客(16)
- 收藏
- 关注
RSS订阅
原创 关于scala的main方法传参和使用的方法
def main(args: Array[String]): Unit = { val spark = SparkSession .builder() //.master("local") .appName("name") .config("hive.metastore.uris", "****") .enableHiveSupport() .getOrCreate()//默认值设置，如果是int就改为int和0 var user:String =.
2021-09-27 17:11:16
2529
3
原创 杀掉mysql关不掉或者死锁的任务
1. 查看事物表，找出被锁线程的id：SELECT * FROM information_schema.INNODB_TRX;2. 根据id，kill掉被锁住的线程：kill 888（trx_mysql_thread_id）
2024-01-09 10:11:03
812
原创 实时的表结构的变化，这个要怎么去处理
请根据你的具体需求和环境选择适合的方法。无论选择哪种方法，都要确保对数据库变化进行严格的测试，并有良好的备份策略，以防止不必要的数据丢失或应用中断。处理实时表结构变化的方式取决于你的具体应用场景和需求。
2023-10-18 16:32:40
162
原创 mysql增加自增列
所以MySQL可以通过多种方式模拟实现一个自增rowid用于查询结果中。需要注意的是,如果没有ORDER BY的话,rowid的顺序是不确定的。通过ORDER BY按某个字段排序,结合用户变量生成rowid。这个方法通过变量@rowid来实现每行rowid自动加1。类似方法1,只是使用用户变量@rownum。4. 使用ORDER BY FIELD。通过子查询来计数实现rowid。
2023-08-25 16:35:05
2868
1
原创 关于大数据spark的Hive集群到Hive集群的方案
object names { def main(args: Array[String]): Unit = { saveAsCsv() readCsvToHive() } //csv转成Hive表 def readCsvToHive(): Unit = { val spark = SparkSession .builder() .appName("name1")..
2022-02-14 17:54:42
809
原创 Spark基于Scala读取mongo数据到Hive进阶之结构读法schema
package qjdchina.odsData.mondbimport java.text.SimpleDateFormatimport java.util.{Calendar, Date, GregorianCalendar}import org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.sql.{SaveMode, SparkSession}object vi.
2022-02-09 11:30:48
1417
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人