
大数据
砖厂码农
主要从事分布式架构和分布式数据库相关工作。大数据、机器学习、微服务、云原生、区块链均有所涉略。
展开
-
sparkstreaming 实时数据项目中遇到的问题
1.单个partition拉取数据条数的限制 val ppc = new PerPartitionConfig() { override def maxRatePerPartition(topicPartition: TopicPartition): Long = 1000 } KafkaUtils.createDirectStream[String, String...原创 2019-06-20 14:59:53 · 1390 阅读 · 0 评论 -
spark sql(phoenix cdh4.14.0)遇到的问题
1. 创建table CREATE TABLE IF NOT EXISTS table_name ( ...) =column_encoded_bytes=0; 2.TIMESTAMP 和 DATE 类型的数据 相差八个小时 3. spark sql 读取数据的两种方式 sparkSession.sqlContext.phoenixTableAsDataFrame spark.read...原创 2019-06-20 15:18:40 · 432 阅读 · 0 评论