- 博客(18)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Error:(16, 195) value toDF is not a member of org.apache.spark.rdd.RDD[Person]
今天在做spark测试把程序打包的时候报这个错误：Error:(16, 195) value toDF is not a member of org.apache.spark.rdd.RDD[Person]解决方法：把 case class People(name : String, age : Int)的定义放在main函数之外问题就解决了。网上还提供一种方法是import sqlCon...
2018-12-27 10:13:44
1155
原创 java.nio.charset.MalformedInputException: Input length = 1
今天用scala命令运行程序的时候出现这个错误：java.nio.charset.MalformedInputException: Input length = 1后来发现是因为在程序里要统计一个文本中的词频，而这个文本文件编辑后没用保存，因此运行的时候报错了，将文本:wq保存后再次运行就没问题了。...
2018-12-24 14:20:10
1691
原创 Caused by: java.io.IOException: java.lang.reflect.InvocationTargetException
今天在使用hbaseTemplate向Hbase里写数据时报错错误信息：Exception in thread "main" org.springframework.data.hadoop.hbase.HbaseSystemException: java.lang.reflect.InvocationTargetException; nested exception is java.io....
2018-09-28 16:34:06
6529
原创 Caused by: org.xml.sax.SAXParseException; lineNumber: 11; columnNumber: 75; cvc-complex-type.2.4.c:
今天在spring-habse.xml引用外部文件时报错报错信息：Caused by: org.xml.sax.SAXParseException; lineNumber: 11; columnNumber: 75; cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found ...
2018-09-28 10:53:57
3685
原创 HBase常用API开发代码
package com.imooc.bigdata.hbase.api;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.Ta...
2018-09-27 10:24:07
525
原创 sqoop 命令
# sqoop 帮助./sqoop help# sqoop import命令帮助./sqoop import --help# sqoop 列出database；./sqoop list-databases --connect jdbc:mysql://127.0.0.1/ --username root -P# sqoop 测试链接查询数据./sqoop eval --connect...
2018-09-27 10:19:27
636
原创 HBase shell命令
# HBase shell中的帮助命令非常强大，使用help获得全部命令的列表，使用help ‘command_name’获得某一个命令的详细信息help 'status'# 查询服务器状态status# 查看所有表list# 创建一个表create 'FileTable','fileInfo','saveInfo'# 获得表的描述describe 'FileTable'# 添...
2018-09-27 10:18:32
164
原创 使用sqoop将mysql中的数据导入Hive时报错
1.使用sqoop在hive中创建一个和mysql中数据结构一样的表时报错 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@6302bbb1 is still active. No st...
2018-09-13 14:32:39
1023
原创 在hive中建表时出错（NoViableAltException(296@[])）
hive> create table sqoop_test( > 3 id int, > 4 name string, > 5 age int > 6 ) > 7 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ;NoViableAltException(296@[]...
2018-09-13 14:00:03
6593
4
原创 sparksql读取hive中的数据保存到hdfs中
package wondersgroup_0905_Testimport org.apache.spark.sql.SparkSessionobject sparkHive { def main(args: Array[String]): Unit = { //数据库名称 val database ="hivetest" //表名称 val table...
2018-09-07 10:38:33
7053
原创 blukload方式将数据写入HBase
package wondersgroup_0628.comimport java.util.{Base64, Date}import com.wonders.TXmltmpimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.hbase.{HBaseConfiguration, KeyValue, TableName}im...
2018-08-15 10:41:55
405
原创 使用spark将数据写入Hbase
--------------组装xml并捕获异常-------------------package wondersgroup_0628.comimport java.io.{IOException, PrintWriter, StringReader, StringWriter}import java.util.Base64import com.wonders.TXmltmpim...
2018-08-15 10:40:35
3018
原创 重启CDH服务
找到cm的目录cd /opt/cm-5.13.2/etc/init.d查看sever状态./cloudera-scm-server status重启server./cloudera-scm-server restart再次查看sever状态./cloudera-scm-server status查看agent状态./cloudera-scm-ag...
2018-08-10 14:22:54
3215
1
原创 使用spark将数据以bulkload的方式写入Hbase时报错
Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of one region从报错日志中可以很明显看出因为Hfiles的个数超出了32默认的时32,关键时怎么改的问题，我们用的是CDH在Hbase的webui页面，没找到类似配置，通过在网上查找资料发现...
2018-08-06 16:26:55
1416
原创 spark container exited fom explicit termination request
今天再看spark ui界面“spark Jobs"的”Event Timeline“选项时发现有个excutor被移remove了。虽然任务没有报错，但是还是不放心，万一产品上线再出问题就完了，于是就在网上找了一些资料，网上关于这个问题的帖子并不多，这一个可供参考：https://stackoverflow.com/questions/35649146/spark-looses-all-exec...
2018-07-31 10:45:27
2624
1
原创 提交spark任务Requesting 1 new executor because tasks are backlogged (new desired total will be 1)
这两天在集群上提交任务时一直提交不成功，一直爆出下面的问题，如果不主动停掉就会一直刷 check your cluster UI to ensure that workers are registered and have sufficient resources，开始以为是资源不足的问题，在网上找了好多方法测试都不行，后来发现虽然一直再刷等资源的问题（下面的报错日志，以我的蹩脚英语理解为等资源，
2017-11-03 14:37:30
2426
原创 学习是一个漫长的过程
每天都活着一个虚无缥缈的世界是一件很痛苦的事情，我们要学会取舍，丢掉那些可有可无的东西，活在完全独立的今天，努力去做一个有价值的人而不是一个成功的人。
2016-07-28 20:19:02
3175
ETL开发工具（kettle）kettle产品使用指导手册
2017-10-26
PaperPass-VIP专业版-检测报告
2016-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人