SparkOnYarn的博客

一、Scalikejdbc操作MySQL数据库1.1、通过SQL准备一张表，有id,name,age三个字段1.2、通过Scalikejdbc往user表中添加10条记录1.3、通过Scalikejdbc查询表中所有的数据1.4、通过Scalikejdbc将id=8的数据的age加10一、Scalikejdbc操作MySQL数据库1.1、通过SQL准备一张表，有id,name,age三个字段1.2、通过Scalikejdbc往user表中添加10条记录1.3、通过Scalikejdbc查

一、上次课回顾二、ScalaJDBC连接Scala中的类型&&转换三、函数、方法3.1 函数的定义3.2 函数的调用3.3 函数循环表达式四、面向对象编程4.1 面向对象-从定义类开始4.2 定义SparkConf4.3 构造器（主构造器和附属构造器）一、上次课回顾https://blog.youkuaiyun.com/SparkOnYarn/article/details/106384630讲了函数完整的定义，定义函数的入参，每一个参数的定义；如果有返回值，

一、上次课回顾二、Scala的变量Var、Val类型转换三、函数、方法3.1函数的定义3.2函数的调用3.3函数循环表达式一、上次课回顾1、注意源数据与元数据的区别，源数据对于Mapreduce来说的话就相当于是输入的数据；而元数据是描述数据的数据2、Hive对应到MySQL元数据库中的一些表，tbls dbl表的关联关系3、集群数据规模的评估，多少机器、多少业务线、几副本、数据要存几年，拿到磁盘的空间，需要预留30%-50%的空间，为了避免数据突增；比如系统OOM，mapred