qq_41945793的博客

【算法学习】线性回归，逻辑回归 回归问题的条件/前提： 1） 收集的数据 2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，...

CDH的安装 此次安装我使用的centos镜像版本为centos7，因为自身电脑配置原因我搭建了一台主机和一台子机。 一.网络的配置以及一些小工具的安装 1.配置网络：采用Nat方式联网。 2. vim /etc/sysconfig/network-scripts/ifcfg-ens33 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.195.11 NETM...

SparkSQL，mapreduce（大数据离线计算）方向学习（一） 图片: 带尺寸的图片: 当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。 如何插入一段漂亮的代码片 去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片. // An highlighted block var foo = 'bar'; 生成一个适合你的列表 项目 项目 项目 ...

【大数据学习之路】SparkSQL，mapreduce（大数据离线计算）方向学习（二）

【大数据学习之路】SparkSQL，mapreduce（大数据离线计算）方向学习（二） SparkSql将RDD封装成一个DataFrame对象，这个对象类似于关系型数据库中的表。 一、创建DataFrame对象 DataFrame就相当于数据库的一张表。它是个只读的表，不能在运算过程再往里加元素。 RDD.toDF(“列名”) scala> val rdd = sc.parallelize...

【大数据学习之路】SparkSQL学习阶段性总结（一） Spark SQL使用场景 1、文件中数据的特殊查询（即席查询；即席查询是可以进行特殊的字段查询自定义的查询；普通查询就是别人已经定义好的查询方式） 2、实时SQL分析流数据 3、可以进行ETL操作 4、与外部数据库的交互 5、具有更大集群的可伸缩查询性能 Spark SQL加载数据 1、直接将数据加载到一个DataFrame中 2、将数据加...

【大数据学习之路】SparkSQL学习阶段性总结（二） 一、使用Hive数据源 1、什么是HiveContext Spark SQL支持对Hive中存储的数据进行读写 操作Hive中的数据时，必须创建HiveContext（HiveContext也是已经过时的不推荐使用，额。。。。。还没学好就已经过时了）。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及...