- 博客(10)
- 收藏
- 关注
RSS订阅原创 spark geo相关
Geotrellisgeotools和opengis apigeomesa+hbasespatial4jgeospark参考：https://blog.youkuaiyun.com/chinagissoft/article/details/50733604https://blog.youkuaiyun.com/chinagissoft/article/details/78558099https://git...
2019-03-19 19:27:54
284
原创 spark访问hive
在cdh中，已经配置好了一切，可以直接在spark-shell访问hive例子：scala> import org.apache.spark.sql.hive.HiveContextscala> val hiveCtx = new HiveContext(sc)scala> val dataDF= hiveCtx.sql(“select * from TABLE”)da...
2019-03-06 20:51:44
619
原创 spark空间信息处理
geosparkspatialspark参考：https://github.com/DataSystemsLab/GeoSparkhttps://blog.youkuaiyun.com/noshandow/article/details/51462101综述：http://www.doc88.com/p-9953550392245.html (硕士论文）https://blog.youkuaiyun.com...
2019-03-04 22:36:05
407
原创 high performance spark读书笔记
Spark SQL is a component that can be used in tandem with the Spark Core. SparkSQL defines an interface for a semi-structured data type, called DataFrames and atyped version called Dataset, with APIs...
2019-03-04 09:28:36
274
原创 机器学习的数据集
UC Irvine Machine Learning Repository — Kaggle datasetsAmazon’s AWS datasetsMeta portals (they list open data repositories):— http://dataportals.org/— http://opendatamonitor.eu/— http://quandl....
2019-03-03 01:29:37
168
原创 flink案例集
基于 Flink 的严选实时数仓实践：https://www.infoq.cn/article/Lrg1J4*tWOak2WLqKyhF
2019-03-03 01:23:46
882
转载 数据科学家
以下是你在数据领域需要解决的一些问题：1）创建 Python 包2）将 R 语言用在生产环境中3）优化 Spark 作业，使其更有效地运行4）对数据进行版本控制5）让模型和数据可重现6）对 SQL 进行版本控制7）在数据湖中建立和维护干净的数据8）大规模时间序列预测工具9）共享 Jupyter Notebook10）寻找可用于清理数据的系统11）JSON...
2019-03-03 01:21:52
184
转载 工业大数据分析
工业大数据分析描述性分析新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入描述性分析描述型分析用来回答 描述型...
2019-02-28 15:58:56
2652
原创 预测性维护
参考：https://www.infoq.com/articles/challenges-of-data-preparation-for-predictive-maintenance?utm_source=articles_about_bigdata&utm_medium=link&utm_campaign=bigdatahttps://mapr.com/blog/predic...
2019-02-13 10:36:28
2067
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人