- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark调优详解
本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。1、spark调优之分配更多资源/usr/local/spark/bin/spark-submit \--class cn.spark.sparktest.core.WordCountCluster \--num-executors 3 \ 配置executor的数量--driver...
2018-08-19 18:48:21
1609
2
原创 数据挖掘之stacking模型融合（以阿里妈妈广告点击率预估比赛为例）
前面的特征工程部分参考大神操作，此代码非比赛真是代码，可以在特征工程方面多下功夫，这次比赛经过模型融合后的最好成绩为96名（5000队）#coding=utf-8import pandas as pdimport numpy as npimport scipy as spimport lightgbm as lgbfrom sklearn.ensemble import Rando...
2018-07-31 15:27:46
1097
原创 auto sklearn安装（mac版）
需要python3的环境安装swig3ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"brew install swig3给指定的文件夹赋予写权限：sudo chmode 777 文件夹brew link swig 安装...
2018-07-31 15:14:53
2659
原创 基于Tpot的遗传算法自动化建模之核心源码解读
遗传算法及scala实现见文章：https://blog.youkuaiyun.com/hgy0403/article/details/81287490Tpot的涉及到的建模过程，以TPOT light为例主要有3块：Classifiers、Preprocesssors、Selectors，tpot的遗传算法优化是以pipeline为基础的，也就是说pipeline就相当于基因序列。通过构建初始pipel...
2018-07-31 14:50:09
2937
原创 遗传算法及scala实现
我们先从查尔斯 · 达尔文的一句名言开始：能够生存下来的往往不是最强大的物种，也不是最聪明的物种，而是最能适应环境的物种。遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。一.进化论知识作为遗传算法生物背景的介绍，下面内容了解...
2018-07-30 18:41:56
1839
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人