NewBeeMu的博客

ElasticSearch是一个分布式，高性能、高可用、可伸缩、RESTful 风格的搜索和数据分析引擎。通常作为Elastic Stack的核心来使用，Elastic Stack大致是如下这样组成的：E：EalsticSearch 搜索和分析的功能L：Logstach 搜集数据的功能，类似于flume（使用方法几乎跟flume一模一样），是日志收集系统K：Kibana 数据可视化（分析），可以用图表的方式来去展示，文不如表，表不如图，是数据可视化平台。

# coding=utf-8# @Time : 2019/12/6 10:21# @Author : Z# @Email : S# @File : CosMoviesRecommend.py#给用户推荐电影import mathimport sysfrom texttable import Texttable #pip install texttable...

# coding=utf-8# @Time : 2019/12/12 0:34# @Author : Z# @Email : S# @File : 10.1CTR.py# 读入数据import osdata_path = os.path.join(".", "train_small.csv")import pandas as pdctr_data1 = pd....

# coding=utf-8# @Time : 2019/12/3 14:48# @Author : Z# @Email : S# @File : 2.6ML_SMOTO_talentFeatures.py#数据挖掘项目构建人才(用户)流失模型import pandas as pdtalent_data = pd.read_csv("./train.csv")...

步骤：1、加载数据2、查看数据的特征信息3、特征选择-pclass船舱仓位-sex-age4、对age列进行空值填充5、对pclass处理和sex的处理6、对数据集进行划分，划分为训练集和测试集7、加载算法构建模型8、预测9、校验# coding=utf-8# @Time : 2019/12/1 20:49# @Author : Z# @Email : S#...

# coding=utf-8# @Time : 2019/12/4 20:21# @Author : Z# @Email : S# @File : UserBasedCF.py#MovieLens电影推荐系统import math#定义基于用户得协同过滤算法类class UserBasedCF: #初始化对象 def __init__(self...

map段：LogClearMap.javapackage etl;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;imp...

package reportimport config.ConfigHelperimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SparkSession}import utils.MakeATPKpi//利用sparksql进行报表分析object TrainTimeSparkSQLAna...

package reportimport config.ConfigHelperimport org.apache.spark.sql.{Dataset, SparkSession}import scalikejdbc.{DB, SQL}import scalikejdbc.config.DBsimport utils.MakeATPKpi//利用mysql存储traintime进...

package reportimport config.ConfigHelperimport org.apache.commons.lang3.StringUtilsimport org.apache.spark.sql.SparkSessionimport utils.{GetJedisConn, MakeATPKpi}//利用redis存储中间字典表进行统计分析object T...

package toolsimport java.util.Propertiesimport config.ConfigHelperimport org.apache.spark.sql.{SaveMode, SparkSession}//将列车出厂时间数据灌入mysqlobject TrainTime2Mysql { def main(args: Array[String])...

package toolsimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SparkSession}import utils.GetJedisConn//将列车出厂时间灌入redis中object TrainTime2Redis { def main(args: Array[String...

package reportimport config.ConfigHelperimport org.apache.spark.broadcast.Broadcastimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport scalikejdbc.{DB, SQL}import scal...

我们在对报表进行处理的时候，怎么以一个属性为维度，统计其他属性的指标。以下的案例是我们对我们的报表以配属铁路局为维度统计他们的各个指标，而且要使用多种方法，并且要能输出到json和mysql中package reportimport java.util.Propertiesimport com.google.gson.Gsonimport config.ConfigHelperim...

在对数据进行处理的时候，很多时候需要我们进行数据清洗。下面的案例就是对大量的数据进行处理：每行代码完成的任务在备注中都有叙述package etlimport java.io.Fileimport java.text.SimpleDateFormatimport java.util.Dateimport bean.{Logs, logSchema}import config.C...