Cat in Black Box

xgb是机器学习业界常用模型，在spark上不像RF等有现成的build in model，所以需要自己弄一下，不过也不是很难。1. 预备工作首先需要下两个jar文件，xgboost4j-spark-0.72.jar 和xgboost4j-0.72.jar，链接如下。之后要下载一个sparkxgb.zip，里面包括了pyspark代码去call jar文件以及set up一些参数。xgboost4j: https://mvnrepository.com/artifact/ml.dmlc/xg..

206.Reverse Linked ListReverse a singly linked list.Example:Input: 1->2->3->4->5->NULLOutput: 5->4->3->2->1->NULL# Definition for singly-linked list.# class ...

104. Maximum Depth of Binary TreeGiven a binary tree, find its maximum depth.The maximum depth is the number of nodes along the longest path from the root node down to the farthest leaf node.Not...

1. read files# define schemafrom pyspark.sql.types import StructType,StructFieldfrom pyspark.sql.types import DoubleType,StringType,IntegerTypeschema = StructType([ StructField('x1' = St...

1. Lamda# Create a list of strings: spellsspells = ["protego", "accio", "expecto patronum", "legilimens"]# Use map() to apply a lambda function over spells: shout_spellsshout_spells = map(lambda...

相当于在旧的dataframe上并上新的数据微批处理：先写入日志持续处理：异步处理操作步骤# 1.导入pyspark模块From pyspark.sql import SparkSessionFrom pyspark.sql.functions import splitFrom pyspark.sql.functions import explode# 2.创建s...

Hive 原理 把SQL 转化成底层的MapReduce结构RDD只能看见对象看不见对象中的内容; dataframe可以看见内容SparkSession支持从不同的数据源加载数据 并把数据转换为dataframe支持把dataframe转换成SQL context自身的表然后使用SQL来操作数据# 创建Sparksession对象from pyspark import Sp...

Spark MLibIntroMapReduce 不适合做机器学习-> 反复读写磁盘的开销/不适合机器学习需要的大量迭代计算。MLib中只包含能够在集群上运行良好的并行算法，有些算法不能并行执行，所以无法包含在MLib中。package：spark.mlib基于RDD；spark.ml基于dataframe。机器学习流水线dataframe/trans...

排序算法1. 冒泡排序冒泡排序，从左到右，分别比较两个相邻数字的大小，如果后面一个数小于前面的数就进行交换。def bubble_sort(seq): l = len(seq) for i in range(l-1): for j in range(l-1-i): if seq[j] > seq[j+1]: ...

变量：1.无需声明 2. 变量类型动态改变0b01001(二进制) 0o344(八进制)0xaf（十六进制）字符串含有引号：1. 用\转义 2. 用不同引号括起来字符串拼接：数值先用str()/repr()转换，用”+“拼接； 长字符串用三个引号拼接，或‘\n’换行；但r开头，‘\n’不会变成换行符字节串： bytes()函数/encode()方法，或者在字符串前加‘b...

EASY LEVEL:1108.Defanging an IP Address题目：Given a valid (IPv4) IPaddress, return a defanged version of that IP address. AdefangedIP addressreplaces every period"."with"[.]".Example 1:...

21/08/201910.Spark概述spark速度快的原因1.内存计算 2.有向无环图通用性很强：以前需要1.SQL查询：spark SQL实现 2.流式计算：spark stremming 实现 3.机器学习： spark MLib 4.图算法软件：spark GraphX 实...