htbeker的博客

最近根据Airbnb在KDD 2018的bestpaper《Real-time Personalization using Embeddings for Search Ranking at Airbnb》做实时推荐的项目。其中在表达用户短期兴趣特征时我们是将用户近两周对item的行为数乘以对应item向量并将所有行为向量相加。此处item向量已由word2vec训练好。数据格式如下：我...

数据量上来了不得不祭出spark，先用逻辑回归试试水。

下面来唠唠怎么将hdfs里的数据写入到hive里。要将数据写入hive里，那么hive里得有存放数据表得位置，因此，第一步，是在hive里创建新的表来存储来自hdfs的数据，这里有两个注意：1、新建的表应该跟hdfs里面数据表一致，指定列名；2、创建表格式应一致，具体就是指row format delimited fields terminated by ','里by后面应与hdfs数据保...

pyspark稠密向量和稀疏向量pyspark的本地向量有两种：DenseVctor ：稠密向量 其创建方式 Vector.dense(数据)SparseVector ：稀疏向量 其创建方式有两种：　　方法一：Vector.sparse(向量长度，索引数组，与索引数组所对应的数值数组)　　方法二：Vector.sparse(向量长度，（索引，数值），（索引，数值...

pyspark.sql.functions包含了很多内置函数。1.pyspark.sql.functions.abs(col)计算绝对值。2.pyspark.sql.functions.acos(col)计算给定值的反余弦值; 返回的角度在0到π的范围内。3.pyspark.sql.functions.add_months(start, months)返回start后mon...

想要对pyspark中dataframe实现pandas.dataframe中iloc的切片功能，发现spark中没有相关函数可以直接实现该功能，因此自己琢磨了一个方法。首先创建一个dataframe。dfs = spark.createDataFrame([("a", 1), ("b", 2), ("c", 3)], ["letter", "name"])长这样子±-----±—+|...

import pandas as pddef _map_to_pandas(rdds): return [pd.DataFrame(list(rdds))] def topas(df, n_partitions=None): if n_partitions is not None: df = df.repartition(n_partitions) df_pa...