数据挖掘爱好者

使用PAI-FeatureStore管理风控应用中的特征

poson — Fri, 10 Jan 2025 09:43:06 +0800

PAI-FeatureStore 是阿里云提供的特征管理平台，适用于风控应用中的离线和实时特征管理。通过MaxCompute定义和设计特征表，利用PAI-FeatureStore SDK进行数据摄取与预处理，并通过定时任务批量计算离线特征，同步至在线存储系统如FeatureDB或Hologres。对于实时特征，借助Flink等流处理引擎即时分析并写入在线存储，确保特征时效性。模型推理方面，支持EasyRec Processor和PAI-EAS推理服务，实现高效且灵活的风险控制特征管理，促进系统迭代优

阿里云人工智能平台图像视频特征提取

poson — Wed, 08 Jan 2025 11:54:26 +0800

图像与视频特征提取技术在人工智能和计算机视觉领域具有重要意义.通过准确提取图像质量分、人脸属性、年龄、图像多标签、图文视频动态分类打标、视频质量评分以及视频分类打标等特征，我们可以为图像与视频的分析、理解和应用提供强有力的支持.随着深度学习等技术的不断发展，特征提取的精度和效率将进一步提升，为相关领域的研究和应用带来更广阔的前景.在图像多标签特征提取中，算法需要对图像的全局和局部特征进行综合分析.全局特征可以反映图像的整体场景和氛围，如通过图像的颜色直方图、纹理特征等来描述图像的宏观特征；

使用EasyRec优化搜索广告推荐深度学习排序模型的性能

poson — Thu, 02 Jan 2025 14:00:31 +0800

通过上述方法，可以在保证模型效果的前提下，有效降低推理服务所需的资源开销。此外，还可以探索更多高级优化策略，比如混合精度推理、异构计算等，进一步提升效率。

PAI-Rec推荐开发平台对新用户、新物品的推荐方案有哪些？

poson — Mon, 02 Dec 2024 10:12:59 +0800

通过上述方案，可以有效地解决新用户和新物品的推荐问题，提升推荐系统的准确性和用户体验。，填写申请单然后自助领取开通（注意区域要选择正确）。请用企业账号主账号操作。

基于 PAI 搭建企业级个性化推荐系统最佳实践

poson — Wed, 26 Apr 2023 11:02:47 +0800

本方案结合阿里云 PAI 团队预置的基础版算法方案为例，演示如何以阿里云提供的数据、AI 类产品为基础，离线部分采用Maxcompute&Dataworks&PAI的大数据&AI体系，在线服务采用推荐引擎 PAI-REC、A/B 测试系统 PAI-A/B、在线模型服务 PAI-EAS、在线数据服务 Hologres，并通过 PAI-REC 运维与实验操作平台，利用阿里云云速搭 CADT，快速从 0 到 1 搭建一套高效、精准、易用、可扩展的智能推荐系统。⚫ 简单易用：SQL语言，在线开发，全面支持UDX。

jar 包没有打入依赖包

poson — Wed, 22 Feb 2023 10:17:25 +0800

ODPS-0730001: 报错信息

pandas read_csv 读取数据中包含双引号

poson — Sat, 08 Aug 2020 08:01:57 +0800

如果数据中的某个字段有引号，引号里面有逗号（逗号也是字段分隔符），如： 1,"a,b,c" 需要用下面的方法读取： import pandas as pd df=pd.read_csv("complext.csv",skipinitialspace=True,escapechar='\\',quotechar='"') df.to_csv("new.csv",sep="\x01") ...

读取txt中的字段key，然后编号再输出

poson — Sun, 21 Jun 2020 14:52:50 +0800

import pandas as pd sep="|" def read_key(dict_key, arr_fileld, idx=[]): if len(idx) == 0: return for index in idx: keys = arr_fileld[index].split(",") for key in keys: if key not in dict_key: di.

python pip 设置阿里云的源，更新速度超级快

poson — Mon, 15 Jun 2020 09:39:37 +0800

根目录上设置一个文件 myhome$ cat .pip/pip.conf [global] trusted-host = mirrors.aliyun.com index-url = https://mirrors.aliyun.com/pypi/simple

阿里云endpoint

poson — Sat, 13 Jun 2020 12:07:17 +0800

oss的endpoint：https://help.aliyun.com/document_detail/31837.html?spm=5176.11065259.1996646101.searchclickresult.3c7e7a0d1SQo0Q#title-qvx-r3a-xr4

tensorflow 的 hashtable 和index table 读取，求均值向量，缺失值处理

poson — Sun, 07 Jun 2020 17:15:45 +0800

import tensorflow as tf print(tf.__version__) list_arr = [9, 8, 6, 5] value_arr = [0, 1, 2, 3] tf_look_up = tf.constant(list_arr, dtype=tf.int64) tf_value_arr = tf.constant(value_arr, dtype=tf.int64) table = tf.contrib.lookup.HashTable(tf.contrib.lookup.

tensorflow 通过TextLineDataset dataset.map 读取数据

poson — Sun, 07 Jun 2020 14:50:36 +0800

这样读取数据比较麻烦，因为map是一行行读取，需要自己把数据整理成列的方式。处理起来还是比较麻烦，用decode_csv可以直接把数据处理成列的方式，简单很多。 import tensorflow as tf from tensorflow.contrib.lookup import HashTable from tensorflow.contrib.lookup import TextFileIdTableInitializer from tensorflow.contrib.lookup im.

递归遍历子目录改后缀名（批量文本改名rename）

poson — Sat, 06 Jun 2020 18:57:33 +0800

#!/bin/sh oldsuffix="txt" newsuffix="sql" dir=$(eval pwd) function getdir(){ for element in `ls $1` do dir_or_file=$1"/"$element if [ -d $dir_or_file ] then getdir $dir_or_file else suf.

样本查询embedding向量

poson — Sun, 03 May 2020 10:36:26 +0800

import tensorflow as tf #生成10*5的张量 p=tf.Variable(tf.random_normal([10,5])) # 模拟两个样本中的2个稀疏字段的embedding，有4个元素1，3，2，4 b = tf.nn.embedding_lookup(p, [[1, 3],[2,4]]) # b 的维度是2 * 2 * 5 ，batch=2 ，field s...

深度学习 tensorflow 三维矩阵乘法（batch 迭代必须搞懂的矩阵乘法，维度增加）

poson — Sun, 03 May 2020 09:32:40 +0800

import tensorflow as tf # 2 * 2 * 2 的embedding 矩阵，一个batch，每个样本有f个字段，每个字段有k维 # 那么矩阵的大小就是batch * f * k embedding_index = tf.constant([[[0.1,0.2], [0.3,0.2]], ...

pandas 对一列做变换，手工版的labelEncoder 和 labelEncoder

poson — Sun, 03 May 2020 08:46:14 +0800

import pandas as pd df = pd.DataFrame({"key": ["aa", "bb", "cc"]}) dict = {"aa": 1, "bb": 3, "cc": 2} df_map = df["key"].map(dict) print("raw:\n", df.head()) print("mapped:\n", df_map) raw: ...

阿里云提交spark 任务找不到 project，是因为endpoint不对

poson — Wed, 29 Apr 2020 20:08:47 +0800

阿里云提交spark 任务找不到 project，发现是因为spark -odps 的endpoint 不正确，从阿里云project 的配置（https://setting-cn-beijing.data.aliyun.com/#/dataSource）中找到endpoint，然后修改endpoint 之后就正确了。 ./bin/spark-submit --jars cupid/o...

keras的自定义 layer和Model

poson — Sun, 19 Apr 2020 12:24:37 +0800

本文对https://www.cnblogs.com/zdm-code/p/12245906.html 里面的一些细节做了修改，model里面增加了一层softmax。 import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers,Sequential,optimi...

复旦中文文本分类语料库结构化解析版本

poson — Mon, 06 Apr 2020 15:11:30 +0800

搜狗新闻文本分类预测没有整理为好用的格式，花了点时间修改为\u0001 分割的数据 create table sougou_text ( id bigint, cate string, wenxian string, origin_from string, origin_city string, origin_num string, ...

如何在linux命令行（终端）执行ipynb 文件。可以不依赖jupyter。

poson — Sat, 11 Jan 2020 10:17:13 +0800

安装 runipy pip install runipy 终端执行ipynb runipy .ipynb 在终端命令行执行shell脚本，（也可以在crontab 中执行）： (base) [recommend@app-0-5-B-006 script]$ cat run1.sh #!/bin/bash cd /hom...