SRGNN infer阶段终结篇

最新推荐文章于 2023-02-15 09:07:59 发布
原创 最新推荐文章于 2023-02-15 09:07:59 发布 · 561 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#SRGNN #faiss #infer

本文探讨如何解决SRGNN推理过程中的效率问题，通过将代码改用Faiss召回，实现性能提升。文章提及近期某些paper宣称超越SRGNN，但作者对其实用性持保留态度。实验表明，L2范数归一化不影响排序位置，Faiss在速度上有显著优势，适合处理大规模数据。

嗨，搬砖工起来干活了，加油吧，搬砖人。本文的核心在于解决SRGNN推理慢的问题，读懂代码，将其改成faiss召回，这才是创造性的。

【近期一些paper都已经宣称超越了SRGNN，对此，小明哥持保留意见，直接说就是，不要吹牛逼，能不能落地？速度和内存在DAU千万下能不能行？没公开依旧不可信，公开的也就是个弱的baseline，实际还是很多坑】

For Recommendation in Deep learning QQ Group 277356808

For Visual in deep learning QQ Group 629530787

I'm here waiting for you

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark DataFrame数据集写入HDFS为CSV格式的编程指南
TechProX的博客
09-23 614
接下来，我们将加载数据集到DataFrame中。您可以使用Spark提供的各种数据源加载数据集，例如CSV文件、数据库表等等。通过按照上述步骤，您可以使用Spark编程将DataFrame数据集以CSV格式写入HDFS。在本文中，我们将探讨如何使用Spark编程将DataFrame数据集以CSV格式写入HDFS。首先，我们需要导入所需的库和模块。在上面的代码中，我们将DataFrame写入到HDFS的。一旦数据加载到DataFrame中，我们可以使用。在上面的代码中，我们假设要加载的CSV文件名为。
SRGNN番外篇——我的死磕笔记
NLP与推荐算法
11-13 1540
hi，最初的版本我是用的debias中的，然而这样推理速度有点慢，尽管采用了加速的办法，但仍旧很慢。同时我尝试了官方版本，飞桨版本，然而前者更慢，后者无暴露API，直白的说，达不到推荐的目的（即如何给用户推items列表）。前些日子采用NeuRec做了下GCN，尽管需要改动细微之处，但好歹可以用了。于是乎，也试试SRGNN吧，主要是当前阶段GPU匮乏，GPU严重缺乏，这是目前生产力发展的极大障碍。本文依旧粉丝可见。 For Video Recommendation in Deep learning QQ
pyspark程序 从hdfs上读取数据求其TopN，并将结果存回hdfs
Late_whale的博客 作者：代码搬运工老李的二师兄
12-08 2039
本次使用到的数据文件 导入必要的包，因为用到的是pyspark，最好导入findspark，可以避免一些看不懂的错误 初始化sparkcontext，local为本地工作方式，topapp为随意取的名字 从hdfs上读取文件，并输出第一行看数据结构方便后面操作 将text转化为list对象（rdd调用collect后变为list对象） 自定义函数，将list数据按空格切开 将text2...
pyspark —— spark dataframe 从hdfs读写文件：按照指定文件格式读写文件（读写csv、json、text文件，读取hive表，读取MySQL表）、按照指定分隔符读写文件
lanyuelvyun的博客
08-18 1万+
spark有3种数据结构——RDD、DataFrame、DataSet。这里展示的文件读写方式，都是针对dataFrame数据结构的，也就是文件读进来之后，是一个spark dataFrame。 1、读写hdfs上的文件 1.1 读写hdfs上的文件 ——> 按照指定文件格式读取与保存 SparkSession在读取文件时，可以指定读取文件的格式。举个例子。 按照csv文件格式，读取文件（其余的文件格式只需将csv变成相应的文件格式名称即可） 【读取】 from pyspark.sql.types i
pyspark pandas 输出到hdfs的形式
weixin_44725721的博客
10-25 954
hdfs上的保存结果（保存在linunx也是这种多个小文件的形式）spark保存csv 到hdfs上是多个csv文件。
HDFS作为中间存储引擎：Linux批量导入csv文件到hive
tayhh的博客
12-06 1034
1.合并csv文件 cat *.csv > full.csv 若需要删除表名： #删除该文件夹下所有csv文件的第一行 sed -i "1d" *.csv #删除该文件夹下的所有txt文件第一行 sed -i "1d" *.txt #删除前三行 sed -i "1,3d" *.csv 方法一： 2.将合并文件上传到hdfs hdfs fs -put 文件路径 hdf...
SR-GNN论文解读并附代码分析
NLP与推荐算法
08-27 3279
采用GNN解决基于会话的推荐，啥是会话？session-based？ 一般是指用户的行为，时间一般限制在30min内，也就是说用户在30min内的点击浏览行为，这是一个会话。 基于会话的推荐最终结果是计算得到用户和item的embedding，并预测next点击，也就是说，这种方法与youtube2016的部分流程是相似的， For Video Recommendation in Deep learning QQ Group 277356808 For Visual in deep learnin.
飞桨SR-GNN修改及实践记录
NLP与推荐算法
10-12 572
hi各位大佬好，在修改飞桨SR-GNN源码中，肯定首先要看懂流程，读懂程序。其中一个麻烦是config.yaml，其实这个玩意就是个txt文件，完全没必要这么搞。凡是需要手动修改（配置）的均不符合时代进步潮流（都是自动化了，你还倒退？），这种也必将被社会的浪潮冲蚀，最终湮灭。删繁就简三秋木，标新立异二月花 遇到的问题详见我的issue For Video Recommendation in Deep learning QQ Group 277356808 视频推荐深度学习加这个群，这是推荐，推荐， ..
一篇文章带你解决 Unable to infer base url. This is common when using dynamic servlet registra
南淮北安的博客
10-24 2万+
我这里使用的是2.10.2 版本的 swagger，这个版本将由于支持了WebFlux，所以之前的@EnableSwagger2就移除掉了，变为@EnableSwagger2WebMvc以及@EnableSwagger2WebFlux <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifa.
用python写一个从指定文件夹中导入一批csv数据并对这些数据进行预处理操作然后保存的代码...
weixin_42610010的博客
02-15 341
可以使用Python的pandas库来完成对CSV数据的导入和预处理操作，具体的代码如下所示： import pandas as pd import os # 设置文件夹路径 folder_path = '指定文件夹路径' # 获取文件夹中所有的CSV文件名 csv_files = [f for f in os.listdir(folder_path) if f.endswith('.csv'...
【Python】Python的数据分析(三)——数据文件及数据结构
大数据分析BDA
12-11 2万+
一. 数据文件         pd指pandas简称，df指DataFrame对象。 1. csv 读取  pd.read_csv('foo.csv') 写入  df.to_csv('foo.csv') 2. HDF5 读取  pd.read_hdf('foo.h5', 'df') 写入  df.to_hdf('foo.h5', 'df') 3. Excel 读取  pd.re
HDFS文件合并问题
sanyecon的专栏
11-09 794
研究了一下hdfs文件合并的问题，尝试了无数次，发现并没有很有效的办法。网上搜索了一下，发现有同样的文章，转载如下： http://horsefire.com/blog/2015/02/15/failing-to-concat-hdfs-files/
PySpark之Spark并行度
feizuiku0116的博客
02-09 1922
八、Spark并行度 一、资源并行度与数据并行度 在Spark Application运行时，并行度可以从两个方面理解： 资源的并行度：由节点数(executor)和cpu数(core)决定的 数据的并行度：task的数据，partition大小 task又分为map时的task和reduce(shuffle)时的task； task的数目和很多因素有关，资源的总core数，spark.default.parallelism参数，spark.sql.shuffle.partitions参数，读取数据
pyspark-hdfs数据操作
热门推荐
风吴痕的博客
10-16 3万+
参考： 1、http://spark.apache.org/docs/1.2.0/api/python/pyspark.html 2、http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame 一、SparkContext API 1、读取hdfs数据转成nu
记 读取hdfs 转 pandas 再经由pandas转为csv的一个坑
qq_39314099的博客
11-06 1150
工作流程是这样的： 读取 hdfs 的 csv 文件，采用的是 hdfs 客户端提供的 read 方法，该方法返回一个生成器。 将读取到的数据按 逗号 处理，变为一个二维数组。 将二维数组传给 pandas，生成 df。 经若干处理后，将 df 转为 csv 文件并写入hdfs。 问题是这样的： 正常的数据： ZERO,MEAN,STD,CV,INC,OPP,CS,IS_...
pySpark读写CSV文件、查重并写入CSV文件中
ljx0951的博客
08-28 4205
前段时间在研究 pySpark 数据处理，深刻地感受到spark的极大魅力。自己是一个初学者，这篇博客也只是简单的完成了几个简单的项目工作任务，哈哈@@ 不说了上代码：
PySpark将数据写入csv文件或导入MySQL
SCS199411的博客
06-12 5385
使用PySpark处理数据，然后将数据导入MySQL url = 'jdbc:mysql://127.0.0.1:3306/test?autoReconnect=true' table = "000001" mode = "overwrite" properties = {"user":"root", "password":"123456", "driver":"com...
pyspark读写hdfs，parquet文件
土豆
03-11 6032
#-*- coding:utf-8 -*- import json from pyspark.sql import SparkSession #连接集群 spark = SparkSession.builder.master(&quot;yarn-client&quot;).appName(&quot;test&quot;).getOrCreate() #读取数据，数据位置‘hdfs://bd01:8020/user/root/par...
Pyspark：读取本地文件和HDFS文件
abcdrachel的博客
08-29 2万+
1.读取本地文件 首先需要在目录“/usr/local/spark/mycode/wordcount”下，建好一个word.txt： hadoop@rachel-virtual-machine:/usr/local/spark$ ./bin/pyspark ./bin/pyspark: 行 45: python: 未找到命令 Python 3.6.8 (default, Jan 14 201...
Infer
最新发布
03-11
<think>嗯，用户想了解Infer工具的介绍和使用方法。首先，我需要整理一下关于Infer的基本信息。根据提供的引用，Infer是由Facebook开发的静态分析工具，支持多种编程语言，比如Java、C、Objective-C和C++，还能处理TypeScript和JavaScript。它主要用于检测代码中的潜在错误，比如空指针异常、资源泄露等。 接下来，用户可能想知道如何安装和使用Infer。引用中提到了几种安装方法，包括从GitHub克隆仓库、使用Docker镜像，还有通过预编译包安装。安装步骤需要详细说明，比如克隆仓库后运行构建脚本，或者拉取Docker镜像直接使用。要注意不同系统可能有不同的依赖，可能需要用户提前安装Java或Clang等工具。 然后是使用方法，用户需要具体的命令示例。比如分析Java项目的基本命令，或者针对TypeScript的配置。可能需要解释不同参数的作用，例如`-- javac`用于指定Java编译器。另外，Infer的输出结果如何解读，错误报告的位置和格式也是需要说明的。 用户可能还关心Infer的应用场景和优势，比如在持续集成中的使用，或者与其他工具的比较。需要结合引用中的信息，强调Infer的多语言支持和高效分析能力。此外，优化建议部分可以提到如何结合CI/CD流程，定期运行分析，及时修复问题。 最后，相关问题部分需要考虑用户可能进一步的问题，比如与其他静态分析工具的区别、特定语言的支持细节、常见错误处理，以及如何集成到开发环境中。这些问题能帮助用户更深入地了解Infer的应用和解决问题的方法。 需要确保回答结构清晰，分点说明，步骤详细，并且引用正确的来源。同时要使用中文，避免使用Markdown格式，但按照用户的要求，数学公式用$...$，独立公式用$$...$$，不过这里可能用不上。另外，生成的相关问题要覆盖用户可能感兴趣的方面，比如安装问题、实际案例、与其他工具对比等。</think>### Infer工具介绍 **Infer**是由Facebook开发的静态分析工具，支持检测多种编程语言（如Java、C、Objective-C、C++、TypeScript等）中的潜在错误，包括空指针异常、资源泄露、类型错误等问题[^4][^3]。其核心优势在于结合了代码分析和类型推断技术，能够高效定位代码中的隐患，适用于开发阶段的早期问题发现[^2][^4]。 --- ### 使用方法 #### 1. 安装方法 **方式一：源码编译安装**（适合自定义配置） ```bash # 克隆仓库 git clone https://gitcode.com/gh_mirrors/infer/infer cd infer # 构建（以Java为例） ./build-infer.sh java # 安装到系统目录 sudo make install ``` **方式二：Docker镜像**（快速部署） ```bash docker pull inferimage/infer docker run -it inferimage/infer /bin/bash ``` **方式三：预编译包**（推荐新手） 从[官网](https://fbinfer.com/docs/getting-started)下载对应系统的二进制包[^4]。 --- #### 2. 基础使用 **示例：分析Java项目** ```bash # 进入项目目录 cd /path/to/java_project # 运行Infer（生成错误报告） infer run -- javac Main.java ``` - `--`后的命令为项目编译指令（如`make`或`javac`）[^1]。 - 结果保存在`infer-out`目录，查看报告：`cat infer-out/report.txt`。 **TypeScript支持** 需配置`infer.yaml`指定TypeScript路径[^3]： ```yaml typescript: ts_bin: /usr/local/bin/tsc ``` --- #### 3. 核心应用场景 1. **持续集成（CI）**：集成到自动化流程中，拦截高风险代码合并。 2. **代码审查**：辅助发现人工难以察觉的类型错误或逻辑漏洞。 3. **多语言项目**：适用于混合语言代码库（如Java+TypeScript）的统一分析[^2]。 --- #### 4. 优化建议 - **增量分析**：使用`infer capture`生成编译数据库，减少全量分析时间。 - **错误过滤**：通过`--filter-*`参数忽略已知问题（如第三方库警告）。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值