SGL:Self-supervised Graph Learning for Recommendation

Self-supervised Graph Learning for Recommendation

解决的问题

1.考虑到了长尾项目的影响,提高了抗干扰能力;(因为在交互图中,对于一个项目,与之交互的用户越多,那么这个项目的度就越大,那么高度节点对表示的影响与低度节点相比,显然是更大的,在实际中,往往有一小部分项目,与之交互的用户数量比较多,另外很大一部分的项目,与之交互的用户数量较少,我们称为项目的长尾分布)
2.考虑到表示容易受到噪声的影响,提高了以GCN为基础的推荐准确性和鲁棒性。(因为邻域聚合方案进一步扩大了观察到的边的影响)
稀疏的监督信号倾斜的数据分布(相互作用呈幂律分布。其中长尾由缺乏监督信号的低度项目组成,GCN很容易偏向于高度项目);交互中的噪声(用户提供的反馈大多是隐式的,如点击和查看,而不是显式的,如评级和喜欢/不喜欢,所以GCN中的邻域聚集机制扩大了交互对表征学习的影响,使表征学习更容易受到交互中的噪声的影响)。

SGL模型与结果

设计了三个操作符来生成视图:节点丢弃、边丢弃、随机行走。并在LightGCN上实现。
模型框架图为:在这里插入图片描述
在这里插入图片描述

# docker-compose.yml version: '3.8' services: sgl-prefill: image: 6.111.16.24:5000/sglang:v0.4.9.post2-cu126-nccl2276 container_name: sgl-prefill restart: unless-stopped devices: - /dev/nvidia4 - /dev/nvidia5 - /dev/nvidia6 - /dev/nvidia7 deploy: resources: reservations: devices: - driver: nvidia device_ids: ['4','5','6','7'] capabilities: [gpu] networks: - sgl-net ports: - "20000:20000" shm_size: 16g volumes: - /models/Qwen3-30B-A3B-Instruct-2507:/models/Qwen3-30B-A3B-Instruct-2507 - /dev/shm:/dev/shm environment: - PYTHONPATH=/root/sglang/python command: - python3 - -m - sglang.launch_server - --model-path - /models/Qwen3-30B-A3B-Instruct-2507 - --tp - "4" - --port - "20000" - --host - "0.0.0.0" - --disaggregation-mode - prefill - --attention-backend - fa3 - --disaggregation-bootstrap-port - "9000" - --chunked-prefill-size - "8192" - --max-prefill-tokens - "16384" - --enable-dp-attention - --data-parallel-size - "4" - --mem-fraction-static - "0.9" sgl-decode: image: 6.111.16.24:5000/sglang:v0.4.9.post2-cu126-nccl2276 container_name: sgl-decode restart: unless-stopped devices: - /dev/nvidia0 - /dev/nvidia1 - /dev/nvidia2 - /dev/nvidia3 deploy: resources: reservations: devices: - driver: nvidia device_ids: ['0','1','2','3'] capabilities: [gpu] networks: - sgl-net ports: - "20001:20001" shm_size: 16g volumes: - /models/Qwen3-30B-A3B-Instruct-2507:/models/Qwen3-30B-A3B-Instruct-2507 - /dev/shm:/dev/shm environment: - PYTHONPATH=/root/sglang/python command: - python3 - -m - sglang.launch_server - --model-path - /models/Qwen3-30B-A3B-Instruct-2507 - --tp - "4" - --port - "20001" - --host - "0.0.0.0" - --disaggregation-mode - decode - --max-running-requests - "256" - --enable-dp-attention - --disaggregation-bootstrap-port - "9000" - --attention-backend - fa3 - --data-parallel-size - "4" mini-lb: image: 6.111.16.24:5000/sglang:v0.4.9.post2-cu126-nccl2276 container_name: mini-lb restart: unless-stopped networks: - sgl-net ports: - "8003:8003" volumes: - /root/sglang/python:/root/sglang/python environment: - PYTHONPATH=/root/sglang/python command: - env - PYTHONPATH=/root/sglang/python - python3 - -m - sglang.srt.disaggregation.mini_lb - --prefill - http://sgl-prefill:20000 - --decode - http://sgl-decode:20001 - --host - "0.0.0.0" - --port - "8003" networks: sgl-net: driver: bridge 检查是否有问题
08-21
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值