- 博客(10)
- 收藏
- 关注
RSS订阅
原创 通过搜狗微信和微信公众平台爬取微信公众号名称、标题、文章链接、文章全部文字内容，并通过IP池、代理池、打码平台、设置请求频率等处理爬取中断的情况
搜狗微信爬虫逻辑如下图。微信公众平台爬虫逻辑为输入cookie、fakeid、query后爬取。搜狗微信和微信公众平台具体代码放在最后。仅供个人学习使用。如有疑问，请留言评论。
2024-12-06 14:56:00
1039
原创 爬取微信公众号文章信息和AI大模型爬取结合，建立行业语料库
我的任务是数据应用场景语料库的构建，后续会根据搜集的数据应用场景进行数据产品盈利预测。主要利用技术手段，包括爬虫、AI算法等实现这些功能。本文详细讲述我是如何爬取微信公众号合法合规有利信息的。
2024-09-10 17:48:39
2581
原创 用AutoDL算力云平台跑模型
3、建议在某个区上传好项目文件，配置好环境。如果关机后无卡了，用克隆模式即可。因为你用pycharm或者vscode远程，你还是要上传文件，还是要配置环境，麻烦得很。1、无论你是用什么办法，你的项目文件必须传进远程服务器，因为你就是租用了别人的服务器。同理，你的环境配置也必须在远程服务器那配置好。2、配置环境和上传数据时，用无卡模式，每小时0.1元。跑模型时，再用有卡模式。4、为了省钱，建议做好准备工作，代码OK了再上传去跑模型。
2024-07-14 16:46:37
966
原创 零基础自学发表核心期刊
百度学术论文求助、sci-hub、connected paper.com、aminer、semantic shcolar、谷粉学术论坛、微信论文求助群、学校图书馆、arxiv、学术范、sci.justscience、easyscholar,边写边搜，web of science,science direct,readpaper,latex，overleaf、findsci,dbip。更多文字、语音、图片、视频、数学公式的AI平台待发掘。有道翻译翻译整篇论文、知云 翻译、计算机学报、西安电子学报、
2024-03-23 17:13:27
215
1
原创 小白使用超算slurm作业调度系统提交作业（看完这篇就够了）
上传项目文件到超算，安装conda后，超算平台本身没有GPU，用sinfo查看后，如何调用GPU来运行项目？那就需要slurm作业调度系统来提交作业（其实就是提交项目，让他调用GPU来运行项目）
2024-03-21 15:31:37
6989
1
原创 linux常用指令
unzip"/home/lxtai/皮肤癌项目/Learn_NewSkinClass20240312.zip"-d"/home/lxtai/皮肤癌项目/Learn_NewSkinClass20240312/"zip是一种常用的压缩文件格式，同时也是Linux系统下的一个解压缩命令。它可以用于将多个文件或目录打包成一个zip文件，也可以用于解压缩已经存在的zip文件。其中，file.zip是要解压缩的zip文件的名称。
2024-03-20 17:51:02
500
1
原创 深度学习常用conda/pip/系统命令等指令
总的来说，Anaconda、CUDA、PyCharm、Python 以及相关的包和库之间的版本对应关系可能会因特定的软件需求而有所不同，但通常会遵循上述的一般规律。深度学习框架（如 TensorFlow、PyTorch）、数据科学库（如 NumPy、Pandas）、机器学习库（如 Scikit-learn）等通常会发布与特定 Python 版本兼容的版本。PyCharm 的版本通常与支持的 Python 版本相关联，并且会添加对新版本 Python 的支持。
2024-03-20 11:17:05
861
1
原创 用超级计算机（超算）跑模型代码指南
Tabby安装与打开的方法在此网页。示例：mv file.txt newfile.txt - 将 "file.txt" 重命名为 "newfile.txt"。示例：grep "keyword" file.txt - 在 "file.txt" 中搜索包含 "keyword" 的行。示例：cp file1.txt file2.txt - 将 "file1.txt" 复制为 "file2.txt"。示例：chown user file.txt - 将 "file.txt" 的所有者更改为 "user"。
2024-03-19 21:48:33
2554
1
通过搜狗微信和微信公众平台爬取微信公众号名称、标题、文章链接、发布时间、文章全部文字内容并保存至表格的爬虫代码-仅供学习使用
2024-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人