- 博客(30)
- 收藏
- 关注
RSS订阅原创 深度体验SCNet超算平台：SCNet「AI跃升季」·谁是下一个“AI”跃人？
平时做大模型训练的时候总是苦于没有服务器资源来做微调实验，于是这次深度体验了一下SCNet超算平台。SCNet超算平台是一个超算互联网计算服务平台，有着更大更全更专业的超级算力。显卡从异构加速卡到A800都有。本次我尝试了大模型的推理和微调。第一部分：AI算力性能反馈1、这次我分别运行了以下这几个商品。Notebook 异构加速卡AI、Nvidia L20、Nvidia A8002、运行的过程记录。
2024-11-08 10:37:10
186
1
原创 国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动
活动背景邀请方：国家超算互联网（www.scnet.cn）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动（https://www.scnet.cn/home/subject/modular/index272.html）免费领更多算力方式：AI算力不够用？参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！AI算力性能反馈运行的商品名称运行的过程记录模型微调：开始训练，为了缩短训练时间这里只微调了attention中Q和V参数。
2024-11-08 10:24:46
279
原创 在 Scnet 上微调 Stable Diffusion 3 模型
1 AI 算力反馈1.1 运行的商品名称我运行的商品为 Stable Diffusion 3 文本到图像高质量生成AI绘画推理服务，运行的环境为 异构加速卡AI 64G。具体创建流程如下：1.1.1 购买模型服务首先购买一下模型服务，这样我们就不需要再从 Hugging Face 下载预训练模型了。
2024-11-07 18:07:47
729
原创 scnet国家超算互联网使用体验
一个体验很好的地方就是平台内置数据集商城和模型商城，如图五，在我使用平台的过程中发现即使是coco2017这样的数据集也可以在几分钟之内下载到用户空间，所以我推测平台的商城和我们的用户空间是通过内网传输，所以数据集、模型的下载特别快，体验非常好！这上面四张图片我做了这几件事：首先我加载了模型了分词器，接着我使用pandas加载了json数据集，然后我定义了一个函数，这个函数把json数据集中的对话通过分词器进行编码，最后把训练数据存储在变量中等待训练的调用。训练方法使用lora进行微调。
2024-11-07 17:57:22
642
原创 SCNet「AI跃升季」·谁是下一个“AI”跃人？
从操作流程来看，模型试用和买计算资源试用是不同的，模型试用这里好像是根据不同模型来创建不同的环境，这点和使用anaconda来管理环境有点区别，而买计算卡使用就和用anaconda来管理环境一样，如果两种能统一感觉可能会更好，很多同类型的模型运行环境都差不多，也不用每试一个模型都得重新弄一遍环境。（这些权重本地都有缓存，改代码应该可以本地加载，这里每次都下载模型的权重，需要等待很长一段时间，并且第一次加载得时候，网速还是很快的，但是第二次再使用，就很慢，两个小时的体验时间内都没有加载完所有权重）
2024-11-07 17:47:47
342
原创 国家超算互联网测评——用一分钱的显卡做大模型微调
在此次体验过程中，国家超算互联网的算力性价比很高，尤其是一分钱每卡时的价格，简直就是AI从业者的福利，虽然国产加速卡在性能层面跟L20、A800要弱一些，但是综合考虑价格的话，确实是性价比较高的选择。Llama3-8B-Chinese-Chat和Qwen2-72B-Instruct使用Xtuner工具进行微调，Stable-Diffusion-3-Medium和Stable-Diffusion-2-base使用Lora-Script进行微调。算力、算法、数据，是AI发展的三大要素。此处仅做总结性分析。
2024-11-07 17:32:15
462
原创 一次薅国家超算平台的记录
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
2024-11-07 17:15:19
408
原创 SCNet「AI跃升季」——异构加速卡带你转身“AI”跃人
这些天在国家超算互联网（www.scnet.cn）中看到了个【谁是下一个“AI”跃人 - AI算力体验】的活动，活动地址在这：https://www.scnet.cn/home/subject/modular/index272.html ，我这里体验了一下，把过程也都记录了，并且对其中的【异构加速卡AI】印象深刻，而且1分钱就能测试一下，就很爽。我这里查看了一下上传速度，这里的速度是2.6M/s相对这里看效率还是可以的，还是比较稳定的。相对数据还是挺不错的，都说得过去，成本低就似乎个超级大的卖点了。
2024-11-07 16:58:38
431
原创 探索未来：参加国家超算互联网「AI跃升季」活动！
（https://www.scnet.cn/home/subject/modular/index270.html）国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动（https://www.scnet.cn/home/subject/modular/index272.html）预制模型下载速度挺快、种类也挺多，如果模型文件包含微调代码就好了，并且能够推荐一些相关训练数据，方便用户学习使用。该模型微调有问题，使用stable-diffusion-2-base模型进行微调测试。
2024-11-07 16:43:27
151
原创 国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 |AI算力使用反馈
我是一名图像处理工程师，现就职于某科技公司，同时我也是一名科技博主，最近了解到“超算互联网平台（www.scnet.cn）”推出了国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动（https://www.scnet.cn/home/subject/modular/index272.html）。只要体验该平台的三款加速卡便有好礼相送，于是我便简单使用了这三款产品，在平台的三款加速卡上分别进行了“yolo v8”的测试应用。简单介绍一下YOLOv8，这是YOLO系列算法的比较新的版本。
2024-11-07 16:04:43
625
原创 0.01 /小时，使用超算互联网https://www.scnet.cn/国产卡推理微调大模型，初体验
上传数据文件到/public/home/wmx_scnet/DISC-Law-SFT/train_data_law.json。输出在 /public/home/wmx_scnet/Qwen/output_qwen/checkpoint-200。使用e-file 上传模型文件到 /public/home/wmx_scnet/Qwen-1_8B-Chat。输出的模型在 /public/home/wmx_scnet/Qwen-1_8B-Chat_law_merge。
2024-11-07 15:40:04
722
原创 国家超算互联网AI算力体验-对chatglm3-6b进行微调
这段时间看到了国家超算互联网（www.scnet.cn）发起的活动：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动（https://www.scnet.cn/home/subject/modular/index272.html），正好需要一些算力来做一些大模型方面的训练工作，也借此机会体验一下此次活动的重点部分——国产异构加速卡。进入活动后，点击【AI计算】即可进入平台页面。在平台页面中我们可以看到国产异构加速卡相关信息。
2024-11-07 14:58:30
696
原创 SCNet「AI跃升季」·谁是下一个“AI”跃人？项目体验
这款 异构加速卡 在 FP32/TF32 精度下分别有 49/98 T的算力，FP16/BF16 精度下都有 196TFLOPS 算力，INT8是392T，其实光看这几个数值上的表现，基本上达到了 Nvidia A100 的 50% 到 60% 左右，虽然距离 H100 还有差距，但是在国产工艺下，还支持双精度运算，并且在真实使用体感上已经还可以了。b) 模型加载：7b规模的模型，加载大概在30s到1min之间，速度在我的体验中也是可以接受的，甚至不输 L20、L40的性能，大于 A6000等型号。
2024-11-06 11:40:37
761
原创 2024新工业智物联CEO峰会圆满落幕，共绘制造业数字化转型新蓝图
接着，他分析了AI在工业软件中的应用前景，提出思维模式的转变，即从CPU思维向GPU思维过渡，并介绍了AI的三大要素：算力、算法和数据。这一主题，就数字化转型的机遇与挑战、智能制造的实践与经验、产业生态的协同合作，以及科技赋能与高质量发展的路径等问题进行了深入交流和探讨，分享了跨领域合作与生态共建的成功案例及此过程中遇到的困难和挑战，共同表达了数字化时代产业生态协同的展望和期待。制造业的数字化转型是一场深刻的变革，它不仅关乎技术的升级和创新，更关乎产业的协同发展和生态的共建共享。
2024-09-04 11:11:14
837
原创 TVP专家谈腾讯文档：助力业务提效，未来可期
同时，救援时刻争分夺秒，他希望能在救援场景，展开更深入或定制的合作，可以使用更多更新的功能，将更多时间精力投入到救援行动本身，以挽救更多生命。
2024-08-06 16:52:06
896
1
原创 《昇思25天学习打卡营第1天|基本介绍》；
蓝色方框往上的内容跟算法开发相关的用户更加贴近，包括存放大量的AI算法模型库ModelZoo，提供面向不同领域的开发工具套件MindSpore DevKit，另外还有高阶拓展库MindSpore Extend，这里面值得一提的就是MindSpore Extend中的科学计算套件MindSciences，MindSpore首次探索将科学计算与深度学习结合，将数值计算与深度学习相结合，通过深度学习来支持电磁仿真、药物分子仿真等等。因此如图所示，通过IR把模型导出到不同的模块执行推理。
2024-06-19 18:00:54
277
原创 Eolink x 优快云｜战略合作，共建API全生命周期开发生态
Eolink 成立于2017年，是国内API整体解决方案的领军者、国内最大的API在线管理服务平台。此次战略合作，Eolink与优快云双方正是基于对API- First的一致看好，利用各自在技术、知识、内容和资源方面的优势，共同推广从需求到实现交付过程以API为中心的设计理念，以及打造围绕API的设计、实现、测试、上线、在线化文档、维护升级等全生命周期方法论和最佳实践，持续传递Eolink平台价值，共同推动API-First理念深入各行各业，全面提升中国数字化转型中面临的效率挑战。
2023-04-06 16:34:26
原创 简洁之美——构建数字世界的统一方程式
问及什么是“美”，每个人都会有属于自己的答案。大自然的美就宛如天上的彩虹与浩瀚的星空，人们对于自然规律的认识最早就源于对大自然的观测，基本的规律体现出的就是自然的美；而那些传世画作以及无数优美的乐章则是由人类所创造出的美。下载自视觉中国科学可以很美，技术的发展源自科学，也同样具有美感。搜索一下亚马逊的计算机类图书，我们会发现各类以xx之美命名的书籍，从开发人员关注的“编程之美”到“测试之美”以及“算法之美”，架构师推崇的“系统之美”、“集群之美”……
2022-09-30 10:38:52
原创 自由之美——工程师们不断推动下的云服务架构
记得自己在2003年参与的项目，使用了JSP、Servlet、JavaBeans和JDBC所组合的最原始的Web应用框架。对于一位牛逼的资深级程序员来讲，这种原始的应用框架能写出最整齐、简洁与极致高性能的代码。但是软件工程需要更多人参与进来，原始的框架容易变得混乱，原因就在于太多纯粹性的技术问题束缚了开发团队，那么参与者越多，代码堆积的熵增就越显著，项目也逐渐陷入泥潭。因此，各种Web架构总是被顶尖的工程师们不断更新迭代、推陈出新，引导工程师们去关注业务本身，而非琐碎的技术问题。
2022-09-30 10:27:26
2
原创 把握新航道，优快云智能汽车技术路线图正式发布
互联网大厂缩招裁员，智能汽车研发人才抢夺仍在加剧 截至2022年4月17日，全国高校毕业生去向落实率为23.61%，产业用人需求与人才就业需求的矛盾可见一斑，缩招、裁员的互联网大厂是IT人才的首选，而智能汽车领域的IT人才正“遭遇”百万年薪和疯狂挖角。 智能汽车行业人才缺口是怎么来的？ 总量供给严重不足。汽车已不仅仅是机械产品，而是集计算机、材料、电子信息、智能控制于一体的产品，技术更新迭代非常迅速，传统的机械知识已经不能满足汽车的设计制造需求，智能汽车发展需要大量IT背景专业人才的加入，目前来.
2022-05-10 22:43:20
2
原创 Thoughtworks、深信服、顺丰科技、景嘉微、微众银行……纷纷加入优快云，雇主形象打造已成企业发展重要战略
数字信息时代，如何快速抢占市场是企业的核心命题，顶尖人才是企业的重要资源储备。如何建立一个成为潜在候选人首要考虑的雇主品牌，从竞争对手中脱颖而出，受到潜在申请人和员工的信任呢？Thoughtworks、深信服、顺丰科技、景嘉微、微众银行等老牌技术公司，纷纷投入优快云雇主品牌的怀抱，也由此可见对IT人才的重视。 家家都是技术公司、人人都是开发者，企业如何扛起雇主品牌大旗，搞定IT人才招揽呢？ 第一点：减少无效资源投入，找准目标用户 顺丰科技、throughworks、深信服科技作为老牌技术
2022-04-29 16:01:57
3
原创 《优快云云原生工程师能力认证——IT人才进名企的牵引者》
2022年应届高校毕业生人数首次突破千万，企业方却依然面临招聘难的问题，如今家家都是技术公司，人人都是开发者，IT领域的人才储备也成为了企业的重要战略，但不管是求职人群还是用人单位都面临着相应的问题：应届生想进名企但自身实力不够硬，未达到用人单位标准；用人单位培养新人周期太长、成本太高等问题。优快云中文开发者社区推出的“C站云原生工程师能力认证”旨在帮助考生快速掌握云原生开发技能，重点考核容器、DevOps、微服务应用等技术。此标准下，优快云将为千行百业贡献更多云原生开发者，筛选合格软件人才，建立应聘者
2022-04-29 12:00:40
2
原创 【官宣】BSV工程师能力认证项目在优快云推出线上学习平台
BSV工程师认证正式推出线上学习平台并发布首门课程《比特币协议与设计》。 去年11月，上海可一澈科技有限公司（以下简称“可一科技”）与优快云联合推出了BSV区块链开发工程师能力认证项目（以下简称“BSV工程师认证”）。今天，BSV工程师认证项目正式推出一个全新的线上学习平台，并发布首门课程《比特币协议与设计》。 本次推出的线上学习平台提供专业性的教材及高质量的学习资源，无论是对区块链技术感兴趣的学生，还是正在寻求新事业机遇的职场人，都可以在平台上高效地学习区块链知识，并获得相应的专业技能证书。.
2022-04-18 11:30:20
转载 官宣 | 优快云 能力认证“百城千人”伙伴计划发布
在新互联网时代下，社会用人标准逐步提高，技术人才资源紧缺、就业率降低等问题也随之成为国家和企业关注的焦点。应运而生的优快云云原生工程师能力认证标准，旨在帮助考生快速掌握商业项目的工程化、交付能力，提升就业率。同时考生还可加入“优快云超级实习生计划”，享受专属名企内推渠道、专业的名企及大厂录用标准测评及专项训练。 为助力开发者人才培养，帮助企业与应聘者之间搭建信任的桥梁，优快云正式发布优快云能力认证“百城千人”伙伴计划！ 该计划限定招募1000名合作伙伴，将以C认证体系及其认证基础上的超级
2022-04-11 10:56:04
3
原创 【官宣】2022优快云雇主品牌季活动开启
数字经济时代，产业加速变革，急需多元化的研发人才，学校教育与产业需求却存在巨大的鸿沟，即便是再优秀的应届生，也不能满足直接上岗的用人要求。除名企外，90%应聘者不了解企业，更不了解企业的产品&技术栈&行业应用。很多企业都面临着招聘难、人才培养周期长、成本高的痛点。 为了帮助企业更好的应对用人难的挑战，优快云面向所有企业全新升级了优快云2022雇主品牌计划，在企业发展、吸引人才、连接人才、宣传公司多个维度提供专属的支持。 ...
2022-04-02 10:00:51
转载 应势而生，优快云云原生工程师能力认证官宣
云原生作为基于分布部署和统一运管的云端服务，是以容器、微服务、DevOps等技术为基础建立的一套云技术产品体系。 在企业积极进行数字化转型，全面提升效率的今天，各大云厂商都不约而同的将云原生视为未来云应用的重点发展方向。 云原生究竟好在哪里？ 开发者无需考虑底层技术实现 云原生构建应用简便快捷，部署应用轻松自如、运行应用按需伸缩 秒杀传统Web框架，吊打祖传IT模式 企业产品全面云化的背后，带来云原生工程师的供不应求，学习云原生开发技能是个人开发者、学习者的更好选择。 2022年...
2022-03-31 19:34:02
1
原创 1024程序员节吹响新技术青年集结号：百余位专家、千万程序员线上线下互动，共迎开源开放的数字经济新时代
10月23日，第二届“长沙 · 中国1024程序员节”在湖南长沙盛大开幕。大会以“开源开放、算据赋能——开启数字经济新时代”为主题，囊括岳麓尖峰对话、2021技术英雄大会、18+场专业主题论坛/峰会；50+企业创新展，联动100+海内外高校，研讨议题包括数字新基建、数据库技术实践与未来、先进计算与人工智能技术、工业互联网智能制造、隐私计算与大数据、智能汽车、全场景AI、云原生时代、长沙智谷项目推介会等。 在大会首日，10月23日下午，最受瞩目的“岳麓对话，开启数字新时代”峰会重磅开启。其中，三大院士就开源
2021-10-25 14:51:32
6
原创 30万奖金悬赏 | 优快云软件开发精英赛即日启动
软件开发界大事件，各路玩家凭实力定胜负！“优快云软件开发精英赛”即日启动，现诚邀广大技术从业者及爱好者报名参赛。 本次大赛设立30万元奖金池以及丰厚礼品，获奖人员还有机会受邀参加2021年1024程序员节。多元赛道 ，万人竞技，参与就有奖！心动不如行动，快来报名吧！ 一、站在风口，我们与时代同行 随着大数据、人工智能AI、云计算、物联网、5G的兴起，软件开发成为了大热门，小到身份证的使用，大到载人飞船的发射，无不渗透着软件开发的身影，软件开发在我们的生活里从相加走向相融。 基于对软..
2021-07-27 14:07:52
空空如也
NVIDIA Isaac Sim仿真平台体验
2024-11-14
【NVIDIA Isaac Sim仿真平台体验提问】
2024-11-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人