- 博客(81)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Deepnote、JupyterLab、Google Colab、Amazon SageMaker、VS Code对比
Amazon Sagemaker vs DeepnoteSagemaker视频教学Mode Notebooks vs DeepnoteHex vs DeepnoteGoogle Colab vs DeepnoteJupyter vs DeepnoteVS Code vs Deepnote
2024-11-26 23:31:20
814
翻译 《Current Best Practices for Training LLMs from Scratch》
扩展法则：讨论了如何根据模型大小和数据集规模来确定训练策略，以实现模型性能的最优平衡。硬件需求：介绍了训练LLMs所需的硬件配置，包括GPU、TPU等高性能计算设备，强调了硬件资源的合理配置对模型训练效率的重要性。并行化技术：提供了多种并行化技术，如数据并行和模型并行，来加速训练过程，并减轻计算资源的负担。数据集收集和预处理：强调了高质量训练数据集的重要性，介绍了数据收集的标准和预处理方法，以确保数据集的多样性和代表性。内存和计算效率管理。
2024-11-25 21:49:18
215
原创 PyTorch训练Celeba
接下来，我们定义一个简单的卷积神经网络模型，结构可以根据任务的复杂性调整。这里的例子是一个基础的CNN。对于多标签分类任务，我们使用 BCEWithLogitsLoss 损失函数。优化器可以选择 Adam 或 SGD。criterion = nn.BCEWithLogitsLoss() # 二分类交叉熵损失。
2024-10-04 23:54:58
1452
1
原创 Linux noVNC远程桌面（xfce）部署
它功能丰富、可高度定制，并提供用户友好的图形界面，旨在为 Linux 和类 UNIX 操作系统用户提供先进的用户体验。它为用户提供了一个熟悉、高效的桌面环境，结合了强大的功能和简洁的界面。MATE 是一个基于传统 GNOME 2 的轻量级桌面环境，旨在保留经典的桌面体验，提供简洁易用的界面，适合喜欢传统桌面风格的用户。noVNC 是一个基于 HTML5 的 VNC 客户端，它允许你直接通过浏览器访问 VNC 会话，无需额外的客户端软件。系统会提示你输入密码，确保选择一个安全的密码。
2024-09-26 09:34:05
2681
1
原创 使用 Python 快速开始机器学习
🔗 快速开始 PyTorch｜使用 Python 建立深度学习模型🔗 快速开始 TensorFlow2｜面向初学者的快速入门🔗 快速开始 Scikit-Learn｜使用 Scikit-Learn 建立机器学习模型🔗 快速开始 NumPy｜了解 NumPy 的数组并实现常用的数组操作🔗 快速开始 Pandas｜了解 Pandas 的数据结构并实现常用的表格操作🔗 快速开始 matplotlib｜广泛使用的 Python 数据可视化模块快速开始 seaborn｜入门 seaborn 数据可视化
2024-03-23 22:41:07
923
原创 动手学深度学习｜notebook教程
含 PyTorch、NumPy/MXNet、TensorFlow 和 PaddlePaddle 实现。被全球 70 多个国家 500 多所大学用于教学。下面是整理好的，可以直接运行的notebook。面向中文读者的能运行、可讨论的深度学习教科书。
2024-03-20 10:01:25
1847
原创 科学计算教程 SciCompforChemists
作为科学计算的入门资料，通过使用Python、Jupyter笔记本和SciPy堆栈来完善计算技能。文章使用了多种软件包，包括NumPy、SciPy、matplotlib、pandas、seaborn、NMRglue、SymPy、scikit-image和scikit-learn。
2024-03-20 09:50:43
275
原创 大模型提示工程和常用的几个场景下Prompt案例
用户可以通过提示工程来提高大语言模型的安全性，也可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。提示工程（Prompt Engineering）是一门较新的学科，关注提示词开发和优化，帮助用户将大语言模型（Large Language Model, LLM）用于各场景和研究领域。基于对大语言模型的浓厚兴趣，我们编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。
2024-03-19 01:37:45
992
原创 大模型算命，对比下kimi和ChatGPT，AI离道破天机就差一个你信不信
都说了性格冲动偏激，财运不错，ChatGPT不上传文件也能有不错的回答，但是都让他重试回答才看着更好些，以后不用街边10块钱算命了，还真不如大模型看着靠谱。
2024-03-19 01:24:27
4979
4
转载 一文理解贝叶斯优化
以上的小故事其实蕴含了一种不基于梯度的全局优化算法——“贝叶斯优化”的核心思想，而贝叶斯优化被广泛应用于复杂黑盒函数的优化问题上。接下来，就让我们一起来了解一下贝叶斯优化吧！贝叶斯优化（Bayesian Optimization）是一种高效的全局优化方法，主要用于优化具有高度非线性、高维度和未知性质的目标函数。在机器学习和深度学习领域，贝叶斯优化经常用于调整模型的超参数，以提高模型的性能。贝叶斯优化的优势在于它可以通过利用已有的观测数据，来指导对下一个采样点的选择，从而加速优化过程。
2024-03-19 00:43:39
2128
转载 快速了解第一性原理计算
查看原文并在线调试代码📌 第一性原理计算：第一性原理计算是指基于量子力学原理的计算方法，通过求解薛定谔方程来预测材料的性质和行为。量子力学的提出1687 ，牛顿在《自然哲学的数学原理》【1】一书中总结出了牛顿经典力学，向我们描述了宏观物体的运动规律。19 世纪末，人们发现一些科学现象，例如黑体辐射【2】、光电效应【3】、原子光谱【4】等，无法被牛顿经典力学所解释。人类科学的研究从那个时候开始从宏观世界转向更微观的世界。1900 年，普朗克在《在黑体光谱中的能量分布》论文中，普朗克假定能量在发射
2024-03-18 23:52:42
1221
原创 科学计算免费课程集锦
内容包括：二次量子化(粒子数表象)方法,既全同多体粒子体系的置换对称性，单粒子产生和湮灭算符以及粒子数表象中玻色子和费米子单体和二体算符的表达式和相应的矩阵元的计算；主要介绍Klein-Gordon方程，Dirac方程和它的相对论协变性，Dirac粒子的自旋，自由电子的平面波解，以及反电子概念的引入。在这样的学科发展背景下，开设一门系统化计算材料学的课程是非常必要的。通过基础教学和实践应用的结合，本课程旨在激发创新灵感，促进材料科学领域的进步，为学习者提供应用机器学习技术揭示新材料和解决复杂问题的技能。
2024-03-18 23:38:48
1075
转载 快速开始 Pandas｜了解 Pandas 的数据结构并实现常用的表格操作
- 了解 Pandas 的数据结构对象- 使用 Pandas 创建、读取或导出数据- 查看或选择数据，对数据进行处理（选择，删除，分组，分类等）- 表格处理，例如多表合并，改变表的数据结构- 使用 Pandas 时间序列数据- 结合 matplotlib 对 Pandas 数据进行绘图
2024-03-18 15:36:51
86
原创 本地Argo配置，连接远端Argo Server
安装cli并生成token$ brew install argo....$ argo auth tokenBearer xxxxx配置环境变量export ARGO_SERVER=xx.xx.xx.xx:2746export KUBECONFIG=/dev/nullexport ARGO_NAMESPACE=argoexport ARGO_SECURE=false # 我们服务器配置的http，所以不设置为falseexport ARGO_TOKEN="Bearer xxxxx.
2022-05-02 20:36:24
871
原创 Go使用Private仓库用作module依赖
在go 项目中使用private仓库作为module依赖时，执行get报错$ go get -x gitee.com/xxx/xx/pkg/logger......go: module gitee.com/xxx/xx/pkg/conf/env: git ls-remote -q origin in /Users/xx/go/pkg/mod/cache/vcs/2e35dcd54deffa37be1a6dc6bafd375ae8f1dbb041676b2e1d5c781d4c76627e: exit
2022-04-12 17:24:48
2244
原创 Docker运行mysql
下载mysql镜像，不指定tag，自动使用latestshell> docker pull mysql/mysql-server:tag运行，–name指定自定义名称(就mysql这个镜像，默认是mysql)， -d是后台运行shell> docker run --name=mysql1 -d mysql/mysql-server:tag查看运行shell> docker psCONTAINER ID IMAGE COMMAND
2022-04-01 19:38:23
2980
原创 Mac terminal主题修改
下载https://github.com/mbadolato/iTerm2-Color-Schemes，页面中有各主题对应的截图terminal下双击对应的*.terminal文件会弹出对应的主题终端关掉弹出的终端在terminal的偏好设置中就可以找到对应的主题样式我最终选的Fideloper...
2022-04-01 11:12:30
982
原创 shell脚本批量修改某目录下的文件名
现有如下目录$ ls L0*L0_0:t1.txtL0_1:t0.txtL0_2:t1.txtL0_3:t12.txt目标是批量修改目录下t*.txt为t.txt$ for i in `ls L0_*/t*.txt`; do echo "$i"; mv "$i" "${i%/*}/t.txt"; done$ ls L0*L0_0:t.txtL0_1:t.txtL0_2:t.txtL0_3:t.txt...
2022-03-09 18:48:47
496
原创 linux下 lscpu命令查看cpu信息
Architecture: #架构CPU(s): #逻辑cpu颗数Thread(s) per core: #每个核心线程Core(s) per socket: #每个cpu插槽核数/每颗物理cpu核数CPU socket(s): #cpu插槽数Vendor ID: #cpu厂商IDCPU family: #cpu系列Model:
2022-02-16 19:37:50
1883
原创 【Slurm】Accounting and Resource Limits
三个命令：sacct: 可以查看running 或 terminated的jobsstat：只能查看running的jobsreport：可用于根据特定时间间隔内执行的所有作业生成报告三个配置：AccountingStorageType：JobAcctGatherType：JobCompType：
2022-02-06 02:17:08
692
原创 阿里云ECS 挂盘
fdisk -l# 挂载sudo fdisk /dev/vdb# 格式化sudo mkfs.ext4 /dev/vdb1# 挂载目录sudo mount /dev/vdb1 /mnt
2021-11-16 19:19:05
859
原创 Slurm之sacct
查询已经结束作业的相关信息sacct -j 7454119# 指定输出格式format=jobid,jobname,partition,nodelist,alloccpus,state,endsacct --format=$format -j 7454119但是使用这个命令，需要开Accounting，有两种任务数据存储方式，本地文件/数据库本地文件修改/etc/slurm/slurm.conf......# ACCOUNTINGAccountingStorageEnforce=1A
2021-11-04 19:17:41
2382
原创 Redis常用维护
查看内存情况~$ redis-cli 127.0.0.1:6379> info memory# Memoryused_memory:152794264used_memory_human:145.72Mused_memory_rss:302395392used_memory_rss_human:288.39Mused_memory_peak:281135088used_memory_peak_human:268.11Mused_memory_peak_perc:54.35%used
2021-10-28 16:04:52
598
原创 AMQP: AMQPLAIN和PLAIN配置
celery 访问阿里amqp队列报错:amqp.exceptions.ConnectionError: Couldn't find appropriate auth mechanism (can offer: AMQPLAIN; available: PLAIN)添加配置：broker_login_method = 'PLAIN'
2021-10-28 14:36:30
796
原创 Sqlalchemy获取某个字段长度
from sqlalchemy import Column, Stringclass Test(Model): __tablename__ = 'test' code = Column(String(32)) ......举例如上，在开发中经常遇到往数据库中写数据时报“Data too long for column ‘code’ …”，数据库配置可以解决，同时也可以在代码中避免此类问题，避免写超t = Test()t.code = "x"*44db.session.a
2021-10-26 01:58:09
701
原创 wsl配置ssh和自启动
1.配置Linux子系统ssh先把win的ssh服务关了，因为Ubuntu20.04子系统自带的ssh服务无法连接，需卸载后重新安装。卸载ssh服务apt remove openssh-server重装ssh服务apt install openssh-server修改配置# /etc/ssh/sshd_configPort 22ListenAddress 0.0.0.0PermitRootLogin yesPasswordAuthentication yes重启服务servi
2021-10-13 00:51:55
3023
原创 Form表单的格式和Python Requests库的表单应用
在对接某第三方平台api时，postman测试form表单请求ok，但用python的requests库post请求，传参到data则请求失败，用flask搭了一个server测试两种请求都ok，打印body发现，一个Content-Type=application/x-www-form-urlencoded 而另一个Content-Type=multipart/form-data，猜测跟这个有关，但requests库中没有记得哪里设置这个参，查资料后，用requests库的files解决了，基于此，把r.
2021-09-23 16:14:47
2200
原创 celery消费者刷新db.session
celery的消费者进程和生产者进程因为独立，sqlalchemy的session缓存因为不同步，导致生产者插入或修改数据，发送id到消费者接受消息后，数据库中查询不到，可以在消费者消费完消息后主动close一下session来刷新sesion的缓存import celeryfrom celery import Taskclass BaseTask(Task): def on_failure(self, exc, task_id, args, kwargs, einfo): .
2021-08-13 19:58:22
289
1
原创 Celery产生随机队列问题
rabbitmq查看经常出现Queue fb25dd5d-6877-3473-8860-af0a9f840371一类的随机消息队列，获取消息内容格式：{“task_id”: “8c2346e2-850c-4de6-9d0f-e6f794ec0a74”, “status”: “SUCCESS”, “result”: null, “traceback”: null, “children”: []}这种消息格式是消费者执行的结果，结果保存到mq中了，查看文档，当result_backend配置为rpc时，消.
2021-08-13 14:47:09
201
原创 flask请求返回400问题
客户端有个请求大概如下requests.get(“http://127.0.0.1:5000/data/get_something”, headers={‘Content-Type’: ‘application/json’})，现象是服务器一直返回400检查url，服务器代码之类，并没有异常，只有新加的在服务端检查了request.json是否存在，这个检查只是为了兼容老代码，怀疑是这个json解析问题，顺便理了下flask解析json的流程flask的request.json部分代码如下# ...
2021-04-29 14:55:15
6993
1
原创 Docker的安装和测试
官方文档卸载旧版本$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrot
2021-04-28 00:14:46
157
原创 linux 查看进程运行状态
当发现内存占用较高时，可以用这个命令看下系统中进程的占用情况ps -e -o 'pid,comm,args,pcpu,rsz,vsz,stime,user,uid'
2021-04-23 19:26:46
303
原创 在docker中使用nginx
查看可用的nginx版本$ docker search nginxNAME DESCRIPTION STARS OFFICIAL AUTOMATEDnginx Official build of Nginx. 14744 [OK] .
2021-04-21 15:21:44
399
原创 linux 创建账号和设置root账号不可远程登录
先创建一个登录账号#增加一个新用户：adduser auser#设置新用户秘密：passwd auser#设置用户权限：sudo vi /etc/sudoers #增加xxxx ALL=(ALL) NOPASSWD:ALL 设置sudo免密centos：root ALL=(ALL) ALLusername ALL=(ALL) NOPASSWD:ALLubuntu：%sudo ALL=(ALL:ALL) ALL%username .
2021-04-08 18:52:56
264
原创 SQLAlchemy commit和 flush的区别
Session对象是对数据库的更改（更新，插入，删除）的持续事务。 这些操作在commit之前不会持久保存到数据库中，如果程序在会话中间的事务中中止，则会丢失任何未提交的更改Session使用add注册事务操作，但在flush之前尚未将它们传递给数据库。flush将一系列操作传递给数据库（插入，更新，删除）。 数据库将它们维护为事务中的挂起操作。 在数据库收到当前事务的commit之前，更改不会永久保留到磁盘或对其他事务可见。commit将这些更改提交（持久）到数据库。默认Session会自动执行f.
2021-03-26 14:55:09
717
原创 Docker安装和简单应用
安装#centossudo curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun加速到阿里容器镜像服务查看具体操作sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://yours.mirror.aliyuncs.com"]}EOFsudo sy.
2021-03-25 15:22:01
241
Current-Best-Practices-for-Training-LLMs-from-Scratch-Final.pdf
2024-11-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人