- 博客(131)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 大模型相关概念
对于大多数深度学习训练任务，尤其是大规模神经网络的训练，BF16由于其更大的数值范围和对硬件优化的优势，越来越成为主流选择8。在深度学习和机器学习领域，FP16（Half-precision floating-point format）和BF16（Brain Floating Point 16-bit）是两种常用的16位浮点数格式，它们各自有着不同的特性和应用场景。然后，在每个模型并行组内部，可能还可以使用数据并行，复制多个这样的模型并行组，每个组处理不同的数据子集。优化库如DeepSpeed的ZeRO。
2025-02-08 22:47:52
972
原创 数据挖掘常用算法
例如评价学生成绩有语文成绩、数学成绩、英语成绩等等。使用降维算法并不是之参考一科或几科或者不参考哪科，而是通过算法对各科成绩进行综合计算，得到一组新的评价值。把一组特征转移到另一个特征空间。类似人的换个视角看问题。在文本、视觉领域效果非常好。但是过程黑盒，缺乏解释性。贝叶斯依赖先验概率，先验知识越准，结果越好。依赖前期对业务和数据的理解。
2025-01-31 11:03:32
1540
原创 虚拟局域网
因为安全策略原因，集群中的机器之间不能相互访问任意端口。准备通过 OpenV（虚拟）P（私有）N（网络）组建一个虚拟局域网，实现机器之间访问任意端口。配置文件默认配置文件示例位置。
2024-12-11 18:34:01
207
原创 docker 中的entrypoint和cmd指令
一直知道这两者有区别，但是一直没有详细了解。最近在使用 docker 封装一个工具，来生成 license。正好可以作为一个案例来讲解两者的区别和用法。
2024-11-25 13:29:56
1019
1
原创 k8s 使用技巧
设置 kubectl 命令交互的 kubernetes 集群并修改配置信息。参阅 使用 kubeconfig 文件进行跨集群验证 获取关于配置文件的详细信息。kubectl 的主要作用就是与 ApiServer 进行交互, 而交互的过程, 我们可以通过下面的方式来打印,里面包含详细的说明，包含如何在 MacOS 上使用。参数会打印执行过程的日志。最高，会打印最详细的信息。更详细的使用方法参考。
2024-07-29 16:24:33
279
原创 Docker 中的代理
docker 中的代理设置分为两类：docker 使用代理访问网络；docker container 使用代理访问网络。因此要注意区分。
2024-07-03 13:31:55
1589
2
原创 iptables 规则参数
本文只是记录常用的命令行规则，如果想了解和学习 iptables，请移步每一条匹配规则都可以使用!进行取反。如表示所有目标端口不为 22 的请求。
2024-05-27 14:49:51
336
转载 [转载] CTO都必须是程序员出身吗？为什么架构师做不了CTO？
并且，一个市场技术人员会成为一个糟糕的CTO，因为他们谈论和思考的是广泛的概括，而不是完成工作的真正细节。（10）如何保持工程团队的持续发展，这可能意味着扮演IT角色，充当工程师，或周末架子搭建者（原文是weekend shelf-builder，不太理解，可能指的是自我驱动去做一些事情的意思）。你如何达到这个目标？（4）如何领导工程团队，如何管理工程团队（以及两者之间的区别是什么，因为它们非常不同）。（7）如何保护你的团队免受不必要的变化，并如何带领他们以及公司其他部分经历必要的变革。
2024-05-06 08:57:30
75
原创 Linux 远程桌面
常用的远程桌面技术有 VNC、RDP、X2GO，还有例如 SSH X 转发。RDP 是 Windows 远程桌面实用的技术，在 Linux 有开源的 xrdp 方案（本人没用明白遇到一些问题，这里不介绍）。VNC 技术本身的缺陷是协议没有安全机制。不过现在一些 VNC 工具如 TigerVNC 本身可以设置实用密码、TLS 等技术加密连接。除此之外，更常用的方法是通过 SSH 连接 VNC，利用 SSH 自身的安全机制建立安全通道。下面介绍一些常用的 VNC 工具。
2024-04-16 15:51:41
757
2
原创 Linux 中的权限设置
Linux 将文档用户分为文档持有者（owner），持有者所在组（group），其他用户（other）。每个文档的权限分为读（r）、写（w）、执行（x），供使用 3 个 bit 来表示。为了方便阅读，会使用 10 进制数字来表示权限值。例如所有用户仅有读权限，则这个文件的权限值为：444。实际上，文档权限为 4 位，上面例子中444实际上是0444。第一位位特殊标记位，也是使用 3 个 bit 来表示。从左到右分别为：SBIT、SGID、SUID。
2024-03-12 11:03:49
789
原创 Linux 网络流量相关工具
本文聚焦于网络流量的查看、端口占用查看。至于网络设备的管理和配置，因为太过复杂且不同发行版有较大差异，这里就不赘述，后面看情况再写。需要注意的是，这里列出的每一个工具都有丰富的功能，流量/端口信息查看只是其能力的一部分。可以根据需要深入学习了解，补充自己的工具链。
2024-01-27 18:02:58
820
2
原创 如何写年终汇报
每年最头疼的事儿就是写年终个人汇报（总结）。有时还有篇幅限制，疼上加疼。根据个人经验和参考其他同事的汇报，做了一个简要的总结，方便以后写汇报使用。个人汇报大的逻辑是：做了什么+做的怎么样；个人成长；要做什么+怎么做。
2024-01-15 16:13:41
436
原创 Python 解决安装三方包失败的问题
pip 安装三方包失败，常见的情况有三种：不能访问源所在服务器；Python 版本不支持；和本地版本冲突。
2024-01-12 19:14:07
1260
原创 SSH 简明介绍
SSH（Secure Shell，安全外壳）是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。传统远程登录和文件传输方式，例如 Telnet、FTP，使用明文传输数据，存在很多的安全隐患。随着人们对网络安全的重视，这些方式已经慢慢不被接受。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。SSH 实现安全的基础是非对称加密（如：RSA）。SSH 支持三种认证方式：password（密码）、publickey（公钥）、password+publick。
2024-01-03 15:11:33
553
原创 前端实现动画的几种方式简介
描边动画的核心是 SVG 的两个显示属性，分别是和。用于创建虚线。它的值是一个序列，可以传入多个值，分别指定虚线中线段和间隔的长度。描述相对于起始点的偏移。它的值是一个数值 X，X>0 时，相当于往左移动了 X 个长度单位;X
2023-12-22 20:37:43
2022
原创 K8S 为什么关闭 SELinux 和交换内存
在学习搭建 K8S 环境和使用 K8S 时，所有教程必然会提到的事情就是，如同自然规律一样。那么为什么会有这样的要求呢？
2023-12-21 18:12:20
806
原创 Windows PowerShell 和 Linux BashShell 极简对比
声明：本文不会涉及原理，详细的介绍，也不是入门文章。仅仅从使用上进行简单比较。
2023-11-03 14:21:54
2279
原创 命令行配置文件
在说具体的配置方式之前，我们需要首先梳理清除几个概念。这有助于我们明白自己在做什么，以及如何把经验平移到其他方面。和命令行相关的有几个感念：terminal（终端）、shell（解释器）；interactive 和 non-interactive、login 和 non-login。我们一一来解释和说明它们各自的用途和含义。
2023-10-17 15:11:53
201
原创 Python 常用模块/库
名称说明官方模块typing提供了类型提示的功能，可以在代码中声明变量、函数或返回值的类型。通过使用类型提示，可以增加代码的可读性、可维护性和可靠性。是dataclassPython 3.7 版本引入的一个装饰器，它可以用来自动为类生成标准方法和特殊方法，例如 __init__、__repr__、__eq__等。通过使用 dataclass 装饰器，开发者可以简化类的定义，减少冗余代码。是pydantic用于数据验证和解析的 Python 库。它可以根据声明的模型
2023-08-31 14:39:04
143
原创 Pydantic 学习随笔
这里是零散的记录一些学习过程中随机的理解，因此这里的记录不成体系。如果是想学习建议看官方文档，写的很详细并且成体系。如果有问题需要交流，欢迎私信或者评论。
2023-08-30 14:10:58
588
原创 在 Windows 下使用 conda 的一些注意点
之前一直使用 MacOS 或者 Ubuntu 作为开发环境，最近因为某些特殊原因需要转为使用 Window 作为开发环境。遇到的第一个问题就是不同开发工具的多环境管理。本文是关于 Windows 下使用 conda 的一些记录，关于如何在 Linux 做多环境管理，可以参考另一篇文章。在 conda 之前已经有了很多虚拟环境管理的工具（如：virtual-env 等），最终把 conda 作为首选是因为其：api 友好，学习方便；支持丰富的配置（.condarc），可定制化程度高；
2023-08-28 14:12:04
909
原创 Debian 11 编译安装 git 2.42.0（基于 OpenSSL）
git 克隆远程仓库时默认使用 gnutls，正常情况下没有任何问题。当使用 gitlab 时，如果把 gitlab 放在代理后面（如：放在 nginx 后面），则可能会出问题。。此时可以通过自己编译使用 OpenSSL 的 git 来解决这个问题。
2023-07-23 11:07:08
1049
原创 在 Ubuntu 20.04 上静默安装matlab 实践
当在 dockerfile 使用 apt 的时候，如果出问题，可以考虑设置如下环境变量。该环境变量有很多值，请自行 baidu。如果要图形化安装（使用 matlab 的安装 GUI 引导）。最好是注销当前账户，然后使用 root 登录系统。使用 ubuntu：20.04 作为基础镜像，在容器中安装 matlab。如果是使用如下方式安装，会出现 GUI 看不到的情况。怀疑是此时的 X11 转发不能和当前账户共用导致。目的：加快实验速度，同时作为后续部署的基础镜像。工具混淆后部署到服务端。
2023-07-03 18:18:52
2503
原创 前端奇淫巧技
上面的代码可以用来检查浏览器是否兼容自己使用的 API，当不兼容时跳转到升级页面，引导用户下载新版浏览器或者其他操作。可以防止当前线程的崩溃，体验更好。
2023-06-01 10:07:00
358
原创 关于函数中参数使用 options 的一点想法
这时，如果需要对参数进行判断，函数实现会很复杂，且并不能保证判断结果是调用者或作者的真实意图，这时 bug 就会不经意出现。options 中的参数，即使用户不设置，函数内部也有可用的默认值。这些参数用于修正函数的行为，但不是必须项。那么，到底哪些参数可以放到 options 中呢？上面的函数可不可以把。在日常开发或使用三方库的过程中，常常会出现这样的函数设计。options 的来源是因为架构设计中的一条原则。
2023-05-19 19:48:42
387
《App研发录》 架构设计、Crash分析和竞品技术分析_PDF电子书下载 带索引书签目录_包建强著_北京：机械工业出版社_P304_2015.10
2018-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人