- 博客(179)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 SearXNG——自建一个属于自己的免费搜索引擎平台
一个基于 Python 的完全开源免费搜索引擎平台，为你提供来自 Google、Bing、Yahoo 等 70 多种各大视频、图片、搜索、磁力等网站结果展示，并对搜索结果进行优化，同时不会存储你的任何搜索信息，搭建也很方便，有兴趣的可以搭建给需要谷歌的同事或朋友用下。注意，不能访问外网的用户使用起来会很不舒服。搭建采用国外（或者非大陆）服务器，不建议采用国内服务器。官方。
2025-02-19 11:47:41
2942
1
原创 DIG 命令并启用 EDNS（扩展的DNS协议，EDNS0）
digdig是由bind-utils（在 CentOS/RHEL 中）或dnsutils（在 Ubuntu/Debian 中）软件包提供的工具。dig现代的dig工具默认支持 EDNS，无需额外配置。确保使用最新版本的dig。
2025-01-13 20:28:54
360
原创 Speedtest 测试客户的上/下行带宽
命令行工具测试客户的上/下行带宽。以下是两种实现方式的安装和使用方法。以上工具和脚本可以帮助你快速测试和记录客户的上/下行带宽状况。
2025-01-02 23:00:06
768
原创 iperf3 测试云服务性能
对于 Windows 系统，您需要下载并安装。这将开始在指定的默认端口上监听。：首先，您需要在云主机上安装。指定服务端的 IP 地址，设置测试时间为 10 秒，使用 8 个线程进行测试。
2025-01-02 21:21:20
221
原创 如何配置docker通过代理服务器拉取镜像或者通过第三方加速平台拉取镜像
如果 docker 所在的环境是通过代理服务器和互联网连通的，那么需要一番配置才能让 docker 正常从外网正常拉取镜像。然而仅仅通过配置环境变量的方法是不够的。本文结合已有文档，介绍如何配置代理服务器能使docker正常拉取镜像。本文使用的docker 版本是。
2024-09-20 21:11:42
5405
2
原创 书生·浦语大模型第六课作业
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM-Chat-7B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以。模式下，任务将按顺序执行，并实时打印输出。模式启动评估，并检查是否存在问题。
2024-02-14 23:17:27
593
原创 书生·浦语大模型第五课作业
目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。lmdeploy 没有安装，我们接下来手动安装一下，建议安装最新的稳定版。如果是在 InternStudio 开发环境，需要先运行下面的命令，否则会报错。直接启动本地的 Huggingface 模型，如下所示。，复制完成后，可以在本地查看环境。
2024-02-12 21:55:05
481
原创 书生·浦语大模型第四课作业
构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要替换成自己名字或昵称！1.安装安装完后，就开始搞搞准备工作了。（准备在 oasst1 数据集上微调 internlm-7b-chat）
2024-02-12 20:47:35
1381
原创 书生·浦语大模型第三课作业
复现课程知识库助手搭建过程 (截图)选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在上成功部署（截图，并提供应用地址）
2024-02-09 23:47:10
1139
原创 书生·浦语大模型第二课作业
使用 InternLM-Chat-7B 模型生成 300 字的小故事（需截图）。的 config.json 文件到本地（需截图下载过程）。完成 Lagent 工具调用 Demo 创作部署（需截图）熟悉 hugging face 下载功能，使用。完成 Lagent 工具调用 Demo 创作部署。完成浦语·灵笔的图文理解及创作部署（需截图）的 config.json 文件到本地。完成浦语·灵笔的图文理解及创作部署。python 包，下载。
2024-02-08 23:02:12
540
原创 XTuner 大模型单卡低成本微调实战
第四节课《XTuner 大模型单卡低成本微调实战》着重介绍了如何应用XTuner进行大模型的微调，以及两种微调模式：增量预训练和指令跟随。
2024-02-07 16:36:08
429
原创 基于 InternLM 和 LangChain 搭建你的知识库
第三节课《基于 InternLM 和 LangChain 搭建你的知识库》主要讲述了如何使用RAG（检索增强生成器）范式和LangChain开源框架建立知识库应用。
2024-02-06 20:07:09
433
原创 轻松玩转书生·浦语大模型趣味Demo
轻松玩转书生·浦语大模型趣味Demo的第二节课主要讲解了如何使用三个重要的Demo，即InternLM-Chat-7B智能对话Demo、Lagent智能体工具调用Demo、以及浦语・灵笔图文理解创作Demo。
2024-02-06 19:37:57
430
原创 人声与背景音乐源分离
人声分离是将音频录音分离为各个源的任务。该存储库是音乐源分离的 PyTorch 实现。用户可以通过安装此存储库将自己喜欢的歌曲分成不同的来源。用户还可以训练自己的源分离系统。该存储库还可用于训练语音增强、乐器分离和任何分离系统。从github上下载，然后存放到指定文件夹下：/root/bytesep_data/train_scripts/musdb18。执行以上，可分离出人声，若效果不理想需要进行微调操作。存放到目录：/root/bytesep_data 下。下载依赖的人声伴奏配置。
2023-11-09 21:49:32
1706
原创 图像翻拍检测——反射分量分离的特征融合
随着计算机技术的迅速发展，需要建立人与信息一一对应的安保认证技术，通过建立完整的映射网络体系，从而确保每个人的人身、财产、隐私等的安全.与指纹、基因等人体生物特征识别系统相比，人脸识别系统更加友好，不需要人的参与配合，能在不打扰正常生活情况下解决问题.同时，通过分析人脸识别系统的表情、姿态等可获得更多的有用信息.因此，人脸识别技术可用于公安系统、驾驶核对系统、监控系统、银行信用卡验证系统等[1].
2023-08-28 09:32:45
2096
1
原创 LangChain + Embedding + Chromdb，关联使用ChatGLM的本地搭建训练平台教程
OpenAI 在国内用户注册会遇到各种阻力，目前可行的方法是使用本地数据集的功能实现联网搜索并给出回答，提炼出TXT、WORD 文档里的内容。LangChain。 这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。LangChain 是一个用于开发由语言模型驱动的应用程序的框架。他主要拥有 2 个能力：可以将 LLM 模型与外部数据源进行连接允许与 LLM 模型进行交互LLM 模型：Large Language Model，大型语言模型。
2023-07-19 17:29:14
10426
原创 LangChain 中文入门教程
众所周知 OpenAI 的 API 无法联网的，所以如果只使用自己的功能实现联网搜索并给出回答、总结 PDF 文档、基于某个 Youtube 视频进行问答等等的功能肯定是无法实现的。LangChain。这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。LangChain 是一个用于开发由语言模型驱动的应用程序的框架。可以将 LLM 模型与外部数据源进行连接允许与 LLM 模型进行交互LLM 模型：Large Language Model，大型语言模型。
2023-06-19 18:41:39
4329
原创 Fine-tune的机制
对应到刚才的例子，我们假设这次业务是针对一家外国大飞机制造公司的，那么我们希望保留外贸业务中的结算能力，外贸的其它知识可以抛弃，那么在Fine-tune的时候，特地把以前已经学会过的外贸结算知识也加入到这次的学习材料中，使得改造后的公司不至于错误得遗忘结算能力。这次公司改造并不增加员工数量，仅仅是对现有员工的业务能力改造。当然是跟AR和大飞机制造无关的知识，比如先前已经掌握的外贸业务知识，机械制造领域的知识有部分被遗忘，还有一些跟布线有关的可以保留，员工大脑里腾出的空间就用来装新知识了。
2023-05-18 21:52:42
667
原创 读懂什么是RDMA
RDMA(Remote Direct Memory Access)，全称远端内存直接访问技术，可以在极少占用CPU的情况下，把数据从一台服务器传输到另一台服务器，或从存储到服务器。传统应用要发送数据，需要通过OS封装TCP/IP，然后依次经过主缓存、网卡缓存，再发出去。这样会导致两个限制。限制一：TCP/IP协议栈处理会带来数10微秒的时延。TCP协议栈在接收发送报文时，内核需要做多次上下文的切换，每次切换需要耗费5-10微秒。
2023-04-24 11:27:31
4433
1
原创 ChatGPT原理详解+实操
至此，就完成了GPT2模型的有监督精调训练。可能有的读者会说，你这和instructGPT的SFT过程不一样，是有点不一样，但思路原理是一样的，而且笔者自己没有好的硬件设备，只能在小模型上试试水，而且笔者也没有大规模的高质量有监督数据。
2023-04-19 14:22:39
7799
原创 APOLLO UDACITY自动驾驶课程笔记——规划、控制
路径规划使用三个输入，第一个输入为地图，Apollo提供的地图数据包括公路网和实时交通信息。第二个输入为我们当前在地图上的位置。第三个输入为我们的目的地，目的地取决于车辆中的乘客。
2022-11-27 11:01:48
1275
2
原创 Apollo Udacity自动驾驶课程笔记——高精度地图、厘米级定位
前言：目前 Apollo 内部高精地图主要应用在高精定位、环境感知、决策规划、仿真运行四大场景，帮助解决林荫道路GPS信号弱、红绿灯是定位与感知以及十字路口复杂等导航难题。
2022-11-27 10:53:49
781
原创 以太网模块的传输距离怎么看
光模块的关键标准组织主要有两个：IEEE和MSA。其中GBASE开头的标准主要是IEEE802.3提出与定义的。要弄清光模块的传输距离，首先让我们要弄清楚它的命名是怎样的。
2022-11-23 09:18:16
964
原创 百亿级小文件存储，JuiceFS 在自动驾驶行业的最佳实践
本篇文章来自 JuiceFS 某自动驾驶行业客户的架构实践，在百亿规模小文件训练场景下进行了一系列成功的探索，希望能为相关行业的应用带来一些参考和启发。
2022-09-18 19:07:13
458
原创 axel 下载与安装
一.安装必要的库yum -y install openssl-devel gcc二.下载源码包wget -O axel-2.17.11.tar.gz http://github.com/axel-download-accelerator/axel/releases/download/v2.17.11/axel-2.17.11.tar.gz三.解压tar xzvf axel-2.17.11.tar.gz四.进入目录cd axel-2.17.11/五.检查编译./c
2022-04-17 11:28:43
2454
原创 etcd的安装教程
Linux 系统中，下载最新版本的ETCDReleases · etcd-io/etcd · GitHub一.下载方式ETCD_VER=v3.5.3# choose either URLGOOGLE_URL=https://storage.googleapis.com/etcdGITHUB_URL=https://github.com/etcd-io/etcd/releases/downloadDOWNLOAD_URL=${GOOGLE_URL}curl -L ${DOWNLOA
2022-04-17 07:23:16
4956
原创 kubectl命令自动补全功能
管理Kubernetes集群的时候，为了提高使用kubectl命令工具的便捷性，介绍一下kubectl命令补全工具的安装。1：安装bash-completion：yum install -y bash-completionsource /usr/share/bash-completion/bash_completion2：应用kubectl的completion到系统环境：source <(kubectl completion bash)echo "source <(k.
2022-04-01 09:15:22
2207
原创 storage.googleapis.com 访问与下载慢
运行命令出现 storage.googleapis.com 无法访问问题看到这位靓仔给出了方法，就是解析出地址然后替换host1. 访问：https://tool.chinaz.com/speedtest/storage.googleapis.com2. 获取ip，准备修改host然后我自己的是mac电脑参考了这位小哥的方法去修改host文件：1、通过 VI 编辑器修改 打开终端（应用程序——实用工具），运行： sudo vi /etc/hosts2、屏幕上会提示你
2022-03-30 22:15:49
11985
6
原创 centos7安装minikube
VMware Workstation中开启虚拟化 安装之前需要在bios中开启虚拟化功能。这里是在vmvare虚拟机中安装。开启步骤如下：1.1下载virtualbox官网地址：https://www.virtualbox.org/1. 首先下载oracle_vbox.asc文件到本地：wget -qhttps://www.virtualbox.org/download/oracle_vbox.asc再执行import：sud...
2022-03-30 21:45:34
2302
原创 openstack 热迁移(Live Migration)和冷迁移(Cold Migration)
一.迁移分类1.冷迁移(cold migration)，也叫静态迁移。 在迁移到另外的计算节点时，这段时间虚拟机实例是处于宕机状态的，即关闭电源的虚拟机进行迁移。 通过冷迁移，可以选择将关联的磁盘从一个数据存储移动到另一个数据存储，实例需要重启才能工作。 适用于对象系统可用性要求不是很高的时候，迁移过程中会关机， 拷贝 instance 的镜像文件和重建 libvirt.xml (这个配置文件中会涉及网络环境， 存储设备等配置)， 并重新在目标主机上启动。优点：虚拟...
2022-03-25 13:48:00
13979
原创 一篇文章让你了解灾备指标：RPO与RTO
RTO 和 RPO 都是企业灾难恢复（Disaster Recovery, DR）需要考虑的关键指标，这两个指标可以用来指导企业来制定合适的业务系统服务或数据的恢复方案。RPO（Recovery Point Objective）：即数据恢复点目标，主要指的是业务系统所能容忍的数据丢失量，指灾难发生后，从IT系统宕机导致业务停顿之时开始，到IT系统恢复至可以支持各部门运作、恢复运营之时，此两点之间的时间段称为RTO。如果以定期计划的24小时增量备份全部或大部分数据，那么在最坏的情况下，企业将丢失2
2022-03-22 20:59:23
15186
CloudEngine 12800, 12800E系列交换机 V200R003C00 产品文档
2020-04-15
性格决定领导力
2018-10-27
SQL必知必会 第4版pdf
2018-05-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人