小厂内部私有Go module拉取方案3

最新推荐文章于 2024-06-14 10:52:25 发布
原创 最新推荐文章于 2024-06-14 10:52:25 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#golang #rust #开发语言 #后端

1. 缘起

我们的Go团队这两年完全是按照之前写的《小厂内部私有Go module拉取方案》[1]和《小厂内部私有Go module拉取方案（续）》[2]中的方案搭建的内部拉取私有仓库的基础设施，总体感觉不错，目前也没有什么大问题。

唯一麻烦一点的，就像《小厂内部私有Go module拉取方案》[3]中提到的，当新增一些用作私有依赖包的repo时，govanityurls的vanity.yml需要手动更新或通过工具自动更新。维护这样一套设施，开发人员肯定不喜欢去做。

月初一位同事的主机发现无法通过内部的GOPROXY server拉取私有module，虽然事后证明这很是网络层面的问题，但也引发我的思考，在统一代理之外是否有拉取私有module的补充方案？恰好前些天，组内一童鞋分享了Rust[4]直接用内部自建的gitlab上的一个repo作为依赖的方法，只需要在cargo.toml中做简单配置：

foo-rs = {git = "http://192.168.10.10/ard/foo-rs", branch = "master"}

基于go module目前的机制是否可以支持类似Rust这种相对优雅的方案呢？本着当时对go.mod配置与go get的认知一时没有想出来:(。不过心中也大致给这样的方案画出了一个框框：

  • 基于现有go.mod语法

  • 改动最小

  • 用go.mod而非go.work，这样可提交到代码库做版本管理，所有组员均可使用

我想到了基于go mod replace来做，当然需要对replace做一些扩展，于是我向go官方项目提交了proposal[5]！

2. 提案(proposal)

提案[6]的核心就是扩展go mod的replace语法，让replace的target支持一个remote的vcs仓库，下面是一个例子：

module github.com/bigwhite/demo
 
go 1.20

require (
    mycompany.com/go/common v1.1.0
)

replace mycompany.com/go/common v1.1.0 => 192.168.10.159/ard/go/common v1.1.0
//或 replace mycompany.com/go/common => 192.168.10.159/ard/go/common
//或 replace mycompany.com/go/common => 192.168.10.159/ard/go/common v1.1.0
//或 replace mycompany.com/go/common v1.1.0 => 192.168.10.159/ard/go/common

这样我们既可保留我们为私有module自定义的cannoical import paths（如mycompany.com/go/common)，又可以方便基于自建vcs server拉取私有module。

3. 反转

我的提案提出没两个小时就被close了，我去看了一下详情，seankhliao[7]回复：Go现在已经支持这种用法，并给出一个例子：

192.168.10.159/ard/go/common.git

我不确定seankhliao是否完全理解了我的提案，但他的回复还是让我开始怀疑我是否遗漏了什么。于是我又去重新学习了一下go module的reference[8]以及go cmd的reference[9]，之后脑子中形成了一个待确认的方案。

当前go.mod的replace指示符语法如下：

replace module-path [module-version] => replacement-path [replacement-version]

其中的replacement-path [replacement-version]构成target部分，目前支持两种target：

一种是module path，如：

replace example.com/othermodule => example.com/othermodule v1.2.3

另外一种是本地文件系统中的路径：

replace example.com/othermodule => ../othermodule

需要注意的是当replacement-path使用module path时必须带有replacement-version，下面的例子会导致go编译或运行命令报错：

replace example.com/othermodule v1.2.3 => example.com/othermodule

以前我总以为当replacement-path使用module path时，这个module path必须是那种带有域名的repo地址，根据seankhliao的例子，这块似乎也可以是一个诸如：“192.168.10.159/ard/go/common.git”的remote repo，如果是这样，那么即便不使用统一的内部go proxy，我们也可以直接从内部的自建vcs server上拉取private module了，下面我们就来验证一下这个方案。

4. 方案的确认试验

下面是试验环境的拓扑：

19707851202349e42fb9a824ca27eab6.png

这个拓扑与带有统一go proxy代理的方案完全不同：

  • 对于外部的p

最低0.47元/天 解锁文章
Tony Bai
关注
【golang】go mod私有仓库配置
Daniel的博客
07-02 2895
当我们新建一个`go`项目时，在项目根目录下执行`go mod init`可以初始化go.mod文件用于管理包依赖。如果我们没有进行配置，则只能访问公共开源仓库。如果想要下载私有仓库依赖包则需要进行一些配置。 一般主流的代码托管站站点如github，gitlab，Gitee等，都默认支持返回站点的golang mod元数据。如果无法对外暴露站点的域名，且甚至无法拥有更改站点访问地址的权限。这时需要配置一个虚拟的域名作为go mod的引用包路径。
Go 私有仓库模块拉取
q1009020096的博客
09-05 2798
使用自建的Gitlab作为代码仓库 1.从Gitlab上获取一个你的用户的Token 点击头像 > Settings 选择 Access Tokens 随便给个名字， 勾选上 read_repository 点创建就行 复制下来你的Demo 2.配置git git config --global http.extraheader "PRIVATE-TOKEN: 你的TOKEN" 把token替换上去 go 1.5.1 版本go mod 默认使用http的方式拉取，所以就不需要配置ssh转换
Go 包操作之如何拉取私有的Go Module
淘小欣的博客
10-25 1190
另外，对于私有 Go Module，开发机只需要将它配置到 GOPRIVATE 环境变量中就可以了，这样，Go 命令在拉取私有 Go Module 时，就不会再走 GOPROXY，而会采用直接访问 vcs（如上图中的 git.yourcompany.com）的方式拉取私有 Go Module。，新版本的 Go 在一个 repo 下管理多个 Go Module 方面，已经有了长足的进步，我们已经可以通过 repo 的 tag 来区别同一个 repo 下的不同 Go Module。
go-micro系列(番外二)go module使用私库_go module私有库
2301_82243100的博客
04-15 687
后，项目的所有依赖都会从代理源进行下载，但是公司内部的私有依赖我们不会上传到公开库，因此还需要一种方式让我们私有仓库不走代理，这种方式就是设置。或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！-w 标记 要求一个或多个形式为 NAME=VALUE 的参数， 并且覆盖默认的设置。// 有多个域名使用逗号分隔，可以是完整域名，也可以是带星号的泛域名。查看是否设置成功，设置成功再次。时，项目的依赖会从代理源下载。
go module 私有仓库使用
Alvin的博客
04-04 3696
当我们在使用go module 引用私有的仓库时，例如github.com/yourproject/project 我们需要做两个额外配置go get才能顺利download我们的project 1. 因为go get 命令的project地址都是https协议的，这个在download public repository时没有问题，但是对于private repository则不行，我们需要加一...
golang 云效私有模块依赖拉取配置
大海技术博客
04-19 1453
经验 删除版本重发相同版本是拉不到最新代码的 建议新建标签新的版本。定义环境变量 %HOME%，值为 %USERPROFILE%文件应该存放在执行账户的根目录下，即：~/.netrc。在 %HOME% 路径下新建一个文件 .netrc。在 可以在 netrc 文件中指定凭据。在 .netrc 中配置下述的配置信息。虚拟机容易被删除~/.netrc文件。克隆账号和克隆密码在云效个人设置页。docker容器中没有凭证配置。按照正常模块使用方法使用即可。版本格式 v0.0.0。
go get 使用内部私有仓库踩坑记录
云原生运维的博客
03-14 1925
golang 私有库 权限问题踩坑
go module导入gitlab私有库
Nice To Come Here
03-16 5497
go module导入gitlab私有库 由于golang的开发，多多少少会引入一些墙外依赖，因此在使用go module管理时，我们都喜欢设置代理，这样不仅能够翻墙，还能加快依赖的下载速度。目前国内的不错的代理地址：https://goproxy.cn就很不错。 1、添加go proxy # direct 表示代理走不通时，使用直接连接 go env -w GOPROXY="https://go...
go-micro系列(番外二)go module使用私库
Mr Qiang
04-05 646
由于众所周知的原因，在大陆地区我们无法直接通过go get命令或git clone获取到一些第三方包，这其中最常见的就是golang.org/x下面的各种优秀的包。 在Go 1.13以上的版本中，我们可以通过GOPROXY来控制代理，以及通过GOPRIVATE控制私有库不走代理。 设置GOPROXY代理： // 代理方式一：七牛云代理（推荐） go env -w GOPROXY=https://goproxy.cn,direct // 代理方式二：GOPROXY.IO（自我感觉没有七牛的稳定） go
go module使用gitlab私有仓库
marcellos的博客
05-12 1610
此时go.mod里的module命名不能是：gitlab.example.com/company_name/group_name/project_name。要在结尾加上.git。
408. 【go-语言】使用私有仓库的-go-module
七镜的博客
05-25 700
我们使用 go 语言时，现在用的go mod初始化项目比较多。现在问题来了，
go get拉取非规范私有gitlab库
weixin_43878329的博客
05-24 2038
go get拉取非规范私有gitlab库 背景 本地搭建的gitlab不规范，有域名但git不支持域名，且提供的事http请求非https 解决方法 尝试直接拉取 会报以上错误，且go get默认调用 git https的形式去获取代码，经查询需要添加go env配置项 设置go环境变量 //添加GOPRIVATE设置当前库为私有库，可以精确到域名，也可以精确到具体的包名，这样go get就不会去goproxy上拉取代码 go env -w GOPRIVATE=gitlab-xxx.xxxxxx.com
Go Module 引入本地自定义依赖包（go modules 使用本地库）| Go Module：私有不合规库怎么解决引用问题
西京刀客
06-22 8146
go modules 使用本地库 默认使用 github.com/xx/xxx 包会到 Github 上去下载，但这个包还在本地开发中并未push到线上，那么可以通过 replace 配置来重定向当前项目对该包的加载路径.
go mod 引入指定的分支
我的博客
10-13 1万+
go mod
go modules 使用本地库、公开库和私有库
热门推荐
qingchuwudi的专栏
07-04 1万+
文章目录一、简介二、引用本地目录二、引用合规库三、引用私有不合规库3.1、配置仓库访问权限3.2、本地配置“访问令牌（Access Token）”参数3.3、配置使用git方式拉取代码五、最常见的私有不合规库参考资料及附录 一、简介 公司项目使用 go module 开发的过程中会有一些自己的库要引用，这些库用gitlab管理，需要研究引用gitlab库的方法，下面是研究过程中的一些经验。 介绍两种引用方案： 1、引用本地目录 2、引用合规地址库 3、引用私有不合规库 4、最常规（恶心） 的私有不合规库
一、Go基础知识20、go.mod文件、go mod命令、私有仓库、导入版本管理、Vendor目录详解
风不归的乐园
11-27 9610
go.mod文件、go mod命令、私有仓库、导入版本管理、Vendor目录详解
Go Module详解
2021dragon的博客
06-14 5260
Go Module是Go语言的官方依赖管理解决方案，其提供了一种简单、可靠的方式来管理项目的依赖关系。Go Module于Go1.11发布，并于Go1.14准备正式用于生产，Go官方也鼓励用户从其他的依赖管理工具迁移到Go Module。依赖管理：在引入Go Module之前，Go语言没有官方的依赖管理系统，开发人员需要手动下载和管理项目的依赖包。Go Module中提供了一种标准化的依赖管理解决方案，使开发人员能够轻松定义、下载和更新项目的依赖项。
小厂内部私有Go module拉取方案
TonyBai
09-03 684
1. 问题来由Go 1.11版本[1]后，Go命令拉取依赖的公共go module不再是“痛点”。如下图所示：图：从公司内部经由公共GOPROXY服务拉取公共go module我们在公司/...
jfrog仓库拉取go module压缩包
最新发布
05-07
<think>好的，我现在需要帮助用户解决从JFrog仓库拉取Go模块压缩包时缺少`go-import`元标签的问题。首先，我应该回顾用户之前的对话和问题。用户之前询问过关于缺少`go-import`元标签的解决方案，现在他们的问题涉及到使用JFrog仓库，特别是拉取Go模块时遇到相同的问题。 首先，用户提供的引用中有一个pom.xml文件，这可能是Maven的配置文件，但用户现在的问题是关于Go模块，所以可能需要忽略这部分，除非JFrog仓库同时用于多种语言。另一个引用是关于修改config.mk和buildinfo.sh，这看起来和Android构建相关，可能也是不相关的，但需要确认用户是否混淆了不同的问题。不过用户明确提到要从JFrog拉取Go模块，因此应专注于Go的相关配置。 接下来，我需要回忆之前回答用户关于缺少`go-import`元标签的解决方案，其中提到了在HTML页面中添加元标签，配置服务器，处理私有仓库认证等。现在用户的问题是针对JFrog仓库，可能需要特定的配置步骤。 首先，了解JFrog Artifactory是否支持Go模块。JFrog Artifactory确实支持Go模块作为仓库类型，因此用户可能已经设置了Go仓库，但配置不正确导致缺少元标签。需要检查JFrog的配置，确保正确设置了Go仓库，并且元标签能够被正确生成和返回。 可能的步骤包括： 1. 确认JFrog仓库类型是否正确配置为Go。用户可能在JFrog中创建了一个通用仓库而不是Go专属仓库，导致缺少必要的元标签支持。 2. 在JFrog仓库中配置`go-import`元标签。虽然通常Artifactory会自动处理这些元标签，但可能需要手动配置或检查设置，确保路径匹配模块名称。 3. 配置`.netrc`文件或环境变量以处理认证，特别是如果仓库是私有的，需要正确的凭据。 4. 设置GOPRIVATE环境变量，告诉Go工具链绕过代理直接访问私有仓库。 5. 检查JFrog的访问日志或使用curl命令验证服务器是否返回正确的元标签，类似于之前回答中的步骤。 此外，用户提到“拉取go module压缩包”，可能涉及模块的版本管理和下载问题，需要确保模块的版本标签正确，并且仓库路径符合Go的约定。 需要考虑到用户可能是在尝试将JFrog Artifactory作为Go模块的代理或私有仓库使用，但配置有误。可能需要指导用户如何在Artifactory中正确设置Go仓库，并确保其模块路径与仓库URL一致。 同时，用户之前的问题解决方案中提到了服务器配置，例如Apache的重写规则，但JFrog作为仓库管理器，可能不需要手动配置服务器，而是通过Artifactory的界面进行设置。因此，可能需要指导用户检查Artifactory的仓库配置，而不是直接修改服务器文件。 总结可能的解决步骤： - 确认JFrog仓库类型为Go。 - 检查模块路径与仓库URL的匹配。 - 添加必要的元标签（如果需要手动添加，但Artifactory可能自动处理）。 - 配置认证信息。 - 设置GOPRIVATE。 - 验证使用curl检查元标签是否存在。 - 处理可能的缓存或代理问题。 同时，需要验证用户是否在JFrog中正确创建了Go仓库，并且模块的路径与仓库配置一致。例如，如果模块路径是`example.com/mymodule`，那么JFrog的Go仓库应该能够响应该路径的请求，并提供正确的元标签。 可能遇到的问题：用户可能没有正确设置仓库类型，或者在模块路径和仓库URL之间存在不匹配。另外，认证问题可能导致Go工具无法访问仓库，即使元标签正确，因此需要确保配置了正确的凭据。 最后，需要确保回答结构清晰，步骤明确，参考之前的回答格式，并生成相关问题。</think>### 从JFrog仓库拉取Go模块压缩包的解决方案 当从JFrog Artifactory仓库拉取Go模块时，若因缺少`go-import`元标签导致失败（如报错`missing meta tags`），需通过以下步骤配置仓库和客户端环境： --- #### **1. 配置JFrog仓库支持Go模块** - **创建Go专属仓库** 在Artifactory中创建类型为**Go**的仓库（而非Generic或其他类型），Go仓库类型会自动处理`go-import`元标签的生成[^1]。 - 路径示例：`https://artifactory.example.com/artifactory/go-repo/` - **验证仓库元标签** 使用`curl`检查仓库是否返回正确的元标签： ```bash curl -i "https://artifactory.example.com/artifactory/go-repo/your/module?go-get=1" ``` 期望响应包含： ```html <meta name="go-import" content="artifactory.example.com/your/module mod https://artifactory.example.com/artifactory/api/go/go-repo"> ``` - `mod`表示模块模式，`go-repo`为仓库名称。 --- #### **2. 客户端环境配置** - **设置`GOPRIVATE`环境变量** 声明私有仓库域名，使`go`命令跳过公共代理： ```bash export GOPRIVATE=artifactory.example.com ``` - **配置身份验证** - **通过`.netrc`文件** 在用户目录（`~/.netrc`）添加凭据： ```bash machine artifactory.example.com login your-username password your-api-token ``` - **或通过环境变量** ```bash export GOPROXY="https://artifactory.example.com/artifactory/api/go/go-repo" export GONOSUMDB=artifactory.example.com ``` --- #### **3. 模块路径与仓库匹配** - **模块声明一致性** 确保`go.mod`中的模块路径与仓库URL完全匹配： ```go module artifactory.example.com/your/module ``` - **子路径模块处理** 若模块位于仓库子目录，需在JFrog仓库中配置路径映射，或通过`go-source`元标签补充： ```html <meta name="go-source" content="artifactory.example.com/your/module _ https://artifactory.example.com/artifactory/go-repo/your/module/{/dir} https://artifactory.example.com/artifactory/go-repo/your/module/{/dir}/{file}#L{line}"> ``` --- #### **4. 验证与调试** - **清理缓存** 若之前拉取失败，清理Go模块缓存： ```bash go clean -modcache ``` - **详细日志跟踪** 使用`-v`标志查看详细错误： ```bash go get -v artifactory.example.com/your/module@latest ``` --- #### **常见问题排查** | 问题现象 | 解决方案 | |---------|----------| | `410 Gone` 错误 | 检查JFrog仓库的Go模块支持是否启用 | | `TLS handshake timeout` | 确认防火墙允许访问JFrog仓库的HTTPS端口（默认443） | | `permission denied` | 验证`.netrc`文件权限是否为`600`：`chmod 600 ~/.netrc` | --- ### 示例配置 **JFrog Go仓库URL** ``` https://artifactory.example.com/artifactory/api/go/go-repo ``` **客户端`go get`命令** ```bash GOPRIVATE=artifactory.example.com go get artifactory.example.com/your/module@v1.0.0 ``` --- ### 相关问题 1. 如何配置JFrog Artifactory支持多语言依赖管理（如Go、Java、Python）？ 2. Go模块的语义化版本控制（SemVer）有哪些强制规则？ 3. 如何通过Artifactory实现Go模块的镜像加速？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值