纲要
- 项目结构规划
apps/:所有微服务集合user/:用户服务,包含api与rpc子服务im/、social/:后续服务预留
deploy/:部署相关脚本与配置dockerfile/:各服务 Dockerfilemakefile/:服务构建 Makefilescripts/:容器部署 Shell 脚本
common/:公共工具包docker-compose.yml、Makefile:项目级统一入口
- 用户服务基础定义
Proto文件编写(user.proto)go-zero代码生成(goctl rpc)
- 构建自动化
Dockerfile:参数化构建不同环境的容器镜像Makefile:编译、镜像构建、推送至私有仓库- 部署 Shell 脚本:容器启停、镜像清理与重新拉取
- 测试环境部署与验证
etcd、Redis、MySQL基础服务启动- 注意
etcd服务发现地址配置 - 通过
gRPC调用Ping方法确认服务可用
用户服务业务回顾
本项目为即时通讯系统,用户服务处于基础地位,主要承担以下职责:
- 用户注册与登录(支持用户名/手机号等方式)
- 用户信息查询与搜索
- 为其他服务(社交、IM)提供用户基本信息
在开始编码之前,优先完成服务脚手架搭建与部署脚本编写,确保后续迭代中能够快速编译、构建镜像与部署,将开发精力集中在业务逻辑上。
项目目录结构设计
在以 go-zero 为框架的微服务体系中,推荐将所有应用服务统一放在 apps/ 下,每个服务内部可进一步区分为 api 与 rpc 子服务。同时,将部署相关的 Dockerfile、Makefile 与 Shell 脚本集中放置在 deploy/ 中,形成清晰的工程结构:
im-system/
├── apps/ # 服务聚合根
│ └── user/ # 用户服务
│ ├── rpc/ # gRPC 服务
│ │ ├── internal/
│ │ │ ├── config/
│ │ │ ├── server/
│ │ │ ├── svc/
│ │ │ └── logic/
│ │ ├── user.proto
│ │ └── user.go
│ └── api/ # HTTP API 服务(预留)
├── deploy/ # 部署相关
│ ├── dockerfile/ # 各服务 Dockerfile
│ │ └── user-rpc/
│ ├── makefile/ # 各服务 Makefile
│ │ └── user-rpc.mk
│ └── scripts/ # 容器部署 Shell 脚本
│ ├── deploy_user_rpc_test.sh
│ └── start_all.sh
├── common/ # 公共库、工具函数
├── docker-compose.yml # 基础中间件编排
├── Makefile # 总控入口
└── go.mod
该结构将“服务代码”与“部署描述”解耦,便于多服务扩展。
用户服务 Proto 定义与代码生成
首先,在 apps/user/rpc/ 下创建 user.proto 文件,定义用户服务的 RPC 接口与消息体。核心方法包括:Ping(健康检查)、Login、Register、GetUserInfo、FindUser。
syntax = "proto3";
package user;
option go_package = "./user";
message PingRequest {
string msg = 1;
}
message PingResponse {
string msg = 1;
}
message LoginRequest {
string username = 1;
string password = 2;
}
message LoginResponse {
int64 uid = 1;
string token = 2;
}
message RegisterRequest {
string username = 1;
string password = 2;
string phone = 3;
}
message RegisterResponse {
int64 uid = 1;
}
message GetUserInfoRequest {
int64 uid = 1;
}
message GetUserInfoResponse {
int64 uid = 1;
string username = 2;
string phone = 3;
}
message FindUserRequest {
string keyword = 1; // 用户名或手机号搜索
}
message FindUserResponse {
repeated GetUserInfoResponse users = 1;
}
service User {
rpc Ping(PingRequest) returns (PingResponse);
rpc Login(LoginRequest) returns (LoginResponse);
rpc Register(RegisterRequest) returns (RegisterResponse);
rpc GetUserInfo(GetUserInfoRequest) returns (GetUserInfoResponse);
rpc FindUser(FindUserRequest) returns (FindUserResponse);
}
在项目根目录下执行代码生成命令(使用 go-zero@latest 的 goctl 工具):
$ goctl rpc protoc apps/user/rpc/user.proto --go_out=apps/user/rpc/ --go-grpc_out=apps/user/rpc/ --zrpc_out=apps/user/rpc/
该命令会生成 internal/config、internal/server、internal/svc、internal/logic 等脚手架代码,并生成对应的 user.go 启动文件。随后进入 apps/user/rpc 目录执行 go mod tidy 即可完成依赖加载。
为了提高后续开发效率,建议将此类常用的生成命令统一记录在项目根目录的 COMMANDS.md 或某个备忘文件中。
自动化构建脚本设计
Dockerfile 参数化
针对用户服务的 RPC 组件,编写 deploy/dockerfile/user-rpc/Dockerfile。为保证不同环境(测试、生产)可复用,通过 ARG 与 ENV 定义服务名、服务类型等动态参数。
# 基础镜像
FROM alpine:3.17
# 设置时区(避免容器日志时间偏差)
RUN apk add --no-cache tzdata && \
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
echo "Asia/Shanghai" > /etc/timezone
# 定义构建参数,使用 ARG 仅在 image build 时生效
ARG SERVICE_NAME=user
ARG SERVICE_TYPE=rpc
# 将参数转为环境变量,容器运行时可用
ENV SERVICE_NAME=${SERVICE_NAME}
ENV SERVICE_TYPE=${SERVICE_TYPE}
# 创建工作目录等
RUN mkdir -p /app/${SERVICE_NAME}/${SERVICE_TYPE}
WORKDIR /app/${SERVICE_NAME}/${SERVICE_TYPE}
# 复制编译好的二进制文件和配置文件
COPY ./apps/${SERVICE_NAME}/${SERVICE_TYPE}/user /app/${SERVICE_NAME}/${SERVICE_TYPE}/
COPY ./apps/${SERVICE_NAME}/${SERVICE_TYPE}/etc /app/${SERVICE_NAME}/${SERVICE_TYPE}/etc
# 设置启动命令
CMD ["sh", "-c", "./user -f etc/user.yaml"]
这样,当服务名或类型变化时,只需在构建时传入不同 ARG,无需修改 Dockerfile 内容。
Makefile 编译与镜像推送
在 deploy/makefile/user-rpc.mk 中定义编译、构建镜像、打标签、推送四个步骤,并使用变量统一管理版本与仓库地址。
# 变量定义
SERVICE_NAME = user
SERVICE_TYPE = rpc
VERSION = latest
DOCKER_REGISTRY = registry.cn-hangzhou.aliyuncs.com/im-system
IMAGE_NAME = $(DOCKER_REGISTRY)/$(SERVICE_NAME)-$(SERVICE_TYPE):$(VERSION)
# 编译输出二进制名
BINARY = user
# 测试环境使用的 Dockerfile 路径(相对根目录)
DOCKERFILE = deploy/dockerfile/$(SERVICE_NAME)-$(SERVICE_TYPE)/Dockerfile
.PHONY: all compile build push
all: compile build push
compile:
@echo "==> Compiling $(SERVICE_NAME)-$(SERVICE_TYPE)..."
cd apps/$(SERVICE_NAME)/$(SERVICE_TYPE) && go build -o $(BINARY) -ldflags="-s -w" .
build: compile
@echo "==> Building image $(IMAGE_NAME)..."
docker build \
--build-arg SERVICE_NAME=$(SERVICE_NAME) \
--build-arg SERVICE_TYPE=$(SERVICE_TYPE) \
-t $(IMAGE_NAME) \
-f $(DOCKERFILE) .
push: build
@echo "==> Pushing image $(IMAGE_NAME)..."
docker push $(IMAGE_NAME)
# 一键执行测试环境完整流程
test: all
@echo "==> Deploy test environment..."
bash deploy/scripts/deploy_user_rpc_test.sh
项目根目录的 Makefile 作为总控入口,只需通过 include 或直接调用子 Makefile:
.PHONY: user-rpc-test
user-rpc-test:
@$(MAKE) -f deploy/makefile/user-rpc.mk test
现在,在根目录执行 make user-rpc-test 即可完成“编译 → 构建镜像 → 推送 → 部署测试”全流程,大幅降低重复操作成本。
部署 Shell 脚本
在测试环境中,不希望使用 docker-compose up 依赖本地已有镜像,而是强制从私有仓库重新拉取最新镜像,确保每次部署的都是最新构建版本。为此,编写 deploy/scripts/deploy_user_rpc_test.sh:
#!/bin/bash
set -e
CONTAINER_NAME=user-rpc
IMAGE_NAME=registry.cn-hangzhou.aliyuncs.com/im-system/user-rpc:latest
HOST_PORT=10001
CONTAINER_PORT=10001
# 停止并删除旧容器
if [ "$(docker ps -aq -f name=$CONTAINER_NAME)" ]; then
docker stop $CONTAINER_NAME || true
docker rm $CONTAINER_NAME || true
fi
# 删除旧镜像(避免缓存)
if [ "$(docker images -q $IMAGE_NAME)" ]; then
docker rmi -f $IMAGE_NAME || true
fi
# 拉取最新镜像
docker pull $IMAGE_NAME
# 启动容器,注意挂载配置文件(如有)以及 etcd 地址
docker run -d \
--name $CONTAINER_NAME \
--network host \
-p $HOST_PORT:$CONTAINER_PORT \
-e ETCD_ENDPOINTS=192.168.1.10:2379 \
$IMAGE_NAME
后续其他服务(API、社交等)的部署脚本结构类似,为了统一管理,再编写一个总启动脚本 start_all.sh,遍历所有子脚本并执行:
#!/bin/bash
SCRIPT_DIR=$(cd "$(dirname "$0")"; pwd)
services=(
"deploy_user_rpc_test.sh"
# 其他服务脚本待补充
)
for s in "${services[@]}"; do
chmod +x "$SCRIPT_DIR/$s"
echo "==> Execute $s"
bash "$SCRIPT_DIR/$s"
done
echo "===== Running containers ====="
docker ps
echo "===== Etcd registered keys ====="
# 简单验证,通过 etcdctl 查看所有 key(需安装 etcdctl)
etcdctl --endpoints=192.168.1.10:2379 get "" --prefix=true --keys-only
测试环境部署与验证
基础中间件准备
在部署用户服务之前,需要先启动 etcd、Redis、MySQL 等基础组件。可使用 docker-compose.yml 编排,并注意:
etcd镜像可使用官方或定制版本,确保版本兼容性。- 数据持久化目录需具备适当权限,否则
etcd启动异常(如权限拒绝)。 etcd的客户端访问地址必须使用宿主机 IP 或可跨容器访问的网络地址,因为后续微服务注册发现依赖该地址。若所有服务同宿主机,可使用内网 IP(如192.168.1.10)。
示例 docker-compose.yml 片段:
version: '3.7'
services:
etcd:
image: quay.io/coreos/etcd:v3.5.4
container_name: etcd
environment:
- ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
- ETCD_ADVERTISE_CLIENT_URLS=http://192.168.1.10:2379
volumes:
- ./data/etcd:/etcd-data
command: etcd --data-dir=/etcd-data
redis:
image: redis:7-alpine
ports:
- "6379:6379"
mysql:
image: mysql:8.0
ports:
- "3306:3306"
environment:
MYSQL_ROOT_PASSWORD: root123
volumes:
- ./data/mysql:/var/lib/mysql
启动后确认 etcd 可正常连接。
部署与健康检查
登录测试服务器(如 192.168.1.10),拉取项目代码后执行:
$ make user-rpc-test
脚本将自动完成拉取镜像、启动容器。随后通过以下方式验证服务是否注册成功:
$ etcdctl --endpoints=192.168.1.10:2379 get "" --prefix=true --keys-only
# 预期能看到类似 /user.rpc/ 的 key
同时,使用 grpcurl 或编写简单的 Go 客户端调用 Ping 方法,确认 RPC 可达:
package main
import (
"context"
"fmt"
"log"
"google.golang.org/grpc"
"im-system/apps/user/rpc/user"
)
func main() {
conn, err := grpc.Dial("192.168.1.10:10001", grpc.WithInsecure())
if err != nil {
log.Fatal(err)
}
defer conn.Close()
client := user.NewUserClient(conn)
resp, err := client.Ping(context.Background(), &user.PingRequest{Msg: "hello"})
if err != nil {
log.Fatal(err)
}
fmt.Println("Ping response:", resp.Msg) // 预期输出:pong 或自定义信息
}
若输出预期信息,则说明用户服务构建与部署流程完全正确。
总结
本节完成了以下事项:
- 确定了整个项目的标准目录结构,为后续多服务开发奠定基础。
- 编写用户服务的
Proto文件,使用goctl生成 gRPC 脚手架。 - 设计参数化的
Dockerfile,使其可复用至其他服务与环境。 - 编写
Makefile实现编译、构建镜像、推送的一键自动化。 - 编写部署 Shell 脚本,配合
Makefile实现从源代码到测试环境部署的全流程自动化。 - 在测试服务器上实际部署并验证服务可用性,确保
etcd注册与 RPC 调用正常。
通过这套标准化流水线,后续只需复制上述模式并调整少量变量,即可快速接入 IM 服务、社交服务的开发与部署,极大提升团队协作效率。
2886



被折叠的 条评论
为什么被折叠?



