Go-Zero项目开发2: 用户服务构建与部署自动化

go-zero学习 — 基础 阅读详情

纲要

  • 项目结构规划
    • apps/:所有微服务集合
      • user/:用户服务,包含 api 与 rpc 子服务
      • im/、social/:后续服务预留
    • deploy/:部署相关脚本与配置
      • dockerfile/:各服务 Dockerfile
      • makefile/:服务构建 Makefile
      • scripts/:容器部署 Shell 脚本
    • common/:公共工具包
    • docker-compose.yml、Makefile:项目级统一入口
  • 用户服务基础定义
    • Proto 文件编写(user.proto)
    • go-zero 代码生成(goctl rpc)
  • 构建自动化
    • Dockerfile:参数化构建不同环境的容器镜像
    • Makefile:编译、镜像构建、推送至私有仓库
    • 部署 Shell 脚本:容器启停、镜像清理与重新拉取
  • 测试环境部署与验证
    • etcd、Redis、MySQL 基础服务启动
    • 注意 etcd 服务发现地址配置
    • 通过 gRPC 调用 Ping 方法确认服务可用

用户服务业务回顾

本项目为即时通讯系统,用户服务处于基础地位,主要承担以下职责:

  • 用户注册与登录(支持用户名/手机号等方式)
  • 用户信息查询与搜索
  • 为其他服务(社交、IM)提供用户基本信息

在开始编码之前,优先完成服务脚手架搭建与部署脚本编写,确保后续迭代中能够快速编译、构建镜像与部署,将开发精力集中在业务逻辑上。

项目目录结构设计

在以 go-zero 为框架的微服务体系中,推荐将所有应用服务统一放在 apps/ 下,每个服务内部可进一步区分为 api 与 rpc 子服务。同时,将部署相关的 Dockerfile、Makefile 与 Shell 脚本集中放置在 deploy/ 中,形成清晰的工程结构:

im-system/
├── apps/                        # 服务聚合根 
│   └── user/                    # 用户服务 
│       ├── rpc/                 # gRPC 服务 
│       │   ├── internal/
│       │   │   ├── config/
│       │   │   ├── server/
│       │   │   ├── svc/
│       │   │   └── logic/
│       │   ├── user.proto 
│       │   └── user.go 
│       └── api/                 # HTTP API 服务(预留)
├── deploy/                      # 部署相关 
│   ├── dockerfile/              # 各服务 Dockerfile 
│   │   └── user-rpc/
│   ├── makefile/                # 各服务 Makefile 
│   │   └── user-rpc.mk 
│   └── scripts/                 # 容器部署 Shell 脚本 
│       ├── deploy_user_rpc_test.sh 
│       └── start_all.sh 
├── common/                      # 公共库、工具函数 
├── docker-compose.yml           # 基础中间件编排 
├── Makefile                     # 总控入口 
└── go.mod 

该结构将“服务代码”与“部署描述”解耦,便于多服务扩展。

用户服务 Proto 定义与代码生成

首先,在 apps/user/rpc/ 下创建 user.proto 文件,定义用户服务的 RPC 接口与消息体。核心方法包括:Ping(健康检查)、Login、Register、GetUserInfo、FindUser。

syntax = "proto3";
 
package user;
 
option go_package = "./user";
 
message PingRequest {
  string msg = 1;
}
 
message PingResponse {
  string msg = 1;
}
 
message LoginRequest {
  string username = 1;
  string password = 2;
}
 
message LoginResponse {
  int64 uid = 1;
  string token = 2;
}
 
message RegisterRequest {
  string username = 1;
  string password = 2;
  string phone = 3;
}
 
message RegisterResponse {
  int64 uid = 1;
}
 
message GetUserInfoRequest {
  int64 uid = 1;
}
 
message GetUserInfoResponse {
  int64 uid = 1;
  string username = 2;
  string phone = 3;
}
 
message FindUserRequest {
  string keyword = 1;   // 用户名或手机号搜索 
}
 
message FindUserResponse {
  repeated GetUserInfoResponse users = 1;
}
 
service User {
  rpc Ping(PingRequest) returns (PingResponse);
  rpc Login(LoginRequest) returns (LoginResponse);
  rpc Register(RegisterRequest) returns (RegisterResponse);
  rpc GetUserInfo(GetUserInfoRequest) returns (GetUserInfoResponse);
  rpc FindUser(FindUserRequest) returns (FindUserResponse);
}

在项目根目录下执行代码生成命令(使用 go-zero@latest 的 goctl 工具):

$ goctl rpc protoc apps/user/rpc/user.proto --go_out=apps/user/rpc/ --go-grpc_out=apps/user/rpc/ --zrpc_out=apps/user/rpc/

该命令会生成 internal/config、internal/server、internal/svc、internal/logic 等脚手架代码,并生成对应的 user.go 启动文件。随后进入 apps/user/rpc 目录执行 go mod tidy 即可完成依赖加载。

为了提高后续开发效率,建议将此类常用的生成命令统一记录在项目根目录的 COMMANDS.md 或某个备忘文件中。

自动化构建脚本设计

Dockerfile 参数化

针对用户服务的 RPC 组件,编写 deploy/dockerfile/user-rpc/Dockerfile。为保证不同环境(测试、生产)可复用,通过 ARG 与 ENV 定义服务名、服务类型等动态参数。

# 基础镜像 
FROM alpine:3.17 
 
# 设置时区(避免容器日志时间偏差)
RUN apk add --no-cache tzdata && \
    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
    echo "Asia/Shanghai" > /etc/timezone 
 
# 定义构建参数,使用 ARG 仅在 image build 时生效 
ARG SERVICE_NAME=user 
ARG SERVICE_TYPE=rpc 
 
# 将参数转为环境变量,容器运行时可用 
ENV SERVICE_NAME=${SERVICE_NAME}
ENV SERVICE_TYPE=${SERVICE_TYPE}
 
# 创建工作目录等 
RUN mkdir -p /app/${SERVICE_NAME}/${SERVICE_TYPE}
WORKDIR /app/${SERVICE_NAME}/${SERVICE_TYPE}
 
# 复制编译好的二进制文件和配置文件 
COPY ./apps/${SERVICE_NAME}/${SERVICE_TYPE}/user  /app/${SERVICE_NAME}/${SERVICE_TYPE}/
COPY ./apps/${SERVICE_NAME}/${SERVICE_TYPE}/etc /app/${SERVICE_NAME}/${SERVICE_TYPE}/etc 
 
# 设置启动命令 
CMD ["sh", "-c", "./user -f etc/user.yaml"]

这样,当服务名或类型变化时,只需在构建时传入不同 ARG,无需修改 Dockerfile 内容。

Makefile 编译与镜像推送

在 deploy/makefile/user-rpc.mk 中定义编译、构建镜像、打标签、推送四个步骤,并使用变量统一管理版本与仓库地址。

# 变量定义 
SERVICE_NAME = user 
SERVICE_TYPE = rpc 
VERSION = latest 
DOCKER_REGISTRY = registry.cn-hangzhou.aliyuncs.com/im-system 
IMAGE_NAME = $(DOCKER_REGISTRY)/$(SERVICE_NAME)-$(SERVICE_TYPE):$(VERSION)
 
# 编译输出二进制名 
BINARY = user 
# 测试环境使用的 Dockerfile 路径(相对根目录)
DOCKERFILE = deploy/dockerfile/$(SERVICE_NAME)-$(SERVICE_TYPE)/Dockerfile 
 
.PHONY: all compile build push 
 
all: compile build push 
 
compile:
	@echo "==> Compiling $(SERVICE_NAME)-$(SERVICE_TYPE)..."
	cd apps/$(SERVICE_NAME)/$(SERVICE_TYPE) && go build -o $(BINARY) -ldflags="-s -w" .
 
build: compile 
	@echo "==> Building image $(IMAGE_NAME)..."
	docker build \
		--build-arg SERVICE_NAME=$(SERVICE_NAME) \
		--build-arg SERVICE_TYPE=$(SERVICE_TYPE) \
		-t $(IMAGE_NAME) \
		-f $(DOCKERFILE) .
 
push: build 
	@echo "==> Pushing image $(IMAGE_NAME)..."
	docker push $(IMAGE_NAME)
 
# 一键执行测试环境完整流程 
test: all 
	@echo "==> Deploy test environment..."
	bash deploy/scripts/deploy_user_rpc_test.sh 

项目根目录的 Makefile 作为总控入口,只需通过 include 或直接调用子 Makefile:

.PHONY: user-rpc-test 
 
user-rpc-test:
	@$(MAKE) -f deploy/makefile/user-rpc.mk test 

现在,在根目录执行 make user-rpc-test 即可完成“编译 → 构建镜像 → 推送 → 部署测试”全流程,大幅降低重复操作成本。

部署 Shell 脚本

在测试环境中,不希望使用 docker-compose up 依赖本地已有镜像,而是强制从私有仓库重新拉取最新镜像,确保每次部署的都是最新构建版本。为此,编写 deploy/scripts/deploy_user_rpc_test.sh:

#!/bin/bash 
set -e 
 
CONTAINER_NAME=user-rpc 
IMAGE_NAME=registry.cn-hangzhou.aliyuncs.com/im-system/user-rpc:latest 
HOST_PORT=10001 
CONTAINER_PORT=10001 
 
# 停止并删除旧容器 
if [ "$(docker ps -aq -f name=$CONTAINER_NAME)" ]; then 
    docker stop $CONTAINER_NAME || true 
    docker rm $CONTAINER_NAME || true 
fi 
 
# 删除旧镜像(避免缓存)
if [ "$(docker images -q $IMAGE_NAME)" ]; then 
    docker rmi -f $IMAGE_NAME || true 
fi 
 
# 拉取最新镜像 
docker pull $IMAGE_NAME 
 
# 启动容器,注意挂载配置文件(如有)以及 etcd 地址 
docker run -d \
    --name $CONTAINER_NAME \
    --network host \
    -p $HOST_PORT:$CONTAINER_PORT \
    -e ETCD_ENDPOINTS=192.168.1.10:2379 \
    $IMAGE_NAME 

后续其他服务(API、社交等)的部署脚本结构类似,为了统一管理,再编写一个总启动脚本 start_all.sh,遍历所有子脚本并执行:

#!/bin/bash 
SCRIPT_DIR=$(cd "$(dirname "$0")"; pwd)
 
services=(
    "deploy_user_rpc_test.sh"
    # 其他服务脚本待补充 
)
 
for s in "${services[@]}"; do 
    chmod +x "$SCRIPT_DIR/$s"
    echo "==> Execute $s"
    bash "$SCRIPT_DIR/$s"
done 
 
echo "===== Running containers =====" 
docker ps 
 
echo "===== Etcd registered keys =====" 
# 简单验证,通过 etcdctl 查看所有 key(需安装 etcdctl)
etcdctl --endpoints=192.168.1.10:2379 get "" --prefix=true --keys-only 

测试环境部署与验证

基础中间件准备

在部署用户服务之前,需要先启动 etcd、Redis、MySQL 等基础组件。可使用 docker-compose.yml 编排,并注意:

  • etcd 镜像可使用官方或定制版本,确保版本兼容性。
  • 数据持久化目录需具备适当权限,否则 etcd 启动异常(如权限拒绝)。
  • etcd 的客户端访问地址必须使用宿主机 IP 或可跨容器访问的网络地址,因为后续微服务注册发现依赖该地址。若所有服务同宿主机,可使用内网 IP(如 192.168.1.10)。

示例 docker-compose.yml 片段:

version: '3.7'
services:
  etcd:
    image: quay.io/coreos/etcd:v3.5.4 
    container_name: etcd 
    environment:
      - ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379 
      - ETCD_ADVERTISE_CLIENT_URLS=http://192.168.1.10:2379 
    volumes:
      - ./data/etcd:/etcd-data 
    command: etcd --data-dir=/etcd-data 
 
  redis:
    image: redis:7-alpine 
    ports:
      - "6379:6379"
 
  mysql:
    image: mysql:8.0 
    ports:
      - "3306:3306"
    environment:
      MYSQL_ROOT_PASSWORD: root123 
    volumes:
      - ./data/mysql:/var/lib/mysql 

启动后确认 etcd 可正常连接。

部署与健康检查

登录测试服务器(如 192.168.1.10),拉取项目代码后执行:

$ make user-rpc-test 

脚本将自动完成拉取镜像、启动容器。随后通过以下方式验证服务是否注册成功:

$ etcdctl --endpoints=192.168.1.10:2379 get "" --prefix=true --keys-only 
# 预期能看到类似 /user.rpc/ 的 key 

同时,使用 grpcurl 或编写简单的 Go 客户端调用 Ping 方法,确认 RPC 可达:

package main 
 
import (
    "context"
    "fmt"
    "log"
 
    "google.golang.org/grpc"
    "im-system/apps/user/rpc/user"
)
 
func main() {
    conn, err := grpc.Dial("192.168.1.10:10001", grpc.WithInsecure())
    if err != nil {
        log.Fatal(err)
    }
    defer conn.Close()
    client := user.NewUserClient(conn)
    resp, err := client.Ping(context.Background(), &user.PingRequest{Msg: "hello"})
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println("Ping response:", resp.Msg) // 预期输出:pong 或自定义信息 
}

若输出预期信息,则说明用户服务构建与部署流程完全正确。

总结

本节完成了以下事项:

  • 确定了整个项目的标准目录结构,为后续多服务开发奠定基础。
  • 编写用户服务的 Proto 文件,使用 goctl 生成 gRPC 脚手架。
  • 设计参数化的 Dockerfile,使其可复用至其他服务与环境。
  • 编写 Makefile 实现编译、构建镜像、推送的一键自动化。
  • 编写部署 Shell 脚本,配合 Makefile 实现从源代码到测试环境部署的全流程自动化。
  • 在测试服务器上实际部署并验证服务可用性,确保 etcd 注册与 RPC 调用正常。

通过这套标准化流水线,后续只需复制上述模式并调整少量变量,即可快速接入 IM 服务、社交服务的开发与部署,极大提升团队协作效率。

go-zero单体应用入门实战(一) go-zero是一个go语言的框架,类似于java中的spring boot和spring cloud。作者是国内go语言大神级人物,万俊峰Kevin。go-zero功能非常强大,初学者建议从单体应用开始,再逐步深入。 阅读详情

相关推荐

go-zero学习 — 进阶

go-zero学习 — 进阶

Mr_XiMu的博客 2886

go 进阶 go-zero相关: 一. go-zero 基础

├── etc│ └── core-api.yaml // 配置文件├── go.mod // mod文件├── greet.api // api描述文件├── core.go // main函数入口├── config│ └── config.go // 配置声明type├── handler // 路由及handler转发├── logic // 业务逻辑├── middleware // 中间件文件├── svc // logic所依赖的资源池。

qq_29799655的博客 4689

企业项目迁移go-zero全攻略(一)

作者:Mikael 最近发现 golang 社区里出了一个新兴的微服务框架。看了一下官方提供的工具真的很好用,只需要定义好 .api 文件模版代码都可以一键生成,只需要关心业务;同时 core 中的工具极大减少了开发成本。 废话不多说,来看看这个微服务框架:go-zero 起源 聊聊与go-zero结缘 最先接触go-zero是2020年10月国庆假期,说来也巧,看到有人在go-micro群中问go-zero情况,当时go-zero作者在群中就大概回答了一下,引起了我的好奇,当时公司用的go-micro1.

我心飞翔 1274

go-zero框架快速入门

go-zero 是一个集成了各种工程实践的 web 和 rpc 框架。通过弹性设计保障了大并发服务端的稳定性,经受了充分的实战检验。go-zero 包含极简的 API 定义和生成工具 goctl,可以根据定义的 api 文件一键生成代码。

码农兴哥的技术笔记 3743

go-zero解读与最佳实践(上)

本文有『Go开源说』第三期 go-zero 直播内容修改整理而成,视频内容较长,拆分成上下篇,本文内容有所删减和重构。 大家好,很高兴来到“GO开源说” 跟大家分享开源项目背后的一些故事、设计思想以及使用方法,今天分享的项目是 go-zero,一个集成了各种工程实践的 web 和 rpc 框架。我是Kevin,go-zero 作者,我的 github id 是 kevwan。 go-zero 概览 go-zero 虽然是20年8月7号才开源,但是已经经过线上大规模检验了,也是我近20年工程经验的积累,开.

我心飞翔 1086

Unity游戏开发实战:用柏林噪声打造3D随机地形(附完整C#代码)

本文详细介绍了如何在Unity游戏开发中使用柏林噪声算法生成3D随机地形,包含完整的C#代码实现。从基础柏林噪声原理到高级参数控制,再到性能优化和常见问题解决,帮助开发者掌握程序化地形生成技术,打造丰富多变的游戏世界。

weixin_29281941的博客 103

go-zero 微服务 DevOps 与自动化运维实战:CI/CD、灰度发布与最佳实践全解

本文系统解析 go-zero 在微服务 DevOps 与自动化运维方面的机制,涵盖 CI/CD、自动化部署、配置管理、灰度发布、可观测性、回滚、源码解读、架构图、流程图、Python 对比、最佳实践与常见问题,帮助中国开发者构建高效、可靠的微服务运维体系。go-zero 支持与主流 DevOps 工具链集成,实现微服务的自动化构建、测试、部署、监控与回滚,提升交付效率与系统可靠性。CI/CD:自动化构建、测试、部署自动化运维:配置管理、灰度发布、回滚可观测性:监控、日志、告警联动。

加入“Super Entity”,与全能开发团队共探AI智能体与数字人项目,开启前沿技术之旅。 988

STM32F103 超声波风速风向仪实战:0.1m/s精度风洞标定与OLED显示(附源码)

本文详细介绍了基于STM32F103的超声波风速风向仪设计与实现,通过超声波时间差测量技术实现0.1m/s高精度测量。文章涵盖硬件设计、算法实现、风洞标定及OLED显示等关键环节,提供完整源码,适用于气象监测、风力发电等领域。

weixin_42532938的博客 275

go-zero-looklook K8s部署:从开发到生产的完整流程指南

🚀 想要将你的go-zero微服务项目顺利部署到Kubernetes生产环境吗?go-zero-looklook项目为你提供了完整的微服务全技术栈最佳实践,包含从代码开发到K8s部署的端到端解决方案。本文将详细介绍如何使用这个项目实现高效的K8s部署流程。 ## 🔍 项目架构概览 go-zero-looklook是一个基于go-zero微服务框架的全技术栈开发项目,采用了现代化的微服务架构

gitblog_00530的博客 718

FX2N-2AD模块实战:从硬件连接到FROM/TO指令编程详解

本文详细解析FX2N-2AD模拟量输入模块的硬件连接与FROM/TO指令编程技巧,涵盖BFM缓冲存储器配置、梯形图程序设计及工程实战经验。通过实例演示如何实现精准信号采集与数据处理,特别针对PLC系统中的常见故障提供解决方案,助力工业自动化工程师高效完成设备调试与维护。

prometheus9mon的博客 510

数模【Mathematica(安装、入门方法、基本计算、基本图形、创建互动模型、利用数据、幻灯片演示、完整实例)】

Mathematica(安装and激活、入门方法、基本计算、基本图形、创建互动模型、利用数据、幻灯片演示、完整实例) Mathematica_11.3.0 安装教程 Mathematica11.3 激活 P1 笔记本 P2 入门方法 P3 基本计算 P4 基本图形 P5 创建互动模型 P6 利用数据 P7 演示 P8 完整实例

upward 12万+

告别繁琐部署:基于go-zero的微服务CI/CD自动化实践指南

你是否还在为微服务部署的重复操作而烦恼?每次代码更新都要手动打包、上传、部署,不仅效率低下还容易出错?本文将带你用go-zero框架快速搭建一套自动化部署流程,让你从此专注业务开发,彻底摆脱繁琐的部署工作。 读完本文后,你将能够: - 理解微服务自动化部署的核心流程与优势 - 使用go-zero的goctl工具一键生成部署配置 - 掌握基于Docker和Kubernetes的自动化部署实践 - ...

gitblog_00113的博客 338

MQTT在智能家居中的实战:用Android手机控制ESP8266设备(基于EMQX)

本文详细介绍了如何利用MQTT协议构建一个完整的智能家居控制系统,通过Android手机App远程操控ESP8266设备。文章提供了从EMQX服务器部署、ESP8266端Arduino固件开发到Android客户端搭建的完整实战指南,并深入探讨了系统联调、稳定性优化与安全加固等关键环节,为物联网开发者提供了一套可复用的解决方案。

ujm567890的博客 457

Go-Zero项目开发3: 用户服务注册与登录功能实现

摘要 本文详细介绍了基于go-zero框架实现用户服务注册登录功能的技术要点。主要内容包括: 数据库与模型构建: 设计用户表结构,包含基础字段与唯一约束 使用goctl工具生成基础模型代码 扩展根据手机号查询用户的方法 核心工具组件: 采用bcrypt算法实现密码加密与验证 基于golang-jwt实现JWT令牌生成 使用sonyflake生成分布式唯一ID 服务配置: 定义MySQL、Redis等基础服务连接参数 JWT密钥与过期时间配置 业务逻辑实现: 注册流程:手机号校验、密码加密、数据存储及JWT签

Wang的专栏 256

【RT-DETR实战】RT-DETR实战手记(200):端侧实时目标检测,下一步往哪儿走?

昨天深夜调一个模型部署,在树莓派4B上跑RT-DETR-nano,帧率死活卡在8FPS上不去。量化也做了,算子也优化了,内存对齐也检查了,可就是离实时检测的底线还差一截。盯着终端里跳动的数字,突然意识到——我们可能正在接近当前技术路径的瓶颈。端侧实时目标检测的下一个突破口,恐怕不在现有框架的修修补补里。

企鹅码农的专属播客,分享10多年的实战案例和经验解读,包含YOLO、RT-DETR、AI等各个工作领域。 187

基于投影法实现扫描文件的光学字符分割——Matlab实现

投影法是指将原图像沿着某个特定的方向进行投影,得到投影线上的像素点的个数或像素值总和,从而可以得到该方向上物体的轮廓信息。对于字符分割,我们可以将图像进行水平和垂直两个方向的投影,从而得到字符之间的分割线。在OCR技术中,字符分割是非常重要的一步骤,因为字符之间的分割对字符识别的准确性有很大的影响。通过对投影值的判断,可以求出字符之间的分割线,这里我们根据垂直方向上的投影值进行判断,选取一个阈值进行筛选即可。使用sum()函数分别计算出水平和垂直方向上的投影值,得到每一行和每一列的投影值。

TechGlide的博客 584

Go-zero新手教程

Go-zero是一个强大的Go语言微服务框架,具有以下特点: 高性能:支持千万级日活服务,内置高并发处理机制 开发高效:通过goctl工具一键生成多端代码,支持API定义自动生成 云原生:CNCF认证框架,支持服务发现、限流、熔断等机制 完备功能:内置数据库操作、缓存管理、分布式事务支持 项目结构清晰:明确分离配置、业务逻辑、数据库操作等层 该框架特别适用于电商、金融、物流等高并发场景,提供从项目创建、数据库连接到业务逻辑实现的完整解决方案。通过简明的API定义和自动化代码生成,开发者可以快速构建稳定可靠的

weixin_44024036的博客 1338

基于高光谱的物质反演与分类 — 技术文章(原理详解 + 深度代码实现)

高光谱遥感 / 近场光谱采集产生逐像素上百波段的光谱曲线,是物质识别与定量反演(abundance / composition estimation)和语义分类(landcover / material class)的一把利器。本文第一部分对常用模型(线性混合模型、非线性辐射传输、稀疏反演、降维与特征选择、分类器/神经网络)进行数学推导与理论分析;第二部分给出两套完整实现:A. 基于 LMM 的约束最小二乘 / 稀疏反演流水线(含端到端评估);

VectorShift的博客 223

终极微服务自动化部署指南:用go-zero+Ansible实现一键部署流水线

在当今云原生时代,微服务架构已成为主流,但传统的手动部署方式效率低下且容易出错。go-zero作为一个强大的云原生Go微服务框架,结合Ansible自动化工具,能够打造完整的自动化部署流水线,让您的微服务部署从手动走向自动。 ## 为什么需要自动化部署? 手动部署微服务面临诸多挑战:部署时间长、容易出错、环境不一致、难以回滚等。go-zero框架内置了强大的代码生成工具goctl,能够自动生成

gitblog_00140的博客 445

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

go-zero 微服务框架在 AI 应用开发中的实战与最佳实践

本文系统介绍 go-zero 微服务框架的核心理念、架构设计与工程实践,结合 AI 应用开发场景,提供详细的开发流程、Python 代码示例、架构图、流程图、思维导图、甘特图、饼图等多种技术展示。适合中国开发者,特别是 AI 应用开发者,帮助你高效构建高可用、高性能的微服务系统。go-zero是一款集成了丰富工程实践的高性能微服务框架,支持 Web 和 RPC,内建弹性设计、限流、熔断、降载等微服务治理能力,广泛应用于在线教育、电商、AI 等高并发场景。高性能:支撑千万级日活服务极简 API。

加入“Super Entity”,与全能开发团队共探AI智能体与数字人项目,开启前沿技术之旅。 1216

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

go-zero与K8s无缝集成:构建云原生微服务集群

在云原生架构中,微服务与容器编排平台的集成是构建高可用、可扩展系统的关键。本文将详细介绍如何使用go-zero框架与Kubernetes(K8s)进行无缝集成,实现微服务集群的快速部署与高效管理。 ## 核心集成组件解析 go-zero通过多个核心模块实现与K8s的深度集成,主要包括服务发现、配置管理和部署工具链。其中,服务发现模块通过K8s API监听Service和Endpoints变化,...

gitblog_00724的博客 1076

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

《go-zero云笺密钥录》

本文介绍了如何在go-zero框架下实现一个生成随机数字验证码的api网络接口

麦麦的博客 3282

零停机发布终极指南:go-zero微服务的蓝绿部署与金丝雀发布方案

在现代微服务架构中,零停机部署已成为保障业务连续性的核心能力。作为一款高性能的云原生Go微服务框架,go-zero通过内置的工具链和灵活的配置选项,为开发者提供了完整的蓝绿部署与金丝雀发布解决方案。本文将详细介绍如何利用go-zero实现零停机发布,帮助团队在保障服务可用性的同时,安全高效地交付新功能。 ## 为什么选择go-zero进行零停机发布? go-zero作为专为微服务设计的框架,其

gitblog_01025的博客 1117

【深入Go-Zero实战】构建高并发微服务系统的全链路解析

效率提升代码生成减少70%重复工作内置组件开箱即用(缓存/熔断/限流)性能保障百万级并发实战验证微秒级响应延迟运维友好动态诊断工具链完备的监控指标。

大家好,我是码农老gou,一名专注于编程技术的程序员。在这个博客中,我将与大家分享我在工作和学习中的经验、见解以及一些实用的技术干货。 1423

go-zero-looklook 开源项目使用手册

go-zero-looklook 开源项目使用手册 go-zero-looklook????基于go-zero(go zero) 微服务全技术栈开发最佳实践项目。Develop best practice projects based on the full technology stack of go zero (go zero) microservices.项目地址:https://gitcode...

gitblog_00212的博客 1120

Go进阶:总结19款Go语言日常开发中使用到的热门开源项目

​ 前面的文章中已经分享了开源的关于Go语言的Web开发框架以stars数的大小进行排列,分别介绍了下Web框架的一些特点和优缺点。本篇将总结一下在日常开发过程中接触比较多的关于Go的热门开源项目(非Web开发框架),涉及到云原生,微服务,数据库,缓存等项目。同样后面的文章中将分别介绍下这些框架的功能特性和使用技巧。还是按照老规矩本篇按照github上的stars数大小依次做个排列介绍。- 高并发:Golang具有高并发的特点,可以轻松处理大量并发请求。 - 内存管理:Golang具有自动内存管理的 ​

SteveRocket's-Blog 9905
上一篇: Go-Zero项目开发1: 即时通讯系统的业务分析与环境搭建
下一篇: Go-Zero项目开发3: 用户服务注册与登录功能实现
Wang's Blog
博客等级 码龄12年 7440粉丝 2427原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值