从零实现GeeCache分布式缓存：HTTP服务端搭建

从零实现GeeCache分布式缓存：HTTP服务端搭建

7days-golang 7 days golang programs from scratch (web framework Gee, distributed cache GeeCache, object relational mapping ORM framework GeeORM, rpc framework GeeRPC etc) 7天用Go动手写/从零实现系列 项目地址: https://gitcode.com/gh_mirrors/7d/7days-golang

概述

在分布式缓存系统中，节点间的通信是核心功能之一。本文将详细介绍如何为GeeCache分布式缓存项目实现HTTP服务端，使缓存节点能够通过HTTP协议相互通信。我们将从Go语言标准库的http包开始讲解，逐步构建一个完整的HTTP服务端实现。

HTTP标准库基础

Go语言内置的net/http包提供了构建HTTP服务端和客户端所需的所有功能。让我们先看一个最简单的HTTP服务端示例：

package main

import (
	"log"
	"net/http"
)

type simpleHandler struct{}

func (h *simpleHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {
	w.Write([]byte("Hello from GeeCache!"))
}

func main() {
	var handler simpleHandler
	http.ListenAndServe("localhost:9999", &handler)
}

这个例子展示了HTTP服务端的基本结构：

1. 定义一个实现了ServeHTTP方法的类型
2. 使用http.ListenAndServe启动服务

ServeHTTP方法是HTTP处理的核心，它接收两个参数：

• http.ResponseWriter：用于构建响应
• *http.Request：包含请求的所有信息

GeeCache的HTTP服务端实现

在GeeCache项目中，我们需要实现一个专门用于节点间通信的HTTP服务端。以下是关键实现步骤：

1. HTTPPool结构体设计

type HTTPPool struct {
	self     string    // 本节点地址，如"http://localhost:8000"
	basePath string    // 通信路径前缀，默认"/_geecache/"
}

HTTPPool结构体包含两个字段：

• self：记录本节点的网络地址
• basePath：所有缓存相关请求的URL前缀，用于区分其他服务

2. 服务端核心逻辑实现

ServeHTTP方法是服务端的核心，它需要处理以下逻辑：

func (p *HTTPPool) ServeHTTP(w http.ResponseWriter, r *http.Request) {
	// 1. 验证请求路径是否合法
	if !strings.HasPrefix(r.URL.Path, p.basePath) {
		http.Error(w, "invalid path", http.StatusBadRequest)
		return
	}
	
	// 2. 解析请求路径，格式应为/<basepath>/<group>/<key>
	parts := strings.SplitN(r.URL.Path[len(p.basePath):], "/", 2)
	if len(parts) != 2 {
		http.Error(w, "bad request", http.StatusBadRequest)
		return
	}
	
	// 3. 获取缓存组和键
	groupName := parts[0]
	key := parts[1]
	
	// 4. 获取缓存组实例
	group := GetGroup(groupName)
	if group == nil {
		http.Error(w, "group not found", http.StatusNotFound)
		return
	}
	
	// 5. 获取缓存值
	view, err := group.Get(key)
	if err != nil {
		http.Error(w, err.Error(), http.StatusInternalServerError)
		return
	}
	
	// 6. 返回响应
	w.Header().Set("Content-Type", "application/octet-stream")
	w.Write(view.ByteSlice())
}

3. 日志记录功能

为了方便调试和监控，我们添加了日志记录功能：

func (p *HTTPPool) Log(format string, v ...interface{}) {
	log.Printf("[Server %s] %s", p.self, fmt.Sprintf(format, v...))
}

测试HTTP服务端

为了验证我们的实现是否正确，我们可以编写一个简单的测试程序：

func main() {
	// 初始化测试数据
	var db = map[string]string{
		"Tom":  "630",
		"Jack": "589",
		"Sam":  "567",
	}
	
	// 创建缓存组
	geecache.NewGroup("scores", 2<<10, geecache.GetterFunc(
		func(key string) ([]byte, error) {
			log.Println("[DB] query key:", key)
			if v, ok := db[key]; ok {
				return []byte(v), nil
			}
			return nil, fmt.Errorf("%s not found", key)
		}))
	
	// 启动HTTP服务
	addr := "localhost:9999"
	peers := geecache.NewHTTPPool(addr)
	log.Println("GeeCache is running at", addr)
	log.Fatal(http.ListenAndServe(addr, peers))
}

测试结果分析

启动服务后，我们可以使用curl进行测试：

$ curl http://localhost:9999/_geecache/scores/Tom
630
$ curl http://localhost:9999/_geecache/scores/Unknown
Unknown not found

服务端日志输出如下：

[Server localhost:9999] GET /_geecache/scores/Tom
[DB] query key: Tom
[Server localhost:9999] GET /_geecache/scores/Unknown
[DB] query key: Unknown

实现细节解析

1. 路径处理：我们使用strings.HasPrefix和strings.SplitN来解析请求路径，确保格式正确。

2. 错误处理：对各种可能的错误情况进行了处理，包括：

   • 非法路径
   • 不存在的缓存组
   • 缓存键不存在

3. 响应格式：使用application/octet-stream作为内容类型，适合传输任意二进制数据。

4. 并发安全：底层缓存实现已经处理了并发访问的问题，HTTP服务端无需额外处理。

总结

本文详细介绍了如何为GeeCache分布式缓存项目实现HTTP服务端。通过这个实现，缓存节点现在可以通过HTTP协议相互通信，为后续实现分布式功能奠定了基础。关键点包括：

1. 使用Go标准库net/http构建服务端
2. 设计专门的HTTPPool结构体处理缓存请求
3. 实现完整的请求路径解析和错误处理
4. 添加日志功能方便调试

在后续开发中，我们将基于这个HTTP服务端实现节点间的数据同步和负载均衡功能，构建完整的分布式缓存系统。

7days-golang 7 days golang programs from scratch (web framework Gee, distributed cache GeeCache, object relational mapping ORM framework GeeORM, rpc framework GeeRPC etc) 7天用Go动手写/从零实现系列 项目地址: https://gitcode.com/gh_mirrors/7d/7days-golang