EchoVault：Go 中的嵌入式 Redis 替代方案

大约一年前，我开始致力于一个开源项目，以在 Go 中构建 Redis 的嵌入式替代方案。就在那时我开始构建 EchoVault 项目。从那时起，该项目引起了一些兴趣，甚至一些贡献者。

本文介绍了 EchoVault、其功能、用例以及其开发背后的动机。

什么是 EchoVault？

EchoVault 是专为 Go 应用程序量身定制的嵌入式内存数据存储。它通过 TCP 提供与 RESP 兼容的接口，同时提供直接嵌入到应用程序中的灵活性。

通过这样做，EchoVault 的目标是在某些用例中取代 Redis 等传统内存数据存储，通过增强与 Go 的集成来提供类似的功能。

为什么建造 EchoVault

我构建 EchoVault 的最初动机是：

• 嵌入式灵活性：像Redis这样的传统内存数据存储是需要单独管理和部署的外部服务。 EchoVault 允许开发人员将数据存储直接嵌入到他们的应用程序中，从而简化部署过程，从而消除了这种开销。
• Go 生态系统集成：EchoVault 主要为 Go 设计，确保 Go 应用程序内的无缝集成和最佳性能。但是，它还保持了 TCP 上的 RESP 兼容性，使其与现有的 Redis 客户端（例如 redis-cli 和 Jedis）兼容。
• Redis 许可证变更：EchoVault 是开源的（在 Apache 2.0 下许可）。我们致力于保持这种完全开源的模式，而不是开放核心。

EchoVault 提供的功能

EchoVault 的功能使其成为内存数据存储的可靠选择：

• TLS 和 mTLS 支持：通过支持多个服务器和客户端根证书颁发机构 (RootCA) 实现安全通信。
  复制集群支持：利用RAFT算法进行复制和集群。
• 访问控制层：提供用户身份验证和授权以保护数据访问。
• 分布式发布/订阅功能：支持发布/订阅通道和模式以进行实时数据处理。
• 数据结构：我们支持多种数据结构，包括集合、排序集合、哈希、列表等。我们正在继续在其中添加更多数据结构和命令。
• 持久层：该层通过快照和仅附加文件持久性确保数据持久性。 AOF 文件与 RESP 兼容，但尚未完全兼容 Redis。
• 关键驱逐策略：实现各种关键驱逐策略来管理内存使用。 EchoVault 具有被动和主动密钥驱逐功能。通过被动密钥驱逐，过期的密钥直到下次访问它们时才会被驱逐。通过主动驱逐，EchoVault 将主动删除过期的密钥。
• 命令扩展：允许通过共享对象文件和嵌入式 API 对命令进行运行时扩展。

由于我们处于开发的早期阶段，功能列表不断扩大。我们为未来准备了一些更酷的功能，包括：

• 流。
• Lua 模块扩展。
• 分片。

EchoVault 的架构

EchoVault 支持独立部署和集群部署。

独立模式

在独立模式下，EchoVault 运行单个（独立）实例。这是运行 EchoVault 的最简单方法。您可以从嵌入式库运行独立实例，也可以将其作为接受 TCP 连接的自己的进程启动。
嵌入式实例还可以接受 TCP 连接，允许您从 TCP 客户端与 Go 进程进行通信。

RAFT复制集群模式

对于需要强一致性和容错能力的应用，EchoVault支持基于RAFT的复制集群模式。

RAFT 是一种共识算法，可确保分布式系统之间的数据一致性。在这种模式下，多个EchoVault实例可以组成一个集群，提供数据复制并确保即使在节点故障的情况下数据也保持一致。

RAFT集群模式的主要特点：

• 容错：即使集群中的某些节点出现故障，也能确保数据可用性。
• 一致性：保证集群中所有节点的数据相同。
• 可扩展性：允许通过向集群添加更多节点来进行水平扩展。

您甚至可以在嵌入式模式下运行 EchoVault 集群。这意味着您的应用程序实例可以通过 EchoVault 层相互通信，而无需部署第三方服务。这非常适合跨应用程序实例集群的会话管理等用例。

EchoVault 用例

EchoVault 的多功能性使其适用于广泛的应用程序。以下是一些潜在的用例：

• 内存缓存
  场景：某电商网站需要缓存商品详情和用户会话信息以提高性能。
  解决方案：使用 EchoVault 缓存经常访问的数据以加快响应时间。
  优点：页面加载速度更快，用户体验得到改善，数据库压力减少。
• 服务发现
  场景：微服务架构需要动态服务发现来进行服务间通信。
  解决方案：将服务端点存储在 EchoVault 中，使服务能够有效地发现彼此并进行通信。
  好处：简化服务发现并提高通信效率。
• 会话管理
  场景：分布式 Web 应用程序必须管理跨多个实例的用户会话。
  解决方案：使用EchoVault嵌入式集群来存储会话数据，确保所有应用程序实例的一致性和可访问性。
  优点：跨应用程序集群进行一致的会话管理，无需部署 Redis 等辅助服务。
• 实时分析
  场景：金融交易平台需要实时分析和监控交易数据。
  解决方案：在 EchoVault 中存储和处理实时贸易数据，利用其排序集和发布/订阅功能进行跟踪和分析。
  优点：实时数据处理和更快的分析。
• 分布式任务队列
  场景：后端系统需要管理并分发任务到多个工作节点。
  解决方案：使用EchoVault的列表数据结构实现任务队列，其中任务被推送到列表中，工作节点弹出任务进行处理。
  优点：高效的任务分配和可扩展性。
• 功能标志和配置管理
  场景：SaaS 应用程序需要动态启用或禁用功能并管理配置设置，而无需重新部署应用程序。
  解决方案：将功能标志和配置设置存储在 EchoVault 中。
  优点：动态配置管理和减少停机时间。
• 速率限制和节流
  场景：API 网关需要强制执行速率限制和限制请求，以防止滥用并确保公平使用。
  解决方案：使用 EchoVault 的内存功能来实施速率限制，以跟踪请求计数并实时实施限制。
  好处：有效的速率限制和提高 API 可靠性。
• 领袖选举
  场景：一个分布式服务集群需要选举一个领导者来协调任务。
  解决方案：依靠EchoVault嵌入式分布式集群的Leader选举，确保只有一个应用程序实例被指定为Leader。
  好处：可靠的领导者选举和改进的协调，而无需在应用程序级别自行实现。

结论

EchoVault 是一个雄心勃勃的项目。在这些早期阶段，我们预计必须解决许多问题并添加许多功能。然而，我们欢迎这一挑战，并希望让 Go 社区参与到该项目中。

如果这篇文章激发了您的好奇心，或者您有兴趣为这样的项目做出贡献，请查看我们的 GitHub 并给我们一颗星！我们始终欢迎更多反馈和贡献！