unqlite源码分析之unqlite_kv_store

本文主要分析了unqlite数据库的KV存储机制,特别是pEngine->pIo->pMethods->xReplace方法在处理内存数据库(MemHashReplace)和文件系统数据库(lhash_kv_replace)时的差异。核心关注点在于如何根据key计算hashkey,查找或创建bucket,并在需要时加载页面到内存。unqlite在打开数据库时不一次性加载所有数据,而是在访问时按需加载。

现在只记录了使用文件系统的解析,后续添加使用mem的解析

int unqlite_kv_store(unqlite *pDb,const void *pKey,int nKeyLen,const void *pData,unqlite_int64 nDataLen)
{
...
         if( nKeyLen < 0 ){
             /* Assume a null terminated string and compute it's length */
             nKeyLen = SyStrlen((const char *)pKey);
         }
         if( !nKeyLen ){
             unqliteGenError(pDb,"Empty key");
             rc = UNQLITE_EMPTY;
         }else{
             /* Perform the requested operation */
             rc = pEngine->pIo->pMethods->xReplace(pEngine,pKey,nKeyLen,pData,nDataLen);
         }
     }
...
}

上述代码重点是pEngine->pIo->pMethods->xReplace(pEngine,pKey,nKeyLen,pData,nDataLen);这行代码会根据是否是mem数据库选择MemHashReplace或者lhash_kv_replace。这里重点记录一下hash中的方法,lhash_kv_replace只是简单的重定向到了lh_record_insert。

/*
 * Insert a record (Either overwrite or append operation) in our database.
 *
在C++11中,我们可以创建一个UnQLite的单例模式,同时封装`sqlite3`库的功能,以便提供KV存储、读取、删除数据以及删除旧数据等功能。以下是一个基本的示例: ```cpp #include <iostream> #include <sqlite3.h> #include <chrono> class UnQLiteSingleton { private: static std::unique_ptr<sqlite3> instance; explicit UnQLiteSingleton() { openDatabase(); } ~UnQLiteSingleton() { closeConnection(); } public: // 单例获取接口 static UnQLiteSingleton& getInstance() { if (!instance) { instance = std::make_unique<sqlite3>(); if (sqlite3_open("my_database.db", &instance->db_) != SQLITE_OK) { throw std::runtime_error{"Failed to open SQLite database"}; } } return *instance; } // KV存储接口 void store(const std::string& key, const std::string& value) { sqlite3_stmt* stmt; std::string sql = "INSERT INTO kv_store(key, value) VALUES (?, ?)"; int rc = sqlite3_prepare_v2(instance->db_, sql.c_str(), -1, &stmt, nullptr); if (rc == SQLITE_OK) { sqlite3_bind_text(stmt, 1, key.c_str(), -1, SQLITE_STATIC); sqlite3_bind_text(stmt, 2, value.c_str(), -1, SQLITE_STATIC); if (sqlite3_step(stmt) != SQLITE_DONE) { std::cerr << "Error storing data: " << sqlite3_errmsg(instance->db_) << std::endl; } sqlite3_finalize(stmt); } else { std::cerr << "Error preparing SQL statement: " << sqlite3_errmsg(instance->db_) << std::endl; } } // 读取数据接口 std::optional<std::string> read(const std::string& key) { std::optional<std::string> result; sqlite3_stmt* stmt; std::string sql = "SELECT value FROM kv_store WHERE key = ?"; int rc = sqlite3_prepare_v2(instance->db_, sql.c_str(), -1, &stmt, nullptr); if (rc == SQLITE_OK) { sqlite3_bind_text(stmt, 1, key.c_str(), -1, SQLITE_STATIC); if (sqlite3_step(stmt) == SQLITE_ROW) { char* value = reinterpret_cast<char*>(sqlite3_column_text(stmt, 0)); result = value ? std::string{value} : std::nullopt; } sqlite3_finalize(stmt); } else { std::cerr << "Error preparing SQL statement: " << sqlite3_errmsg(instance->db_) << std::endl; } return result; } // 删除数据接口 bool remove(const std::string& key) { sqlite3_stmt* stmt; std::string sql = "DELETE FROM kv_store WHERE key = ?"; int rc = sqlite3_prepare_v2(instance->db_, sql.c_str(), -1, &stmt, nullptr); if (rc == SQLITE_OK) { sqlite3_bind_text(stmt, 1, key.c_str(), -1, SQLITE_STATIC); int status = sqlite3_step(stmt); if (status == SQLITE_DONE) { return true; } else if (status == SQLITE_ERROR) { std::cerr << "Error deleting data: " << sqlite3_errmsg(instance->db_) << std::endl; } } sqlite3_finalize(stmt); return false; } // 删除90天前数据接口(这里假设有一个timestamp字段) bool pruneOldData(int days_to_prune = 90) { sqlite3_stmt* stmt; std::string sql = R"(DELETE FROM kv_store WHERE timestamp < datetime('now', '-days', ?))"; int rc = sqlite3_prepare_v2(instance->db_, sql.c_str(), -1, &stmt, nullptr); if (rc == SQLITE_OK) { sqlite3_bind_int(stmt, 1, days_to_prune); int status = sqlite3_step(stmt); if (status == SQLITE_DONE) { return true; } else if (status == SQLITE_ERROR) { std::cerr << "Error pruning old data: " << sqlite3_errmsg(instance->db_) << std::endl; } } sqlite3_finalize(stmt); return false; } private: void openDatabase() { // 初始化SQLite连接并处理错误 // 这里省略具体的打开过程,实际操作需要处理可能出现的错误 } void closeConnection() { // 关闭SQLite连接 if (sqlite3_close(instance->db_)) { std::cerr << "Error closing SQLite connection" << std::endl; } instance.reset(); } sqlite3* db_ = nullptr; // SQLite数据库句柄 }; std::unique_ptr<sqlite3> UnQLiteSingleton::instance; // 使用示例 int main() { UnQLiteSingleton::getInstance().store("test_key", "test_value"); auto value = UnQLiteSingleton::getInstance().read("test_key"); if (value) { std::cout << "Read value: " << *value << std::endl; } UnQLiteSingleton::getInstance().remove("test_key"); // 删除90天前的数据 if (UnQLiteSingleton::getInstance().pruneOldData(90)) { std::cout << "Pruned old data." << std::endl; } return 0; } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值