阿里第一届天池 PolarDB 数据库性能大赛小结(深度多图)

Polardb集中式部署体验 PolarDB是阿⾥云数据库团队⾃主开发的云原⽣数据库。据了解PolarDB是产品品牌统称,云上PolarDB提供了Polardb MySQL版(集中式数据库),PolarDB PostgreSQL版(集中式数据库)和PolarDB分布式版(兼容MySQL)(简称:PolarDB- X) 三个产品版本,之前云上还有⼀个PolarDB兼容Oracle版,但已经与PolarDB-PG合并了。PolarDB对PostgreSQL版和分布式版做了开源,开源PolarDB的站点:OpenPolarDB.com。 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

来源:http://t.cn/EfuZTfi

  • 比赛背景

  • 赛题剖析

  • 核心设计思想

  • 全局架构

  • 存储方案

  • 关键参数

  • 随机写设计思路

  • 随机写关键点

  • Open DB 阶段

  • Drop Cache 优化

  • 随机读

  • Range

  • 整体工程优化

  • memcpy 4k 加速

  • 失败的尝试

  • 最佳成绩

  • 思考与展望


这次天池 PolarDB 数据库性能大赛竞争相当激烈,眼睛一闭一睁成绩就会被血洗,最后榜单成绩是第三名,答辩翻车了,最终取得了大赛季军。云计算领域接触的是最前沿的技术,阿里云的 PolarDB 作为云原生数据库里程碑式的革新产品,也为这次比赛提供了最先进的硬件环境。

整个比赛获益良多,体会比较深的两点:

  • 为了充分使用新硬件, 榨干硬件的红利来达到极致的性能,一定要 Benchmark Everything,经验并不一定是对的,实践出真知。

  • 从大的解决方案,到小的细节优化,需要足够的勇气尝试不同的思路,从而不断完善,达到最优解。

比赛背景

  1. 以 Optane SSD 为背景,实现高效的 KV 存储引擎。

  2. 实现 Write、Read 和 Range 接口。

  3. 正确性检测:保证进程意外退出不会造成数据丢失。

  4. 在规定时间内完成随机写、随机读、Range(顺序读)三个性能评测阶段。

赛题剖析

  1. 正确性检测 kill -9 模拟进程意外退出,需要保证数据不丢失。

  2. 只有 2G 物理内存可用。

  3. 64个线程并发顺序读取,每个线程各使用 Range 有序(增序)遍历全量数据 2 次。设计出有利于 Range 并且兼顾读写性能的架构至关重要。

  4. 随机写、随机读、顺序读三个阶段都会重新 Open DB,尽可能挖掘 Open 阶段的细节优化点。

  5. Drop Cache 的时间也计入总成绩,尽可能减少 PageCache 的使用。

核心设计思想

以 Range 为核心,同时兼顾随机写和随机读的性能。

  1. 划分多个 DB 分片减少锁冲突,提高并发度。

  2. Key/Value 数据分离,可使用块偏移地址表示数据位置。

  3. 充分利用 PageCache 避免进程退出不丢失数据,引入 Mmap 读写数据。

  4. 索引全量加载到内存,保证索引分区内和分区之间有序。

  5. Range 阶段需要大块缓存,保证顺序读。

  6. Open DB 并行加载 DB 分片,每个分片的加载过程是独立的。

全局架构

随机写和随机读都会根据 key 定位到具体的数据分片,转变为具体某个 DB 分片的读写操作。Range 查询需要定位到分片的上界和下界,然后依次顺序将分片进行遍历。

全局架构

DB 划分为多个分片的作用:

  1. 降低锁冲突。

  2. 提高读、写、Open 并发度。

  3. 降低数据定位时间。

  4. 有利于 Range 大块缓存数据。

DB分片需要支持范围查询:DB 分片内和分片之间数据有序。

存储方案

存储方案
  1. 根据 Key 的高 11 位定位 DB 分片以及分片所对应的文件。

  2. 单个 DB 分片视角:每个 DB 分片主要分为索引文件、MergeFile、数据文件。其中索引文件存储数据的 Key 以及 Offset,MergeFile 的作用用于聚合 IO,将 4k 聚合成 16K 后进行落盘。

  3. 数据文件视角:比赛初期数据文件与 DB 分片采用了 1 对 1 的架构设计,后期为了降低随机IO,提高写入速度,数据文件与 DB 分片设计为一对多的方式,每个文件管理多个分片。

关键参数

  1. 64 个数据文件,2048 个 DB 分片,数据文件与 DB 分片是一对多的关系。

  2. 4 个 Value 合并为 16K 落盘,减少磁盘交互次数。

  3. 创建 8 个 DB 分片、1G 的缓存池。

  4. 2 个 Range 预读线程,每个 DB 分片均分成 2 段并发预读。

随机写设计思路

  1. 当需要写入数据时,首先定位到数据分片以及数据文件,进行加锁操作。

  2. 先将数据写入 MergeBuffer,更新索引。

  3. 当下一个数据来时执行同样的操作,当 MergeBuffer 填满 16K,使用 DIO 将 16K 数据批量刷盘。

随机写过程

随机写关键点

  1. Key 转化为 uint64_t,根据 uint64_t 的高 11 位定位 DB 分片以及数据文件。

  2. 索引以及 Megre IO 无法避免 kill -9 检测,采用 Mmap 映射文件读写。

  3. 对象复用:每个分片独立一份 16k Buffer 复用,减少资源开销。

  4. 先写数据文件再更新索引,索引直接使用指针地址赋值,避免内存拷贝。

  5. Value 采用 DIO 16K 字节对齐写入。

KeyOnly keyOnly;
keyOnly.key = keyLong;
KeyOnly *ptr = reinterpret_cast<KeyOnly *>(mIndexPtr);
pthread_mutex_lock(&mMutex);
memcpy(static_cast<char *>(mSegmentBuffer) + mSegmentBufferIndex * 4096, value.data(), mSegmentBufferIndex++;

if (mSegmentBufferIndex == MergeLimit) {
    pwrite64(mDataDirectFd, mSegmentBuffer, MergeBufferSize, mWritePosition);
    mWritePosition += MergeBufferSize;
    mSegmentBufferIndex = 0;
}

ptr[mTotalKey] = keyOnly;
mTotalKey++;
pthread_mutex_unlock(&mMutex);

Open DB 阶段

细节决定成败,因为三个阶段都会重新打开 DB,所以 Open DB 阶段也成为优化的关键一环。

  1. posix_fallocate 预先分配文件空间。

  2. 64 个线程并发加载 2048 个 DB 分片,每个分片的加载都是独立的。

  3. 顺序、批量读取索引文件将 KeyOffset 加载到内存 Vector。索引的结构非常简单,只记录key 和 逻辑偏移offset,offset * 4096 计算出数据的物理偏移地址。

  4. 采用快排对 Key 进行从小到大排序,相同 Key 的 Offset 也从小到大排列。方便实现点查询和范围查询。考虑到性能评测阶段基本没有重复的key,所以 Open 阶段去除了索引的去重工作,改为上界查询。

索引结构:

struct KeyOffset {
    uint64_t key;
    uint32_t offset;

    KeyOffset()
            : key(0),
              offset(0) {
    }

    KeyOffset(uint64_t key, uint32_t offset)
            : key(key),
              offset(offset) {
    }
} __attribute__((packed));

Drop Cache 优化

Drop Cache 一共包含清理 PageCache、dentries 和 inodes,可根据参数控制。

sysctl -w vm.drop_cache = 1 // 清理 pagecache 
sysctl -w vm.drop_cache = 2 // 清理 dentries(目录缓存)和 inodes 
sysctl -w vm.drop_cache = 3 // 清理 pagecache、dentries 和 inodes 

PageCache 是重灾区,尽可能在使用 PageCache 的地方做一些细节优化。

  1. 将每个分片 16K 合并 I/O 的在 close 时强制写入磁盘的数据文件。

  2. 索引加载完成后,调用 POSIX_FADV_DONTNEED 则将指定的磁盘文件中数据从 Page Cache 中换出,稳定提升 20 ~ 30ms。

随机读

随机读核心就是实现点查询 O(logn)。

  1. 根据 Key 定位 DB 分片以及数据文件。

  2. 二分查找 DB 分片的索引数据,得到 Key 所对应 Value 数据的 offset 上界。

  3. 根据数据的分区号和偏移地址采用 DIO 读取 Value数据。

uint32_t offset = binarySearch(keyLong);

if (unlikely(offset == UINT32_MAX)) {
    return kNotFound;
}
static __thread void *readBuffer = NULL;
if (unlikely(readBuffer == NULL)) {
    posix_memalign(&readBuffer, getpagesize(), 4096);
}
if (unlikely(value->size() != 4096)) {
    value->resize(4096);
}
RetCode ret = readValue(offset - 1, readBuffer);
memcpy(&((*value)[0]), readBuffer, 4096);
return ret;

Range

Range 核心设计思想

  • 预读先行,保证预读和 Range 线程可以齐头并进。

  • 预读将整个数据分片加载至缓存,保证 Range 线程完全读取缓存。

  • 尽可能提高预读线程的速度,打满 IO。

  • 建立缓存池,循环复用多个缓存片。

  • 典型的生产者 / 消费者模型, 需要控制好缓存片的等待和通知。

Range 架构设计

Range 的架构采用 8 个 DB 分片作为缓存池,从下图可以看出缓存片分为几种状态:

  • 正在被读取

  • 可以被 Range 线程读取

  • Range 线程读完可以被重复利用的

  • 未被使用的

Range 顺序读架构

当缓存池 8 个分片全部被填满,将重新从头开始,重复利用已被释放的缓存分片。针对 Range 范围查询采用 2 个预读线程持续读取数据分片到可用的缓存片中,Range 线程顺序从缓存中获取数据进行遍历。整个过程保证预读先行,通过等待/通知控制 Range 线程与预读线程齐头并进。

缓存片的使用注意点:

  1. 将每个 DB 分片分为 2 段并发读取,每段 64m,提高分片预读的速度。

  2. Range 线程需要等待预读线程完成分片的预读之后才可以进行读取。

缓存片读取方式

可以看出这是一个典型的生产者消费者模型,需要做好预读线程和 Range 线程之间的协作:

  1. 每个缓存片持有一把锁和一个条件变量,控制缓存片的等待和通知。

  2. 每个缓存片采用引用计数以及 DB 分片号判断是否可用。

  3. 预读线程将 DB 分片分成 2 个段进行并发读取,每段读完通知 Range 线程。Range 线程收到信号后判断所有段是否都读完,如果都读完则根据索引有序遍历整个缓存片。

缓存片数据结构

class CacheItem {
public:
    CacheItem();

    ~CacheItem();

    void WaitAllDataSegmentReady(); // Range 线程等待当前缓存片所有段被读完 
    uint32_t GetUnReadDataSegment(); // 预读线程获取还未读完的数据段 
    bool CheckAllSegmentReady(); // 检测所有段是否都读完 
    void SetDataSegmentReady(); // 设置当前数据段预读完成,并向 Range 线程发送通知 
    void ReleaseUsedRef(); // 释放缓存片引用计数     
    uint32_t mDBShardingIndex; // 数据库分片下标     
    void *mCacheDataPtr; // 数据缓存     
    uint32_t mUsedRef; // 缓存片引用计数     
    uint32_t mDataSegmentCount; // 缓存片划分为若干段     
    uint32_t mFilledSegment; // 正在填充的数据段计数,用于预读线程获取分片时候的条件判断     
    uint32_t mCompletedSegment; // 已经完成的数据段计数 
    pthread_mutex_t mMutex;
    pthread_cond_t mCondition;
};

Range 制胜点

在 Range 阶段如何保证预读线程能够充分利用 CPU 时间片以及打满 IO?采取了以下优化方案:

Busy Waiting 架构

Range 线程和预读线程的逻辑是非常相似的,Range 线程 Busy Waiting 地去获取缓存片,然后等待所有段都预读完成,遍历缓存片,释放缓存片。预读线程也是 Busy Waiting 地去获取缓存片,获取预读缓存片其中一段进行预读,通知 Range 该线程,释放缓存片。两者在获取缓存片唯一的区别就是 Range 线程每次获取不成功会 usleep 让出时间片,而预读线程没有这步操作,尽可能把 CPU 打满。

// 预读线程 CacheItem *item = NULL;
while (true) {
    item = mCacheManager->GetCacheItem(mShardingItemIndex);
    if (item != NULL) {
        break;
    }
}

while (true) {
    uint32_t segmentNo = item->GetUnReadDataSegment();
    if (segmentNo == UINT32_MAX) {
        break;
    }
    uint64_t cacheOffset = segmentNo * EachSegmentSize;
    uint64_t dataOffset = cacheOffset + mStartPosition;
    pread64(mDataDirectFd, static_cast<char *>(item->mCacheDataPtr) + cacheOffset, EachSegmentSize, dataOffset);
    item->SetDataSegmentReady();
}
item->ReleaseUsedRef();

// Range 线程 CacheItem *item = NULL;
while (true) {
    item = mCacheManager->GetCacheItem(mShardingItemIndex);
    if (item != NULL) {
        break;
    }
    usleep(1);
}
item->WaitAllDataSegmentReady();

char key[8];
for (auto mKeyOffset = mKeyOffsets.begin(); mKeyOffset != mKeyOffsets.end(); mKeyOffset++) {
    if (unlikely(mKeyOffset->key == (mKeyOffset + 1)->key)) {
        continue;
    }
    uint32_t offset = mKeyOffset->offset - 1;
    char *ptr = static_cast<char *>(item->mCacheDataPtr) + offset * 4096;
    uint64ToString(mKeyOffset->key, key);
    PolarString str(key, 8);
    PolarString value(ptr, 4096);
    visitor.Visit(str, value);
}
item->ReleaseUsedRef();

因为比赛环境的硬件配置很高,这里使用忙等去压榨 CPU 资源可以取得很好的效果,实测优于条件变量阻塞等待。然而在实际工程中这种做法是比较奢侈的,更好的做法应该使用无锁的架构并且控制自旋等待的限度,如果自旋超过限定的阈值仍没有成功获得锁,应当使用传统的方式挂起线程。

预读线程绑核

为了让预读线程的性能达到极致,根据 CPU 亲和性的特点将 2 个预读线程进行绑核,减少线程切换开销,保证预读可以打满 CPU 以及 IO。

static bool BindCpuCore(uint32_t id) {
    cpu_set_t mask;
    CPU_ZERO(&mask);
    CPU_SET(id, &mask);
    int ret = pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask);
    return ret == 0;
}

以上两个优化完成后,Range(顺序读)的成绩相当稳定,不会出现较大幅度的波动。

整体工程优化

  1. Key 转化为 uint64_t 借助 bswap 指令。

  2. 尽可能加上分支预测 unlikely。

  3. 对象复用,减少资源开销。

  4. 位移、& 操作代替除法、取余运算。

  5. 批量读取索引数据,做好边界处理。

memcpy 4k 加速

利用 SSE 指令集 对 memcpy 4k 进行加速:

  1. 直接操作汇编,使用 SSE 的 movdqu 指令。

  2. 数据结构需要 8 字节对齐。

  3. 针对 4k 的场景使用 16 个寄存器完成并行运算。

inline void
mov256(uint8_t *dst, const uint8_t *src) {
    asm volatile ("movdqu (%[src]), %%xmm0\n\t"
                  "movdqu 16(%[src]), %%xmm1\n\t"
                  "movdqu 32(%[src]), %%xmm2\n\t"
                  "movdqu 48(%[src]), %%xmm3\n\t"
                  "movdqu 64(%[src]), %%xmm4\n\t"
                  "movdqu 80(%[src]), %%xmm5\n\t"
                  "movdqu 96(%[src]), %%xmm6\n\t"
                  "movdqu 112(%[src]), %%xmm7\n\t"
                  "movdqu 128(%[src]), %%xmm8\n\t"
                  "movdqu 144(%[src]), %%xmm9\n\t"
                  "movdqu 160(%[src]), %%xmm10\n\t"
                  "movdqu 176(%[src]), %%xmm11\n\t"
                  "movdqu 192(%[src]), %%xmm12\n\t"
                  "movdqu 208(%[src]), %%xmm13\n\t"
                  "movdqu 224(%[src]), %%xmm14\n\t"
                  "movdqu 240(%[src]), %%xmm15\n\t"
                  "movdqu %%xmm0, (%[dst])\n\t"
                  "movdqu %%xmm1, 16(%[dst])\n\t"
                  "movdqu %%xmm2, 32(%[dst])\n\t"
                  "movdqu %%xmm3, 48(%[dst])\n\t"
                  "movdqu %%xmm4, 64(%[dst])\n\t"
                  "movdqu %%xmm5, 80(%[dst])\n\t"
                  "movdqu %%xmm6, 96(%[dst])\n\t"
                  "movdqu %%xmm7, 112(%[dst])\n\t"
                  "movdqu %%xmm8, 128(%[dst])\n\t"
                  "movdqu %%xmm9, 144(%[dst])\n\t"
                  "movdqu %%xmm10, 160(%[dst])\n\t"
                  "movdqu %%xmm11, 176(%[dst])\n\t"
                  "movdqu %%xmm12, 192(%[dst])\n\t"
                  "movdqu %%xmm13, 208(%[dst])\n\t"
                  "movdqu %%xmm14, 224(%[dst])\n\t"
                  "movdqu %%xmm15, 240(%[dst])"
    :
    :[src] "r"(src),
    [dst] "r"(dst)
    : "xmm0", "xmm1", "xmm2", "xmm3",
            "xmm4", "xmm5", "xmm6", "xmm7",
            "xmm8", "xmm9", "xmm10", "xmm11",
            "xmm12", "xmm13", "xmm14", "xmm15", "memory");
}

#define mov512(dst, src) mov256(dst, src); \ mov256(dst + 256, src + 256); 
#define mov1024(dst, src) mov512(dst, src); \ mov512(dst + 512, src + 512); 
#define mov2048(dst, src) mov1024(dst, src); \ mov1024(dst + 1024, src + 1024); 
inline void memcpy_4k(void *dst, const void *src) {
    for (int i = 0; i < 16; ++i) {
        mov256((uint8_t *) dst + (i << 8), (uint8_t *) src + (i << 8));
    }
}

String 黑科技

  1. 目标:随机读阶段实现零拷贝。

  2. 原因:由于 String 分内的内存不是 4k 对齐,所以没办法直接用于 DIO 读取,会额外造成一次内存拷贝。

  3. 实现:使用自定义的内存分配器,确保分配出的内存 $string[0] 位置是 4k 对齐的,然后强转为标准的 String 供后续使用。

自定义实现了 STL Allocator 步骤:

  • 申请内存空间

  • 构造函数

  • 析构函数

  • 释放空间

  • 替换 basic_string allocator

为了防止自定义 Allocator 分配的内存被外部接口回收,将分配的 string 保存在 threadlocal 里,确保引用计数不会变0。

template<typename T>
class stl_allocator {
public:
    typedef size_t size_type;
    typedef std::ptrdiff_t difference_type;
    typedef T *pointer;
    typedef const T *const_pointer;
    typedef T &reference;
    typedef const T &const_reference;
    typedef T value_type;

    stl_allocator() {}
    ~stl_allocator() {}

    template<class U>
    struct rebind {
        typedef stl_allocator<U> other;
    };

    template<class U>
    stl_allocator(const stl_allocator<U> &) {}

    pointer address(reference x) const { return &x; }

    const_pointer address(const_reference x) const { return &x; }

    size_type max_size() const throw() { return size_t(-1) / sizeof(value_type); }

    pointer allocate(size_type n, typename std::allocator<void>::const_pointer = 0) {
        void *buffer = NULL;
        size_t mallocSize = 4096 + 4096 + (n * sizeof(T) / 4096 * 4096);
        posix_memalign(&buffer, 4096, mallocSize);
        return reinterpret_cast<pointer>(static_cast<int8_t *>(buffer) + (4096 - 24));
    }

    void deallocate(pointer p, size_type n) {
        free(reinterpret_cast<int8_t *>(p) - (4096 - 24));
    }

    void construct(pointer p, const T &val) {
        new(static_cast<void *>(p)) T(val);
    }

    void construct(pointer p) {
        new(static_cast<void *>(p)) T();
    }

    void destroy(pointer p) {
        p->~T();
    }

    inline bool operator==(stl_allocator const &a) const { return this == &a; }

    inline bool operator!=(stl_allocator const &a) const { return !operator==(a); }
};
typedef std::basic_string<char, std::char_traits<char>, stl_allocator<char>> String4K;}

失败的尝试

  1. 随机读建立 4k 缓存池,一次缓存 16k 数据,限制缓存数量。但是实测命中率很低,性能下降。

  2. PageCache 大块预读,通过 posix_fadvise 预读、释放缓存片来提高预读速度。最终结果优于直接使用 PageCache,仍无法超过 DIO。

最佳成绩

整个比赛取得的最佳成绩是 414.27s,每个阶段不可能都达到极限成绩,这里我列出了每个阶段的最佳性能。

历史成绩记录

思考与展望

第一版设计架构

这是比赛初期设计的架构,个人认为还是最初实现的一个分片对应单独一组数据文件的架构更好一些,每个分片还是分为索引文件、MergeFile 以及一组数据文件,数据文件采用定长分配,采用链表连接。这样方便扩容、多副本、迁移以及增量备份等等。当数据量太大没办法全量索引时,可以采用稀疏索引、多级索引等等。这个版本的性能评测稳定在 415~416s,也是非常优秀的。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

26、电子测量与旋转编码器控制技术解析 本文深入解析了电子测量中的电感测量技术与旋转编码器的控制方法。介绍了LC电路振荡原理、滤波器类型及其应用,并通过代码实现了基于脉冲宽度的电感值计算。对比了陶瓷电容与电解电容在高频测量中的性能差异。在旋转编码器部分,详细阐述了其工作原理,提出了抖动问题和检测遗漏的解决方案,包括中断检测法和基于4位状态映射的高精度控制方法。文章还探讨了相关技术在电力系统、通信设备、工业自动化和智能家居中的应用,并展望了高精度、智能化、小型化和无线化的发展趋势,为电子系统设计提供了实用指导和技术参考。 阅读详情

相关推荐

Java开发者必看:如何快速对接七大主流快递API(附完整代码示例)

本文为Java开发者提供了快速对接顺丰、京东、DHL等七大主流快递API的实战指南。文章深入剖析了不同API的认证、通信协议与参数差异,并提供了高可用的HTTP客户端配置、通用签名工具、SOAP请求处理以及可扩展的领域模型与适配层设计等完整代码示例,帮助开发者构建统一、健壮的物流集成框架,显著提升开发效率。

tech5的博客 728

PolarDB

同时,它还提供了更大的缓存空间,以存储更多的数据和索引,加快查询和数据操作的速度。您可以使用 PolardB 提供的监控工具或第三方监控解决方案来收集和分析这些指标,以便及时采取相应的调整措施,以优化数据库的性能和可靠性。PolarDB 是云数据库产品,由阿里云提供,它基于 MySQL 构建而成,但在某些方面进行了优化和改进,以提供更好的性能和可伸缩性。它使用了一种自适应的内存分配算法,根据数据库实例的实际需求和负载情况,动态调整内存的分配和释放,以提供更高的效率和性能。

喝醉酒的小白 2176

opencv实践项目-图片拼接之缝合线算法

opencv 图片缝合线算法

wyw0000的博客 2625

【MySQL系列】PolarDB入门使用

PolarDB 是阿里云(Alibaba Cloud)提供的一种关系型数据库服务。它是一种全球性的分布式数据库系统,具有高可用性、弹性扩展和高性能的特点。PolarDB 基于阿里云自主研发的架构,采用了共享存储和分布式共识协议,以实现跨多个节点的数据同步和读写操作。登录到云数据库 PolarDB 的控制台,我们可以看到左侧很多功能目录。基本信息: 展示 PolarDB 集群的基本信息,白名单与账号,以及集群配置等。性能监控: 监测 PolarDB 集群的各项指标,如 CPU,CPU 使用率等。

优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704 1万+

ECMWF等大气数据批量下载(Python API)详细步骤

ECMWF等大气数据批量下载(Python API) 遥感方向做热红外温度反演,不可避免的要用到大气廓线数据,大气数据具有实时性,比如2018年9月1日的早上8点的影像,为了提高反演精度就需要用到时间上与其相差尽可能接近的大气数据,用于消除大气的影响,如果数据量较少我们可以查看影像的时间和空间范围进行下载,但是如果处理某个较大区域时可能涉及到大量的影像,如果一景一景对应查找去下载会很麻烦,因此针对大量数据的自动批量下载很有必要。本文根据 https://cds.climate.copernicus.eu/#

liuxiaojiangtobeno1的博客 1万+

MATLAB App Designer 实现多窗口交互与数据传递实战

本文详细介绍了如何使用MATLAB App Designer实现多窗口交互与数据传递的实战技巧。从基础的多窗口应用设计到高级的动态窗口创建,涵盖了窗口调用控制、数据传递方法、状态管理及用户体验优化等核心内容,帮助开发者高效构建复杂的MATLAB GUI应用。

milk5的博客 667

国产主流数据库存储类型简析

国产数据库在技术架构上主要分为集中式、基于中间件分布式和原生分布式架构,衍生出集中式架构和分布式架构。那么在这些部署架构中,从数据分布的视角来看,在数据库中数据分布的形态是怎样的。本文将简要分析OceanBase、PolarDB、OpenGauss、GaussDB、GoldenDB、TiDB和TDSQL这几个主流的国产数据库的存储类型及存储引擎。

牧羊人的方向 7251

Oracle迁移至华为GaussDB SQL语法和存储过程转换

在将Oracle数据库迁移至GaussDB时,SQL语法和存储过程的转换是确保应用程序正常运行和数据完整性的关键环节。由于两者在数据类型、函数、过程语言等方面存在差异,必须系统化地进行转换和测试。正则表达式脚本:批量替换常见的语法差异。SQL解析工具:解析SQL脚本,生成GaussDB兼容的语法。代码审查工具:自动检查转换后的代码,确保语法和逻辑正确。将Oracle迁移至GaussDB涉及到SQL语法和存储过程的全面转换。通过系统化的转换步骤、使用合适的工具并结合手动调整,可以确保迁移过程的顺利进行。

weixin_38428874的博客 2401

小白新手一篇看懂PolarDB-X

讲述什么是PolarDB-X,以及基础安装,与srpingboot项目整合等

csdn565973850的博客 4384

LAMMPS GCMC模拟保姆级教程:从fix gcmc命令到吸附等温线实战

本文提供LAMMPS GCMC模拟的详细教程,从fix gcmc命令设置到吸附等温线实战,涵盖巨正则蒙特卡洛模拟的全流程。通过MOF-5吸附甲烷的案例,指导用户构建模拟体系、转换化学势与压力、定义GCMC区域,并绘制出版级吸附等温线,助力材料科学研究。

weixin_33724046的博客 607

什么是三极管推挽电路

当没有信号输入时,电源通过PNP三极管EB间的二极管,然后通过NPN三极管BE间而二极管到地,这时这两个三极管都是导通的,三极管很容易由于电流过大而损坏。当输入信号为VCC时,上面的三极管导通,下面的三极管截止,输出信号为VCC-0.7V,这个0.7V就是上面NPN三极管BE间的导通压降。比如上面的三极管导通,那么输出电压就是输入电压减去0.7V,所以下面的PNP三极管由于基极电压大于发射极电压,是不会导通的。这是一个三极管推挽电路,上面是一个NPN的三极管,下面是一个PNP的三极管。

谢谢关注“小鱼教你模数电”,各平台同号 3374

阿里第一届天池 PolarDB 数据库性能大赛

首届阿里云PolarDB性能挑战赛作为2018年数据库领域的重要技术赛事,吸引了全球2000多支队伍参与。比赛基于100GB TPC-H数据集,要求在不修改内核源码的情况下优化22个复杂查询性能。参赛方案展现了多项创新技术:智能数据分区、混合索引策略、向量化执行引擎等,最高实现9.1倍的性能提升。大赛不仅验证了云原生数据库的高性能潜力,还培养了大量数据库人才,推动了国产数据库技术创新。获奖方案中的多项优化技术已融入PolarDB产品迭代,展现了国产数据库的技术实力和发展前景。

油墨香^-^的博客 300

[QMT量化交易小白入门]-五十、十年基本保证每年盈利,全天ETF候稳稳的幸福

全局参数raise_rate = -1 # 触发rebalance的上涨比例period: 设定为22,表示每22个交易日执行一次调仓(即大约每月一次)。这是策略的时间框架基础。raise_rate: 初始值设为-1,意味着默认情况下不会因为资产的涨幅而触发调仓。这一参数用于控制是否基于资产表现动态调整仓位。run_count: 用于记录策略运行的次数,帮助判断何时执行定期调仓。1、为了简便计算,回撤时将调仓再平衡是先卖出再买入,没有比较持仓,实盘时是需要计算的,减少交易费用。

木头大左的博客 808

获奖名单公示|荣耀时刻,「第5届天池全球数据库大赛」决赛圆满收官

群雄逐鹿,巅峰之战

2301_78798867的博客 605

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

KubeBlocks 参展首届 PolarDB 开发者大会,双方发布深度合作

2024 年 1 月 17 日上午,阿里云 PolarDB 开发者大会在北京嘉瑞文化中心开幕。来自全国各地的数据库领域专家和技术开发者相聚一堂,共同交流云原生、分布式技术、一站式数据管理、开源生态等话题。KubeBlocks 有幸受邀参展。本次 PolarDB 大会有数百位技术开发者到会,还邀请到了数据库领域内的多位专家。云猿生数据创始人 & CEO 曹伟(鸣嵩)也受邀参加了技术专场讨论——开发者面对面,讨论 AI 时代呼唤什么样的数据库、开发者需要什么样的数据库、数据库如何走好开源之路等话题。

baidu_41642080的博客 602

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

首届PolarDB开发者大会在京举办,阿里云李飞飞:云数据库加速迈向智能化

中国科学院外籍院士、新加坡国立大学杰出教授、ACM、IEEE会士黄铭钧发表主旨演讲,他指出,以PolarDB为代表的中国云数据库,以高弹性、高性能、高稳定性和低成本的特性,奠定了存算分离的云原生数据库基础范式,为全球数据库行业提供了有价值的探索。李飞飞表示,PolarDB正朝着智能化方向发展:“未来,随着DB4AI、增强版向量检索等能力的持续提升,云数据库将实现AI驱动的‘自动驾驶’状态,让数据真正自由、有序地流动,创造更大价值。现在,以阿里云PolarDB为代表的国产云原生数据库,正成为市场主流选择。

GZZN2019的博客 1288

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

阿里云第四届全球数据库大赛火热开赛,40万奖金广纳英才

日前,“第四届全球数据库大赛—PolarDB性能挑战赛“在阿里云天池官网正式开赛。据悉,本次大赛聚焦云原生数据库核心技术及业务场景,探索如何利用新硬件和新介质优势,挑战数据库性能优化极限。比赛全程有多名资深技术专家提供技术指导,与参赛者相互交流和学习。大赛现已面向全社会开放报名,个人开发者、高等院校、企业、科研单位等人员均可报名参赛,为广大数据库技术爱好者以及相关的科研企业提供挑战平台。双赛道“码力“全开,聚焦云原生数据库核心技术云计算为数据库的架构发展开辟了新的技术路径。......

cover_se的博客 1

【干货】|800份实战经验PPT免费下载

2017年, 云栖大会先后在全国八个城市举办,全年300余场的技术主题论坛,涵盖人工智能、大数据、金融科技、量子计算、生命科学、IoT、政务、多媒体、VR等多个前沿科技领...

淘系技术 9066

关于PolarDB粗浅认识

目前(20240314),PolarDB有两个版本:PolarDB-PGPolarDB PostgreSQL 版(PolarDB for PostgreSQL,简称“PolarDB-PG”)是阿里云自主研发的云原生关系型数据库产品,100% 兼容 PostgreSQL。采用基于 Shared-Storage 的存储计算分离架构,具有极致弹性、毫秒级延迟、HTAP 的能力和高可靠、高可用、弹性扩展等企业级数据库特性。同时,PolarDB 具有大规模并行计算能力,可以应对 OLTP 与 OLAP 混合负载。

刘元林的博客 3885

MySQL和PolarDB的相同点和不同点

兼容MySQL协议,但迁移到PolarDB可能需要考虑云服务提供商特定的特性和限制。:传统上存储和计算是紧密耦合的,虽然有些云服务提供计算和存储分离的MySQL服务。:是阿里云推出的一款云原生数据库,专为云计算环境设计,具有高性能和可扩展性。:作为云服务,通常与云提供商的管理控制台集成,提供云数据库特有的管理工具。:作为云服务提供,通常按使用量计费,由云服务提供商负责维护和升级。:支持存储和计算分离,可以根据需要独立扩展存储和计算资源。:支持广泛,有大量的社区和商业支持。

付聪 2774

PolarDB入门使用:驾驭云原生数据库的力量

PolarDB是阿里云自主研发的云原生数据库,它基于存储计算分离架构,实现了数据的高并发读写能力和秒级弹性伸缩能力。PolarDB兼容MySQL、PostgreSQL等多种数据库引擎,支持在线扩容、故障自动切换等特性,是现代企业级应用的理想选择。通过本文的详细介绍,相信你已经对PolarDB有了全面的认识,并掌握了其基本使用方法。PolarDB凭借其卓越的性能、高可用性和易管理性,正在成为越来越多企业的首选云数据库解决方案。

一个做过前端开发的产品经理,经历过睿智产品的折磨导致脱发之后,励志要翻身"农奴"把歌唱,一边打入敌人内部一边持续提升自己,为我们广大开发同胞谋福祉,坚决抵制睿智产品折磨我们码农兄弟! 2316

云数据库PolarDB

PolarDB的概念 PolarDB的概念 PolarDB是阿里云自研的下一代关系型云数据库,有三个独立的引擎,分别可以100%兼容MySQL,100%兼容PostgreSQL,高度兼容Oracle语法,存储容量最高可达100TB,单库最多可扩展到16个节点,适用于企业多样化的数据库应用场景。 PolarDB采用存储和计算分离的架构,所有计算节点共享一份数据,提供分钟级的配置升降级,秒级的故障恢复,全局数据一致性和免费的数据备份容灾服务。PolarDB融合了商业数据库和云数据库的优点。PolarDB既

dream_heheda的博客 3329

第一届天池 PolarDB 数据库性能大赛

这次天池 PolarDB 数据库性能大赛竞争相当激烈,眼睛一闭一睁成绩就会被血洗,最后榜单成绩是第三名,答辩翻车了,最终取得了大赛季军。云计算领域接触的是最前沿的技术,阿里云的 PolarDB 作为云原生数据库里程碑式的革新产品,也为这次比赛提供了最先进的硬件环境。 整个比赛获益良多,体会比较深的两点: 为了充分使用新硬件, 榨干硬件的红利来达到极致的性能,一定要 Benchmark Every...

weixin_34411563的博客 751

什么是PolarDB

PolarDB是阿里巴巴自研的新一代云原生关系型数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。PolarDB 100%兼容MySQL 5.6/5.7/8.0,PostgreSQL 11,高度兼容Oracle。PolarDB采用存储和计算分离的架构,所有计算节点共享一份数据,提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务。...

colorfulyan的博客 2069

PolarDB入门使用

PolarDB作为云数据库领域的佼佼者,不仅继承了MySQL的易用性,更在性能、安全性及成本控制上实现了突破。通过本文的介绍与示例,相信各位MySQL开发者已对PolarDB有了初步的认识。未来,随着云技术的不断演进,PolarDB必将展现出更多的可能性,助力企业数字化转型。以上内容充分展示了PolarDB的核心价值及其在实际开发场景中的应用,希望能够帮助广大MySQL开发者深入理解并熟练掌握这一强大的数据库服务。欢迎来到我的博客,很高兴能够在这里和您见面!

一个做过前端开发的产品经理,经历过睿智产品的折磨导致脱发之后,励志要翻身"农奴"把歌唱,一边打入敌人内部一边持续提升自己,为我们广大开发同胞谋福祉,坚决抵制睿智产品折磨我们码农兄弟! 2153
上一篇: 图解从 URL 到网页通信原理
下一篇: 找工作交流群(北上广深杭成都重庆南京武汉长沙西安)
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值