前言

BufferQueue 是一個(gè)用 .NET 編寫的高性能的緩沖隊(duì)列實(shí)現(xiàn)，支持多線程并發(fā)操作。

項(xiàng)目地址：https://github.com/eventhorizon-cli/BufferQueue

項(xiàng)目是從 mocha 項(xiàng)目中獨(dú)立出來的一個(gè)組件，經(jīng)過修改以提供更通用的緩沖隊(duì)列功能。

目前支持的緩沖區(qū)類型為內(nèi)存緩沖區(qū)，后續(xù)會(huì)考慮支持更多類型的緩沖區(qū)。

適用場景

生產(chǎn)者和消費(fèi)者之間的速度不一致，需要并發(fā)批量處理數(shù)據(jù)的場景。

因?yàn)槟壳爸挥袃?nèi)存版本，不適用于不允許數(shù)據(jù)丟失的業(yè)務(wù)場景。

功能說明

支持創(chuàng)建多個(gè) Topic，每個(gè) Topic 可以有多種數(shù)據(jù)類型。每一對(duì) Topic 和數(shù)據(jù)類型對(duì)應(yīng)一個(gè)獨(dú)立的緩沖區(qū)。

支持創(chuàng)建多個(gè) Consumer Group，每個(gè) Consumer Group 的消費(fèi)進(jìn)度都是獨(dú)立的。支持多個(gè) Consumer Group 并發(fā)消費(fèi)同一個(gè) Topic。

支持同一個(gè) Consumer Group 創(chuàng)建多個(gè) Consumer，以負(fù)載均衡的方式消費(fèi)數(shù)據(jù)。

支持?jǐn)?shù)據(jù)的批量消費(fèi)，可以一次性獲取多條數(shù)據(jù)。

支持 pull 模式和 push 模式兩種消費(fèi)模式。

pull 模式下和 push 模式下都支持 auto commit 和 manual commit 兩種提交方式。auto commit 模式下，消費(fèi)者在收到數(shù)據(jù)后自動(dòng)提交消費(fèi)進(jìn)度，如果消費(fèi)失敗不會(huì)重試。manual commit 模式下，消費(fèi)者需要手動(dòng)提交消費(fèi)進(jìn)度，如果消費(fèi)失敗只要不提交進(jìn)度就可以重試。

需要注意的是，當(dāng)前版本出于簡化實(shí)現(xiàn)的考慮，暫不支持消費(fèi)者的動(dòng)態(tài)擴(kuò)容和縮容，需要在創(chuàng)建消費(fèi)者時(shí)指定消費(fèi)者數(shù)量。

使用示例

安裝 Nuget 包：

dotnet add package BufferQueue

項(xiàng)目基于 Microsoft.Extensions.DependencyInjection，使用時(shí)需要先注冊(cè)服務(wù)。

BufferQueue 支持兩種消費(fèi)模式：pull 模式和 push 模式。



builder.Services.AddBufferQueue(options =>
{
    options.UseMemory(bufferOptions =>
        {
            // 每一對(duì) Topic 和數(shù)據(jù)類型對(duì)應(yīng)一個(gè)獨(dú)立的緩沖區(qū)，可以設(shè)置 partitionNumber
            bufferOptions.AddTopic<Foo>("topic-foo1", partitionNumber: 6);
            bufferOptions.AddTopic<Foo>("topic-foo2", partitionNumber: 4);
            bufferOptions.AddTopic<Bar>("topic-bar", partitionNumber: 8);
        })
        // 添加 push 模式的消費(fèi)者
        // 掃描指定程序集中的標(biāo)記了 BufferPushCustomerAttribute 的類，
        // 注冊(cè)為 push 模式的消費(fèi)者
        .AddPushCustomers(typeof(Program).Assembly);
});


// 在 HostedService 中使用 pull模式 消費(fèi)數(shù)據(jù)
builder.Services.AddHostedService<Foo1PullConsumerHostService>();

pull 模式的消費(fèi)者示例：

public class Foo1PullConsumerHostService(
    IBufferQueue bufferQueue,
    ILogger<Foo1PullConsumerHostService> logger) : IHostedService
{
    private readonly CancellationTokenSource _cancellationTokenSource = new();


    public Task StartAsync(CancellationToken cancellationToken)
    {
        var token = CancellationTokenSource
            .CreateLinkedTokenSource(cancellationToken, _cancellationTokenSource.Token)
            .Token;


        var consumers = bufferQueue.CreatePullConsumers<Foo>(
            new BufferPullConsumerOptions
            {
                TopicName = "topic-foo1", GroupName = "group-foo1", AutoCommit = true, BatchSize = 100,
            }, consumerNumber: 4);


        foreach (var consumer in consumers)
        {
            _ = ConsumeAsync(consumer, token);
        }


        return Task.CompletedTask;
    }


    public Task StopAsync(CancellationToken cancellationToken)
    {
        _cancellationTokenSource.Cancel();
        return Task.CompletedTask;
    }


    private async Task ConsumeAsync(IBufferPullConsumer<Foo> consumer, CancellationToken cancellationToken)
    {
        await foreach (var buffer in consumer.ConsumeAsync(cancellationToken))
        {
            foreach (var foo in buffer)
            {
                // Process the foo
                logger.LogInformation("Foo1PullConsumerHostService.ConsumeAsync: {Foo}", foo);
            }
        }
    }
}

push 模式的消費(fèi)者示例：

通過 BufferPushCustomer 特性注冊(cè) push 模式的消費(fèi)者。

push consumer 會(huì)被注冊(cè)到 DI 容器中，可以通過構(gòu)造函數(shù)注入其他服務(wù)，可以通過設(shè)置 ServiceLifetime 來控制 consumer 的生命周期。

BufferPushCustomerAttribute 中的 concurrency 參數(shù)用于設(shè)置 push consumer 的消費(fèi)并發(fā)數(shù)，對(duì)應(yīng) pull consumer 的 consumerNumber。



[BufferPushCustomer(
    topicName: "topic-foo2",
    groupName: "group-foo2",
    batchSize: 100,
    serviceLifetime: ServiceLifetime.Singleton,
    concurrency: 2)]
public class Foo2PushConsumer(ILogger<Foo2PushConsumer> logger) : IBufferAutoCommitPushConsumer<Foo>
{
    public Task ConsumeAsync(IEnumerable<Foo> buffer, CancellationToken cancellationToken)
    {
        foreach (var foo in buffer)
        {
            logger.LogInformation("Foo2PushConsumer.ConsumeAsync: {Foo}", foo);
        }


        return Task.CompletedTask;
    }
}

[BufferPushCustomer(
    "topic-bar",
    "group-bar",
    100,
    ServiceLifetime.Scoped,
    2)]
public class BarPushConsumer(ILogger<BarPushConsumer> logger) : IBufferManualCommitPushConsumer<Bar>
{
    public async Task ConsumeAsync(IEnumerable<Bar> buffer, IBufferConsumerCommitter committer,
        CancellationToken cancellationToken)
    {
        foreach (var bar in buffer)
        {
            logger.LogInformation("BarPushConsumer.ConsumeAsync: {Bar}", bar);
        }


        var commitTask = committer.CommitAsync();
        if (!commitTask.IsCompletedSuccessfully)
        {
            await commitTask.AsTask();
        }
    }
}

Producer 示例：

通過 IBufferQueue 獲取到指定的 Producer，然后調(diào)用 ProduceAsync 方法發(fā)送數(shù)據(jù)。

[ApiController]
[Route("/api/[controller]")]
public class TestController(IBufferQueue bufferQueue) : ControllerBase
{
    [HttpPost("foo1")]
    public async Task<IActionResult> PostFoo1([FromBody] Foo foo)
    {
        var producer = bufferQueue.GetProducer<Foo>("topic-foo1");
        await producer.ProduceAsync(foo);
        return Ok();
    }


    [HttpPost("foo2")]
    public async Task<IActionResult> PostFoo2([FromBody] Foo foo)
    {
        var producer = bufferQueue.GetProducer<Foo>("topic-foo2");
        await producer.ProduceAsync(foo);
        return Ok();
    }


    [HttpPost("bar")]
    public async Task<IActionResult> PostBar([FromBody] Bar bar)
    {
        var producer = bufferQueue.GetProducer<Bar>("topic-bar");
        await producer.ProduceAsync(bar);
        return Ok();
    }
}

BufferQueue 內(nèi)部設(shè)計(jì)概述

Topic 的隔離

BufferQueue 有以下的特性：

同一個(gè)數(shù)據(jù)類型下的不同 Topic 的 BufferQueue 互不干擾。

同一個(gè) Topic 下的不同數(shù)據(jù)類型的 BufferQueue 互不干擾。

這個(gè)特性是通過以下兩層接口設(shè)計(jì)實(shí)現(xiàn)的：

IBufferQueue：根據(jù) TopicName 和類型參數(shù) T 將請(qǐng)求轉(zhuǎn)發(fā)給具體的 IBufferQueue<T> 實(shí)現(xiàn)（借助 KeyedService 實(shí)現(xiàn)），其中參數(shù) T 代表 Buffer 所承載的數(shù)據(jù)實(shí)體的類型。

IBufferQueue<T>：具體的 BufferQueue 實(shí)現(xiàn)，負(fù)責(zé)管理 Topic 下的數(shù)據(jù)。屬于 Buffer 模塊的內(nèi)部實(shí)現(xiàn)，不對(duì)外暴露。