目录

简介

kafka-logger 是一个插件，可用作ngx_lua nginx 模块的 Kafka 客户端驱动程序。

它可以将接口请求日志以 JSON 的形式推送给外部 Kafka 集群。如果在短时间内没有收到日志数据，请放心，它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

有关 Apache APISIX 中 Batch-Processor 的更多信息，请参考。 Batch-Processor

属性

属性名称必选项描述
broker_list必须要推送的 kafka 的 broker 列表。
kafka_topic必须要推送的 topic。
timeout可选发送数据的超时时间。
key必须用于加密消息的密钥。
name必须batch processor 的唯一标识。
batch_max_size可选批量发送的消息最大数量，当到达该阀值后会立即发送消息
inactive_timeout可选不活跃时间，如果在该时间范围内都没有消息写入缓冲区，那么会立即发送到 kafka。默认值： 5(s)
buffer_duration可选缓冲周期，消息停留在缓冲区的最大时间，当超过该时间时会立即发送到 kafka。默认值： 60(s)
max_retry_count可选最大重试次数。默认值： 0
retry_delay可选重试间隔。默认值： 1(s)

工作原理

消息将首先写入缓冲区。 当缓冲区超过batch_max_size时，它将发送到kafka服务器， 或每个buffer_duration刷新缓冲区。

如果成功，则返回“ true”。 如果出现错误，则返回“ nil”，并带有描述错误的字符串（buffer overflow）。

Broker 列表

插件支持一次推送到多个 Broker，如下配置：

{
    "127.0.0.1":9092,
    "127.0.0.1":9093
}

如何启用

  1. 为特定路由启用 kafka-logger 插件。
curl http://127.0.0.1:9080/apisix/admin/routes/5 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "plugins": {
       "kafka-logger": {
           "broker_list" :
             {
               "127.0.0.1":9092
             },
           "kafka_topic" : "test2",
           "key" : "key1"
       }
    },
    "upstream": {
       "nodes": {
           "127.0.0.1:1980": 1
       },
       "type": "roundrobin"
    },
    "uri": "/hello"
}'

测试插件

  • 成功:
$ curl -i http://127.0.0.1:9080/hello
HTTP/1.1 200 OK
...
hello, world

禁用插件

当您要禁用kafka-logger插件时，这很简单，您可以在插件配置中删除相应的json配置，无需重新启动服务，它将立即生效：

$ curl http://127.0.0.1:2379/apisix/admin/routes/1  -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d value='
{
    "methods": ["GET"],
    "uri": "/hello",
    "plugins": {},
    "upstream": {
        "type": "roundrobin",
        "nodes": {
            "127.0.0.1:1980": 1
        }
    }
}'