VK Cloud logo

Fluent Bit көмегімен логтерді объектілік схақтауға репликациялау

Fluent Bit көмегімен таратылған жүйелерден логтарды агрегациялау және VK Object Storage объекттік қоймасына репликациялауды конфигурациялауға болады. Логтер машиналардан жиналып, өңделеді және ұзақ мерзімді сақтау мен downstream-жүйелердің кейінгі талдауы үшін VK Object Storage бакетіне жіберіледі.

Мысал ретінде келесі деректер қолданылады:

  • Бакет атауы: fluent-bit-logs
  • Аккаунт аймағы: ru-msk (Мәскеу)
  • VK Object Storage эндпоинті: https://hb.ru-msk.vkcloud-storage.ru
  • Лог-файл жолы: /var/log/app/application.log

Дайындық қадамдары

  1. VK Object Storage сервисі үшін аккаунт жасаңыз, егер бұрын жасалмаса:

    1. VK Cloud жеке кабинетіне өтіңіз.

    2. Жобаны таңдаңыз.

    3. Object Storage → Аккаунтар бөліміне өтіңіз.

    4. Аккаунт қосу немесе Қосу түймесін басыңыз.

    5. Аккаунт атауын орнатыңыз.

    6. Жасау түймесін басыңыз.

    7. Ашылған терезеде қолжетімділік кілтінің идентификаторын (Access Key ID) және құпия кілтті (Secret Key) көшіріп сақтаңыз.

  2. fluent-bit-logs атауымен VK Object Storage бакетін жасаңыз.

  3. AWS CLI орнатылғанын және жасалған VK Object Storage аккаунтымен жұмыс істеуге конфигурацияланғанын тексеріңіз. Бұл жіберілген логтерді тексеру үшін қажет болады.

  4. Логтер жиналатын машинаға Fluent Bit орнатыңыз. Орнату нұсқаулары Fluent Bit ресми құжаттамасында қолжетімді.

1. Қолданушы деректерін қауіпсіз сақтауды конфигурациялаңыз

VK Object Storage-ға қолжетімділік үшін Fluent Bit агенті қолжетімділік кілтінің идентификаторын және құпия кілтті пайдаланады. Қолданушы деректерін конфигурациялық файлға тікелей көрсетпеңіз — орта айнымалыларын пайдаланыңыз.

  1. Орта айнымалылары бар файл жасаңыз, мысалы /etc/fluent-bit/s3-credentials.env:

    export S3_ACCESS_KEY_ID=<ACCESS_KEY_ID>export S3_SECRET_ACCESS_KEY=<SECRET_KEY>

    Мұнда:

    • <ACCESS_KEY_ID> — VK Object Storage аккаунтын жасағанда сақталған қолжетімділік кілтінің идентификаторы.
    • <SECRET_KEY> — VK Object Storage аккаунтын жасағанда сақталған құпия кілт.
  2. Қолданушы деректері бар файлға қолжетімділікті шектеңіз:

    chmod 600 /etc/fluent-bit/s3-credentials.env
  3. Fluent Bit іске қосылмай тұрып орта айнымалыларын жүктеуді конфигурациялаңыз. Егер Fluent Bit systemd плагині арқылы іске қосылса, юнит-файлға қосыңыз:

    [Service]EnvironmentFile=/etc/fluent-bit/s3-credentials.env

2. Fluent Bit конфигурациясын конфигурациялаңыз

Fluent Bit конфигурациясы үш негізгі секциядан тұрады: Input (логтер көзі), Filter (өңдеу) және Output (VK Object Storage-ға жіберу).

  1. /etc/fluent-bit/fluent-bit.conf файлын жасаңыз немесе өңдеңіз:

    [SERVICE]    Flush         5    Log_Level     info    storage.path  /var/log/flb-storage/    Parsers_File  /etc/fluent-bit/parsers.conf[INPUT]    Name              tail    Path              /var/log/app/application.log    Tag               app.logs    Refresh_Interval  5    Mem_Buf_Limit     50MB    Skip_Long_Lines   On[FILTER]    Name parser    Match app.logs    Key_Name log    Parser app_log_parser    Preserve_Key true    Reserve_Data true[OUTPUT]    Name            s3    Match           app.logs    region          ru-msk    bucket          fluent-bit-logs    endpoint_url    https://hb.ru-msk.vkcloud-storage.ru    access_key      ${S3_ACCESS_KEY_ID}    secret_key      ${S3_SECRET_ACCESS_KEY}    use_put_object  On    s3_key_format   /logs/%Y/%m/%d/%H/%M-%S-$UUID    total_file_size 50M    upload_timeout  10m

    Мұнда:

    • Name — қолданылатын плагин. tail плагинінің орнына journald-тан логтер жинау үшін systemd плагинін пайдалануға болады. Бұл жағдайда [INPUT] блогына қосымша параметрлерді қосу қажет.

    • Path — лог-файл жолы. Мысал үшін /var/log/app/application.log қолданылады.

    • Tag — логтер ағынын белгілеу үшін тег.

    • region — VK Object Storage аккаунтының аймақ коды. Мысал үшін ru-msk қолданылады.

    • bucket — логтер жіберілетін бакет атауы. Мысал үшін fluent-bit-logs қолданылады.

    • endpoint_url — VK Object Storage сервисінің домені, аккаунт аймағына сәйкес болуы тиіс:

      • https://hb.ru-msk.vkcloud-storage.ru — Мәскеу аймағы үшін;
      • https://hb.kz-ast.vkcloud-storage.ru — Қазақстан аймағы үшін.
    • access_key және secret_key — бұрын конфигурацияланған орта айнымалыларының мәндері.

    • s3_key_format — бакеттегі файл (объект кілті) атауының форматы.

  2. Парсер файлын жасаңыз /etc/fluent-bit/parsers.conf:

    [PARSER]    Name        app_log_parser    Format      json    Time_Key    timestamp    Time_Format %Y-%m-%dT%H:%M:%S.%L

3. Желі жоғалуын өңдеу үшін буферлеуді конфигурациялаңыз

Fluent Bit пен VK Object Storage арасындағы желілік байланыс жоғалғанда логтер жергілікті буферде сақталып, байланыс қалпына келтірілгеннен кейін жіберілуі тиіс. Бұл үшін буфер қоймасы ретінде файлдық жүйе қолданылады.

  1. [SERVICE] секциясында буфер қоймасының жолы көрсетілгенін тексеріңіз:

    [SERVICE]    storage.path  /var/log/flb-storage/
  2. [INPUT] секциясына storage.type параметрін қосыңыз:

    [INPUT]    Name              tail    Path              /var/log/app/application.log    Tag               app.logs    Refresh_Interval  5    Mem_Buf_Limit     50MB    Skip_Long_Lines   On    storage.type      filesystem

    Мұнда:

    • storage.type filesystem — жедел жад толғанда буферді дискіге жазуды қосады.
    • Mem_Buf_Limit — жедел жадты пайдалану лимитін орнатады; лимиттен асқанда деректер дискіге жазылады.
  3. [OUTPUT] секциясына қайта жіберу параметрлерін қосыңыз:

    [OUTPUT]    Name            s3    Match           app.logs    region          ru-msk    bucket          fluent-bit-logs    endpoint_url    https://hb.ru-msk.vkcloud-storage.ru    access_key      ${S3_ACCESS_KEY_ID}    secret_key      ${S3_SECRET_ACCESS_KEY}    use_put_object  On    s3_key_format   /logs/%Y/%m/%d/%H/%M-%S-$UUID    total_file_size 50M    upload_timeout  10m    Retry_Limit     5    storage.type    filesystem

    Мұнда:

    • Retry_Limit — қатеге қайта жіберу әрекеттерінің саны.
    • storage.type filesystem — шығыс ағынының деректерін буферлеу үшін файлдық жүйені пайдаланады.
  4. Буфер үшін директория жасап, құқықтарды орнатыңыз:

    mkdir -p /var/log/flb-storage/chown fluent:fluent /var/log/flb-storage/

4. Файлдарды атау форматын конфигурациялаңыз

Файлдарды атау форматы (key format) VK Object Storage бакетіндегі объектердің қалай аталатынын анықтайды. Ыңғайлы формат downstream-жүйелерге логтерді күн мен уақыт бойынша тиімді парсингтеу және сұрауға мүмкіндік береді.

[OUTPUT] секциясындағы s3_key_format параметрі файл атауының үлгісін орнатады. Үлгінің қолжетімді айнымалылары:

  • %Y — жыл
  • %m — ай
  • %d — күн
  • %H — сағат
  • %M — минут
  • %S — секунд
  • $UUID — файлдың бірегей идентификаторы
  • $TAG — логтер ағынының тегі

Формат мысалдары:

# Күн мен уақыт бойынша иерархиялық форматs3_key_format   /logs/%Y/%m/%d/%H/%M-%S-$UUID# Дереккөздер бойынша бөлу үшін тегі бар форматs3_key_format   /logs/$TAG/%Y/%m/%d/%H-%M-$UUID# Күні бар жазық форматs3_key_format   /logs/%Y%m%d-%H%M%S-$UUID

Мысал үшін күн мен уақыт бойынша директориялар құрылымын жасайтын /logs/%Y/%m/%d/%H/%M-%S-$UUID иерархиялық форматы қолданылады:

logs/  2025/    01/      15/        14-30-00-a1b2c3d4-e5f6-7890-abcd-ef1234567890        14-35-00-b2c3d4e5-f6a7-8901-bcde-f12345678901

5. Жұмыс қабілеттілігін тексеріңіз

  1. Fluent Bit іске қосыңыз немесе қайта іске қосыңыз:

    sudo systemctl restart fluent-bit
  2. Сервис қатесіз іске қосылғанын тексеріңіз:

    sudo systemctl status fluent-bit
  3. Fluent Bit логтерін қателердің бар-жоғын тексеру үшін қарап шығыңыз:

    journalctl -u fluent-bit -f --no-pager
  4. Лог-файлға тест жазбасын қосыңыз:

    echo '{"timestamp":"2025-01-15T14:30:00.000","level":"info","message":"Test log entry"}' >> /var/log/app/application.log
  5. Логтің VK Object Storage-ға жіберілуін күтіңіз. Жіберу уақыты Flush (әдепкі бойынша 5 секунд) және upload_timeout (мысал үшін — 10 минут) параметрлеріне байланысты.

  6. Объект бакетте пайда болғанын тексеріңіз:

    aws s3 ls s3://fluent-bit-logs/logs/ --recursive --endpoint-url https://hb.ru-msk.vkcloud-storage.ru
  7. (Қалауыңыз бойынша) Объектті жүктеп алып, оның мазмұнын тексеріңіз:

    aws s3 cp s3://fluent-bit-logs/logs/2025/01/15/14/30-00-a1b2c3d4-e5f6-7890-abcd-ef1234567890 - --endpoint-url https://hb.ru-msk.vkcloud-storage.ru

Қолданылмайтын ресурстарды жойыңыз

Жасалған ресурстар тарифтеленеді. Егер олар сізге енді қажет болмаса:

  1. fluent-bit-logs бакетінен объекттерді (лог-файлдарды) жойыңыз.

  2. fluent-bit-logs бакетін жойыңыз.

  3. Егер сервис енді қажет болмаса, Fluent Bit сервисін тоқтатыңыз:

    sudo systemctl stop fluent-bitsudo systemctl disable fluent-bit
  4. Қолданушы деректері және буфері бар файлдарды жойыңыз:

    rm -f /etc/fluent-bit/s3-credentials.envrm -rf /var/log/flb-storage/
Мақала пайдалы болды ма?