Fluent Bit көмегімен логтерді объектілік схақтауға репликациялау
Fluent Bit көмегімен таратылған жүйелерден логтарды агрегациялау және VK Object Storage объекттік қоймасына репликациялауды конфигурациялауға болады. Логтер машиналардан жиналып, өңделеді және ұзақ мерзімді сақтау мен downstream-жүйелердің кейінгі талдауы үшін VK Object Storage бакетіне жіберіледі.
Мысал ретінде келесі деректер қолданылады:
- Бакет атауы:
fluent-bit-logs - Аккаунт аймағы:
ru-msk(Мәскеу) - VK Object Storage эндпоинті:
https://hb.ru-msk.vkcloud-storage.ru - Лог-файл жолы:
/var/log/app/application.log
-
VK Object Storage сервисі үшін аккаунт жасаңыз, егер бұрын жасалмаса:
-
VK Cloud жеке кабинетіне өтіңіз.
-
Жобаны таңдаңыз.
-
Object Storage → Аккаунтар бөліміне өтіңіз.
-
Аккаунт қосу немесе Қосу түймесін басыңыз.
-
Аккаунт атауын орнатыңыз.
-
Жасау түймесін басыңыз.
-
Ашылған терезеде қолжетімділік кілтінің идентификаторын (Access Key ID) және құпия кілтті (Secret Key) көшіріп сақтаңыз.
-
-
fluent-bit-logsатауымен VK Object Storage бакетін жасаңыз. -
AWS CLI орнатылғанын және жасалған VK Object Storage аккаунтымен жұмыс істеуге конфигурацияланғанын тексеріңіз. Бұл жіберілген логтерді тексеру үшін қажет болады.
-
Логтер жиналатын машинаға Fluent Bit орнатыңыз. Орнату нұсқаулары Fluent Bit ресми құжаттамасында қолжетімді.
VK Object Storage-ға қолжетімділік үшін Fluent Bit агенті қолжетімділік кілтінің идентификаторын және құпия кілтті пайдаланады. Қолданушы деректерін конфигурациялық файлға тікелей көрсетпеңіз — орта айнымалыларын пайдаланыңыз.
-
Орта айнымалылары бар файл жасаңыз, мысалы
/etc/fluent-bit/s3-credentials.env:export S3_ACCESS_KEY_ID=<ACCESS_KEY_ID>export S3_SECRET_ACCESS_KEY=<SECRET_KEY>Мұнда:
<ACCESS_KEY_ID>— VK Object Storage аккаунтын жасағанда сақталған қолжетімділік кілтінің идентификаторы.<SECRET_KEY>— VK Object Storage аккаунтын жасағанда сақталған құпия кілт.
-
Қолданушы деректері бар файлға қолжетімділікті шектеңіз:
chmod 600 /etc/fluent-bit/s3-credentials.env -
Fluent Bit іске қосылмай тұрып орта айнымалыларын жүктеуді конфигурациялаңыз. Егер Fluent Bit systemd плагині арқылы іске қосылса, юнит-файлға қосыңыз:
[Service]EnvironmentFile=/etc/fluent-bit/s3-credentials.env
Fluent Bit конфигурациясы үш негізгі секциядан тұрады: Input (логтер көзі), Filter (өңдеу) және Output (VK Object Storage-ға жіберу).
-
/etc/fluent-bit/fluent-bit.confфайлын жасаңыз немесе өңдеңіз:[SERVICE]Flush 5Log_Level infostorage.path /var/log/flb-storage/Parsers_File /etc/fluent-bit/parsers.conf[INPUT]Name tailPath /var/log/app/application.logTag app.logsRefresh_Interval 5Mem_Buf_Limit 50MBSkip_Long_Lines On[FILTER]Name parserMatch app.logsKey_Name logParser app_log_parserPreserve_Key trueReserve_Data true[OUTPUT]Name s3Match app.logsregion ru-mskbucket fluent-bit-logsendpoint_url https://hb.ru-msk.vkcloud-storage.ruaccess_key ${S3_ACCESS_KEY_ID}secret_key ${S3_SECRET_ACCESS_KEY}use_put_object Ons3_key_format /logs/%Y/%m/%d/%H/%M-%S-$UUIDtotal_file_size 50Mupload_timeout 10mМұнда:
-
Name— қолданылатын плагин.tailплагинінің орнына journald-тан логтер жинау үшінsystemdплагинін пайдалануға болады. Бұл жағдайда[INPUT]блогына қосымша параметрлерді қосу қажет. -
Path— лог-файл жолы. Мысал үшін/var/log/app/application.logқолданылады. -
Tag— логтер ағынын белгілеу үшін тег. -
region— VK Object Storage аккаунтының аймақ коды. Мысал үшінru-mskқолданылады. -
bucket— логтер жіберілетін бакет атауы. Мысал үшінfluent-bit-logsқолданылады. -
endpoint_url— VK Object Storage сервисінің домені, аккаунт аймағына сәйкес болуы тиіс:https://hb.ru-msk.vkcloud-storage.ru— Мәскеу аймағы үшін;https://hb.kz-ast.vkcloud-storage.ru— Қазақстан аймағы үшін.
-
access_keyжәнеsecret_key— бұрын конфигурацияланған орта айнымалыларының мәндері. -
s3_key_format— бакеттегі файл (объект кілті) атауының форматы.
-
-
Парсер файлын жасаңыз
/etc/fluent-bit/parsers.conf:[PARSER]Name app_log_parserFormat jsonTime_Key timestampTime_Format %Y-%m-%dT%H:%M:%S.%L
Fluent Bit пен VK Object Storage арасындағы желілік байланыс жоғалғанда логтер жергілікті буферде сақталып, байланыс қалпына келтірілгеннен кейін жіберілуі тиіс. Бұл үшін буфер қоймасы ретінде файлдық жүйе қолданылады.
-
[SERVICE]секциясында буфер қоймасының жолы көрсетілгенін тексеріңіз:[SERVICE]storage.path /var/log/flb-storage/ -
[INPUT]секциясынаstorage.typeпараметрін қосыңыз:[INPUT]Name tailPath /var/log/app/application.logTag app.logsRefresh_Interval 5Mem_Buf_Limit 50MBSkip_Long_Lines Onstorage.type filesystemМұнда:
storage.type filesystem— жедел жад толғанда буферді дискіге жазуды қосады.Mem_Buf_Limit— жедел жадты пайдалану лимитін орнатады; лимиттен асқанда деректер дискіге жазылады.
-
[OUTPUT]секциясына қайта жіберу параметрлерін қосыңыз:[OUTPUT]Name s3Match app.logsregion ru-mskbucket fluent-bit-logsendpoint_url https://hb.ru-msk.vkcloud-storage.ruaccess_key ${S3_ACCESS_KEY_ID}secret_key ${S3_SECRET_ACCESS_KEY}use_put_object Ons3_key_format /logs/%Y/%m/%d/%H/%M-%S-$UUIDtotal_file_size 50Mupload_timeout 10mRetry_Limit 5storage.type filesystemМұнда:
Retry_Limit— қатеге қайта жіберу әрекеттерінің саны.storage.type filesystem— шығыс ағынының деректерін буферлеу үшін файлдық жүйені пайдаланады.
-
Буфер үшін директория жасап, құқықтарды орнатыңыз:
mkdir -p /var/log/flb-storage/chown fluent:fluent /var/log/flb-storage/
Файлдарды атау форматы (key format) VK Object Storage бакетіндегі объектердің қалай аталатынын анықтайды. Ыңғайлы формат downstream-жүйелерге логтерді күн мен уақыт бойынша тиімді парсингтеу және сұрауға мүмкіндік береді.
[OUTPUT] секциясындағы s3_key_format параметрі файл атауының үлгісін орнатады. Үлгінің қолжетімді айнымалылары:
%Y— жыл%m— ай%d— күн%H— сағат%M— минут%S— секунд$UUID— файлдың бірегей идентификаторы$TAG— логтер ағынының тегі
Формат мысалдары:
# Күн мен уақыт бойынша иерархиялық форматs3_key_format /logs/%Y/%m/%d/%H/%M-%S-$UUID# Дереккөздер бойынша бөлу үшін тегі бар форматs3_key_format /logs/$TAG/%Y/%m/%d/%H-%M-$UUID# Күні бар жазық форматs3_key_format /logs/%Y%m%d-%H%M%S-$UUID
Мысал үшін күн мен уақыт бойынша директориялар құрылымын жасайтын /logs/%Y/%m/%d/%H/%M-%S-$UUID иерархиялық форматы қолданылады:
logs/2025/01/15/14-30-00-a1b2c3d4-e5f6-7890-abcd-ef123456789014-35-00-b2c3d4e5-f6a7-8901-bcde-f12345678901
-
Fluent Bit іске қосыңыз немесе қайта іске қосыңыз:
sudo systemctl restart fluent-bit -
Сервис қатесіз іске қосылғанын тексеріңіз:
sudo systemctl status fluent-bit -
Fluent Bit логтерін қателердің бар-жоғын тексеру үшін қарап шығыңыз:
journalctl -u fluent-bit -f --no-pager -
Лог-файлға тест жазбасын қосыңыз:
echo '{"timestamp":"2025-01-15T14:30:00.000","level":"info","message":"Test log entry"}' >> /var/log/app/application.log -
Логтің VK Object Storage-ға жіберілуін күтіңіз. Жіберу уақыты
Flush(әдепкі бойынша 5 секунд) жәнеupload_timeout(мысал үшін — 10 минут) параметрлеріне байланысты. -
Объект бакетте пайда болғанын тексеріңіз:
aws s3 ls s3://fluent-bit-logs/logs/ --recursive --endpoint-url https://hb.ru-msk.vkcloud-storage.ru -
(Қалауыңыз бойынша) Объектті жүктеп алып, оның мазмұнын тексеріңіз:
aws s3 cp s3://fluent-bit-logs/logs/2025/01/15/14/30-00-a1b2c3d4-e5f6-7890-abcd-ef1234567890 - --endpoint-url https://hb.ru-msk.vkcloud-storage.ru
Жасалған ресурстар тарифтеленеді. Егер олар сізге енді қажет болмаса:
-
fluent-bit-logsбакетінен объекттерді (лог-файлдарды) жойыңыз. -
fluent-bit-logsбакетін жойыңыз. -
Егер сервис енді қажет болмаса, Fluent Bit сервисін тоқтатыңыз:
sudo systemctl stop fluent-bitsudo systemctl disable fluent-bit -
Қолданушы деректері және буфері бар файлдарды жойыңыз:
rm -f /etc/fluent-bit/s3-credentials.envrm -rf /var/log/flb-storage/