Бірінші буын кластерлеріндегі Cloud Logging (logaas-integration) үшін Fluent Bit

Дайындық қадамдары

Аддонды орнату үшін жеткілікті ресурстарыңыз бар екеніне көз жеткізу мақсатында оның жүйелік талаптарымен танысыңыз.
(Қосымша) worker-түйіндер топтарын қолмен масштабтауды орындаңыз немесе автоматты масштабтауды баптаңыз.
Жобада Cloud Logging сервисін қосыңыз, егер бұл әлі жасалмаған болса. Ол үшін техникалық қолдау қызметіне хабарласыңыз.

Дайындық қадамдары

Аддон үшін орнатудың бірнеше нұсқасы қолжетімді:

стандартты орнату;
жылдам орнату.

Таңдалған орнату нұсқасына қарамастан, аддон кластердің барлық тораптарына, соның ішінде master-тораптарға DaemonSet түрінде орнатылады.

Стандартты орнату

Жылдам орнату

Аддонды орнатыңыз:
Жеке кабинет
Terraform
Өтіңіз VK Cloud жеке кабинетіне.

Қажетті кластер орналасқан жобаны таңдаңыз.

Контейнерлер → Кластерлер Kubernetes бөліміне өтіңіз.

Қажетті кластердің атауын басыңыз.

Аддондар қойындысына өтіңіз.

Егер кластерде орнатылған аддондар бұрыннан бар болса, Аддон қосу түймесін басыңыз.

logaas-integration аддонының карточкасындағы Орнату түймесін басыңыз.

Ашылмалы тізімнен аддонның қажетті нұсқасын таңдаңыз.

Қажет болса, мыналарды өңдеңіз:

таңдалған нұсқаны;

қолданба атауын;

аддон орнатылатын атаулар кеңістігінің атауын;

аддонды баптау кодын.

Аддонды орнату түймесін басыңыз.

Аддонды кластерге орнату басталады. Бұл процесс ұзақ уақыт алуы мүмкін.

Егер бұл әлі жасалмаған болса, Terraform орнатып, ортаны баптаңыз.

Кластерді сипаттайтын Terraform конфигурациялық файлдарыңызға мыналарды қосыңыз:

vkcs_kubernetes_addon ресурсын;

vkcs_kubernetes_addon деректер көзін;

vkcs_kubernetes_addons деректер көзін.

Қажет болса, сілтемелерде келтірілген ресурстар мен көздерді пайдалану мысалдарын өзіңіздің міндетіңізге және Terraform конфигурацияңызға бейімдеңіз. Мысалы, vkcs_kubernetes_addon ресурсын өзгерту арқылы аддонды баптау кодын өңдей аласыз.

Конфигурациялық файлдардың дұрыс екенін және қажетті өзгерістерді қамтитынын тексеріңіз:

terraform validate && terraform plan

Өзгерістерді қолданыңыз:

terraform apply
(Опционалды түрде) аддонның жұмысқа қабілетті екеніне көз жеткізу үшін Cloud Logging сервисінде логтарды қараңыз.

Орнату кезінде аддонды баптау кодын өңдеу

Аддон кодын өңдеу стандартты орнатуға қолданылады.

Өрістердің сипаттамасымен бірге аддонды баптаудың толық коды мына жерде қолжетімді:

жеке кабинетте;
егер Terraform пайдаланылса, vkcs_kubernetes_addon деректер көзіндегі configuration_values атрибутында.

Сондай-ақ GitHub сайтында осы аддонның негізі болып табылатын Fluent Bit баптау коды қолжетімді.

pipeline пайплайны және конфигурация файлының баптаулары туралы толығырақ Fluent Bit ресми құжаттамасынан оқыңыз.

Әртүрлі критикалық деңгейлермен жұмыс істеу кезінде аддонның мінез-құлқын дәл баптау

Логтарды Cloud Logging сервисіне жіберер алдында аддон келесі әрекеттерді орындайды:

Логтардағы жекелеген жазбалардың критикалық деңгейін (severity level) анықтайды. Бұл Fluent Bit парсерлері (parsers) арқылы жасалады.

Қолдау көрсетілетін деңгейлер кестесі
Логтарға қосымша метадеректерді қосады, бұл Cloud Containers кластерлерінің логтарымен жұмысты жеңілдетеді (мысалы, Cloud Logging ішінде қажетті логтарды іздеуді). Ол үшін Lua тілінде жазылған арнайы Fluent Bit сүзгілері (filters) қолданылады. Бұл метадеректер, соның ішінде, журналға жазылатын оқиғалардың критикалық деңгейін қамтиды.

Логтар көзін анықтауға арналған метадеректер туралы толығырақ

Логтар туралы қосымша ақпараты бар басқа метадеректер туралы толығырақ

Критикалық деңгейлермен жұмыс істеу кезінде аддонның мінез-құлқын дәл баптауды келесілерді пайдаланып орындай аласыз:

Пайдаланушы сүзгілері

Пайдаланушы үлгілері

Cloud Logging ішіне тек берілген ең төменгі критикалық деңгейі бар логтар түсуі үшін, аддон кодында customFilter пайдаланушы сүзгілері үшін бір немесе бірнеше ережені беріңіз. Бұл ережелерді белгілі бір атаулар кеңістігі деңгейінде және атаулар кеңістігіндегі белгілі бір подтар деңгейінде баптауға болады:


customFilter:  - namespace: <атаулар кеңістігінің атауы>    rules: # Атаулар кеңістігі үшін бір ереже      - min_level: <ең төменгі критикалық деңгейдің әріптік белгіленуі>  - namespace: <басқа атаулар кеңістігінің атауы>    rules: # Атаулар кеңістігіндегі подтар үшін бірнеше ереже      - podprefix: <под атауының префиксі>        min_level: <ең төменгі критикалық деңгейдің әріптік белгіленуі>      - podprefix: <басқа под атауының префиксі>        min_level: <ең төменгі критикалық деңгейдің әріптік белгіленуі>  - namespace: <басқа атаулар кеңістігінің атауы>    rules: # Атаулар кеңістігіне арналған ереже мен подтарға арналған ережелердің комбинациясы      - min_level: <ең төменгі критикалық деңгейдің әріптік белгіленуі>      - podprefix: <под атауының префиксі>        min_level: <ең төменгі критикалық деңгейдің әріптік белгіленуі>      - podprefix: <под атауының префиксі>        min_level: <ең төменгі критикалық деңгейдің әріптік белгіленуі>

Бір жұмыс жүктемесіне (workload) жататын бірнеше реплика-подтан логтар алуға болу үшін, подтар үшін дәл префикс бапталады.

Мысалдар

Стандартты аддон механизмдерін айналып өтіп, логтар үшін қажетті критикалық деңгейді орнату үшін, аддон кодында customRegexp пайдаланушы үлгілері үшін бір немесе бірнеше ережені беріңіз. Егер логтағы жазбаның бір бөлігі берілген Lua үлгісімен (pattern) сәйкес келсе, онда осы жазбаға ережеде берілген критикалық деңгей тағайындалады. Егер сәйкестіктер болмаса, жазбаға Fluent Bit парсерлері арқылы анықталған критикалық деңгей тағайындалады. Бұл аддонда қолданылатын деңгейді автоматты түрде анықтау механизмі белгілі бір қолданбаның логтар деңгейін қате анықтайтын болса, пайдалы болуы мүмкін.

Бұл ережелер белгілі бір атаулар кеңістігі деңгейінде және атаулар кеңістігіндегі белгілі бір подтар деңгейінде әрекет етеді:


customRegexp:  - namespace: <атаулар кеңістігінің атауы>    rules:    - levels: # Атаулар кеңістігі үшін бір ереже: бірнеше деңгейді баптау      - level: <қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"      - level: <басқа қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"  - namespace: <басқа атаулар кеңістігінің атауы>    rules: # Атаулар кеңістігіндегі подтар үшін бірнеше ереже: бірнеше деңгейді баптау    - podprefix: <под атауының префиксі> # Подтар үшін бірінші ереже      levels:      - level: <қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"      - level: <басқа қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"    - podprefix: <басқа под атауының префиксі> # Подтар үшін екінші ереже      levels:      - level: <қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"  - namespace: <басқа атаулар кеңістігінің атауы>    rules:    - levels: # Атаулар кеңістігі үшін бірінші ереже: бірнеше деңгейді баптау      - level: <қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"      - level: <басқа қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"    - podprefix: <под атауының префиксі> # Подтар үшін екінші ереже: бірнеше деңгейді баптау      levels:      - level: <қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"      - level: <басқа қажетті критикалық деңгейдің әріптік белгіленуі>        reg_exp: "<Lua үлгісі>"

Мысалдар

Мақала пайдалы болды ма?

Мазмұны
Дайындық қадамдары
Дайындық қадамдары
Орнату кезінде аддонды баптау кодын өңдеу
Мақала пайдалы болды ма?