Apache Kafka орнату
VK Cloud бұлтында Apache Kafka кластерін жеке виртуалды машиналарда (ВМ) орнатуға болады. Кластер заманауи кірістірілген метадеректерді басқару жүйесін (KRaft) пайдаланады және ZooKeeper сервисінен тәуелсіз.
Kafka кластеріндегі коммуникация қауіпсіздігін және рұқсаттарды басқаруды қамтамасыз ету үшін кешенді тәсіл қолданылады: клиент пен брокер арасындағы барлық деректер TLS хаттамасы арқылы шифрланған күйде беріледі, ал пайдаланушылардың растығы SCRAM-SHA-512 алгоритмі арқылы тексеріледі. Қауіптерді азайту үшін рұқсаттар бөлінген: әкімшіде, қосымшаларда және мониторинг жүйелерінде әртүрлі артықшылық деңгейлері бар өз оқшауланған тіркелгілері бар.
Нұсқаулықтың барлық қадамдарын орындаған соң сіз:
- Apache Kafka кластерін орнатасыз.
- Клиенттің кластерге қосылуын баптап, тексересіз.
- Топик құрып, сынақ хабарламаларын жібересіз.
- Kafbat UI веб-консолімен танысасыз.
- Түйіндерге SSH арқылы қосылып, мониторингті баптайсыз.
Apache Kafka сервисін пайдалана отырып, сіз Marketplace VK Cloud және Apache Kafka лицензиялық келісімдеріне келісесіз.
-
VK Cloud бұлтында тіркеліңіз және жеке кабинетке өтіңіз.
-
Интернеттен сервиске қолжетімділік алу үшін желіні баптаңыз:
- Мұны бұрын жасамаған болсаңыз, интернетке қолжетімділігі бар желі құрыңыз.
- Сервис орнатылатын ВМ-лар орналасатын поджелі баптауларында Приватный DNS опциясын өшіріңіз.
-
VK Cloud бұлтының жеке кабинетінде Қосымшалар дүкені бөліміне өтіңіз.
-
Apache Kafka сервис карточкасын басыңыз.
Егер бетте Apache Kafka сервис карточкасы болмаса, Барлық шешімдер түймесін басып, каталогтан карточканы тауып алыңыз.
-
Тарифтік жоспарлар қойындысында қызметтің нұсқасын тізімнен таңдаңыз.
-
Қолайлы тарифті таңдаңыз:
- Бір түйін — сервис бір ВМ-да орнатылады, репликация коэффициенті — 1. Қарапайым жобаларды әзірлеуге, демонстрацияларға немесе тестілеуге жарамды.
- Кластер — сервис үш, бес немесе жеті түйінде орнатылады, репликация коэффициенті — 3. Алғашқы 3 түйін KRaft кворумын құрайды, қалғандары брокер рөлінде жұмыс істейді. Түйіндер
MS1,ME1жәнеPA2қолжетімділік аймақтарына бөлінеді. Жоғары қолжетімділік маңызды нақты бизнес-міндеттерді шешуге жарамды.
-
Сервис орнатылатын ВМ-лардың параметрлерін көрсетіңіз:
- Түйіндер саны (тек Кластер тарифі үшін): 3, 5 немесе 7 түйінді таңдаңыз.
- Машина түрі: тізімнен ВМ конфигурациясын таңдаңыз —
2-8-ден16-64-ке дейін, мұндағы бірінші сан ядролар санын, екіншісі — гигабайтпен жад көлемін білдіреді. Өндірістік жүктемелер үшін 4 vCPU және 16 ГБ RAM-нан бастап таңдаңыз. - Желі: бұрын құрылған интернетке қолжетімділігі бар желіні және Приватный DNS опциясы өшірілген поджелі таңдаңыз.
-
Жүйелік диск пен деректер дискінің параметрлерін көрсетіңіз:
- Диск өлшемі: ВМ дискінің қажетті өлшемін гигабайтпен көрсетіңіз.
- Диск түрі: диск түрлерінің бірін таңдаңыз —
HDD,SSDнемесеHigh-IOPS SSD.
-
Келесі қадам түймесін басыңыз.
-
Рұқсат беру параметрлерін баптаңыз:
- Клиенттер желісі: брокерлерді тек таңдалған поджеліде ғана ашу үшін
subnetмәнін көрсетіңіз немесе қосымшалар жұмыс істейтін желі диапазонын көрсетіңіз. Метрикалар құпиясөзсіз беріледі, сондықтан диапазонды мейілінше тарылтқан дұрыс. - Интернеттен рұқсат: интернеттен сервиске қолжетімділік алу үшін опцияны қосыңыз. Бұл жағдайда әрбір түйін жалпыға қолжетімді мекенжай мен домен атауын алады. Қосу үшін
9094порты пайдаланылады. - Веб-консоль: топиктерді, хабарламалар мен тұтынушылар топтарын көру үшін браузердегі бетке қолжетімділікті қосыңыз. Бұл параметрді орнатқаннан кейін өзгертуге болады.
- Консольден басқару (тек Веб-консоль опциясы қосылған жағдайда): топиктерді консольден басқаруға рұқсат беру үшін опцияны қосыңыз. Режимді орнатқаннан кейін өзгертуге болады.
- Консольдің жалпы мекенжайы (тек Кластер тарифі үшін): консольге жүктемені теңгеріш арқылы жалпы мекенжай бойынша қол жеткізу үшін опцияны қосыңыз. Опция өшірулі болса, консольдің мекенжайлары консолі бар түйіндер санындай болады. Әрбір консоль бүкіл кластерді көреді. Бұл параметрді тек сервис орнату кезінде көрсетуге болады, кейін оны өзгерту мүмкін емес.
- Консольдің домені мен сертификаты: консоль
xaas.msk.bizmrg.comаймағында домен атауын, сенімді сертификат пен жалпыға қолжетімді мекенжай алғаны үшін опцияны қосыңыз. Кластер жоспарында Консольдің жалпы мекенжайы опциясы қосылып қолданылады. Доменсіз консоль клиенттер желісінен қолжетімді және ішкі сертификаттау орталығының сертификатымен қорғалған.
- Клиенттер желісі: брокерлерді тек таңдалған поджеліде ғана ашу үшін
-
Келесі қадам түймесін басыңыз.
-
Kafka параметрлері қадамында Kafka сервисінің жұмысына қажетті параметрлерді көрсетіңіз немесе әдепкі мәндерді қалдырыңыз. Олар жұмысты бастауға жарамды.
-
Келесі қадам түймесін басыңыз.
-
Сервис орнатуға арналған инфрақұрылымның құнымен танысип, Тарифті қосу түймесін басыңыз.
Бұлттық инфрақұрылымды орнату басталады және сервис қасиеттерінің беті ашылады. Процесс статусі Қосымшалар дүкені → Менің сервистерім бөлімінде де көрсетіледі.
Сәтті орнатудан кейін VK Cloud бұлтындағы тіркелгіңізге байланған поштаға хабарламалар келеді:
- VK Cloud жеке кабинетіндегі сервис инстансына сілтеме бар хабарлама;
- сервиске рұқсат алу деректеріне бір реттік сілтеме бар хат.
-
Хаттағы бір реттік сілтеме бойынша өтіп, сервиске рұқсат алу деректерін сақтаңыз:
bootstrapServers— клиенттерді қосу үшін брокерлердің мекенжайлары. Мекенжайлар параметрде үтірмен, бос орынсыз көрсетілген.externalBootstrapServers— Интернеттен рұқсат опциясы қосылған жағдайда интернеттен қосу үшін брокерлердің мекенжайлары.clusterCA— кластердің сертификаттау орталығының сертификаты.adminUser,adminPassword— әкімшінің тіркелгісі.appUser,appPassword— қосымшаларға арналған тіркелгі (бар топиктерден оқу және оларға жазу).monitoringUser,monitoringPassword— мониторингке арналған тіркелгі (тек метадеректерді оқу).sshUser— SSH-рұқсат үшін пайдаланушы.sshKey— жеке SSH-кілт.consoleURL— веб-консольдің мекенжайы.consoleUser,consolePassword— веб-консольдің тіркелгі деректері.
-
clusterCAсертификатынkafka-ca.pemфайлына сақтаңыз. -
Сертификатты клиенттің сенімділік қоймасына қосыңыз:
keytool -import -alias kafka-ca -file kafka-ca.pem \-keystore kafka-truststore.p12 -storetype PKCS12 \-storepass <ҚҰПИЯСӨЗ> -nopromptМұнда
<ҚҰПИЯСӨЗ>— сіз өзіңіз көрсететін сенімділік қоймасының құпиясөзі. -
Kafka клиенттік кітапханасының нұсқасы
2.1-ден төмен емес екенін тексеріңіз. -
Клиенттің қосылым баптаулары бар
client.propertiesфайлын құрыңыз:security.protocol=SASL_SSLsasl.mechanism=SCRAM-SHA-512sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \username="<ҚОСЫМША_ЛОГИНІ>" \password="<ҚОСЫМША_ҚҰПИЯСӨЗІ>";ssl.truststore.location=kafka-truststore.p12ssl.truststore.password=<ҚҰПИЯСӨЗ>ssl.truststore.type=PKCS12Мұнда:
<ҚОСЫМША_ЛОГИНІ>,<ҚОСЫМША_ҚҰПИЯСӨЗІ>— хаттағыappUserжәнеappPasswordқосымша тіркелгі деректері.<ҚҰПИЯСӨЗ>— алдыңғы қадамда көрсетілген сенімділік қоймасының құпиясөзі.
-
Кластерге құрылған қосылымды тексеріңіз:
kafka-broker-api-versions.sh --bootstrap-server <БРОКЕР_МЕКЕНЖАЙЛАРЫ> --command-config client.propertiesМұнда:
<БРОКЕР_МЕКЕНЖАЙЛАРЫ>— хаттағыbootstrapServersпараметрінің мәндері. Мекенжайлар бірнешеу болса, олар үтірмен, бос орынсыз көрсетіледі.client.properties— клиенттің қосылым баптаулары бар құрылған файл.
Егер команда қолдау көрсетілетін API-нұсқалар тізімін қайатарса, қосылым дұрыс бапталған.
appUser тіркелгісі бар топиктерден оқи алады және оларға жаза алады, бірақ оларды құра алмайды. Топик құру үшін әкімші тіркелгісін пайдаланыңыз.
-
admin.propertiesфайлын құрып, оғанclient.propertiesфайлының мазмұнын көшіріңіз,sasl.jaas.configпараметріндегі логин мен құпиясөз мәндерін хаттағыadminUserжәнеadminPasswordмәндеріне ауыстырыңыз. -
Топик құрыңыз:
kafka-topics.sh --bootstrap-server <БРОКЕР_МЕКЕНЖАЙЛАРЫ> --command-config admin.properties --create --topic <ТОПИК_АТАУЫ> --partitions 6Мұнда:
<БРОКЕР_МЕКЕНЖАЙЛАРЫ>— хаттағыbootstrapServersпараметрінің мәндері. Мекенжайлар бірнешеу болса, олар үтірмен, бос орынсыз көрсетіледі.admin.properties— әкімшінің қосылым баптаулары бар құрылған файл.<ТОПИК_АТАУЫ>— сіздің топигіңіздің атауы. Әрі қарай мысал ретіндеordersатауы қолданылады.6— партициялар саны; брокерлер санына еселік және қормен мәнді көрсетіңіз.
-
Топикке сынақ хабарламаларын жіберіңіз
orders:kafka-console-producer.sh --bootstrap-server <БРОКЕР_МЕКЕНЖАЙЛАРЫ> --producer.config client.properties --topic ordersМұнда:
<БРОКЕР_МЕКЕНЖАЙЛАРЫ>— хаттағыbootstrapServersпараметрінің мәндері. Мекенжайлар бірнешеу болса, олар үтірмен, бос орынсыз көрсетіледі.client.properties— клиенттің қосылым баптаулары бар құрылған файл.
Бірнеше хабарлама енгізіңіз, әрқайсысы жаңа жолдан. Аяқтау үшін
Ctrl+Cбасыңыз. -
ordersтопигінен хабарламаларды оқыңыз:kafka-console-consumer.sh --bootstrap-server <БРОКЕР_МЕКЕНЖАЙЛАРЫ> --consumer.config client.properties --topic orders --from-beginning
Егер сервис орнату кезінде Веб-консоль опциясын қоссаңыз, сервиске Kafbat UI веб-консолі арқылы қол жеткізуге болады. Оны тестілеңіз:
- Хаттағы
consoleURLмекенжайы бойынша веб-консольге өтіңіз. - Авторизация үшін хаттағы
consoleUserжәнеconsolePasswordтіркелгі деректерін көрсетіңіз.
Тариф конфигурациясының шебері арқылы деректер дискінің өлшемін өзгертуге болмайды, бірақ орнатқаннан кейін оны қолмен ұлғайтуға болады.
Ол үшін <id>-kafka-data-N атауы бар дискіні таңдаңыз, мұнда <id> — инстанс идентификаторы, N — түйін нөмірі. Өзгерткеннен кейін ВМ қайта жүктеу қажет. Кластерде түйіндерді бірден қайта жүктеңіз.
Веб-консольде Kafka кластеріңіздің брокерлерінің жұмысының ағымдағы көрсеткіштері графиктер түрінде көрінеді. Метрикалардың өзгеру тарихын сақтау және хабарландыруларды баптау үшін Apache Kafka сервисіне өзіңіздің мониторинг жүйеңізді қосыңыз.
Брокер мен түйін метрикалары Prometheus форматында 9404 және 9100 порттарында беріледі және клиенттер желісінен қолжетімді.
Метрикаларды жинауды баптау үшін:
-
Түйінге және брокерге SSH арқылы қолжетімділікті баптаңыз:
-
Хаттағы SSH-кілтті
~/.ssh/kafka.pemфайлына сақтаңыз. -
Файлға рұқсаттарды орнатыңыз:
chmod 600 ~/.ssh/kafka.pem -
Орнатылған Apache Kafka сервисінің түйініне қосылыңыз:
ssh -i ~/.ssh/kafka.pem almalinux@<ТҮЙІН_МЕКЕНЖАЙЫ>Мұнда
<ТҮЙІН_МЕКЕНЖАЙЫ>— хаттағыbootstrapServersпараметріндегі сізге қажетті түйіннің IP-мекенжайы.
Жүйеге кіргеннен кейін Kafka басқару утилиталарының барлығы
/opt/kafka/binдиректориясында орналасқан. Олар, мысалы, деректер дискіндегі бос орын туралы ақпарат жинау үшін қажет болуы мүмкін. -
-
Түйіннен деректер жинау үшін өзіңіздің мониторинг жүйеңізді баптаңыз. Мысалы:
curl -s http://<ТҮЙІН_МЕКЕНЖАЙЫ>:9100/metrics | grep 'node_filesystem_avail_bytes.*/var/lib/kafka'Мұнда:
<ТҮЙІН_МЕКЕНЖАЙЫ>— сізге қажетті түйіннің IP-мекенжайы; хаттағыbootstrapServersпараметрінің мәні.9100— түйіннен мониторинг жинау портының нөмірі.node_filesystem_avail_bytes— деректер дискіндегі бос орын көлемін көрсететін метрика./var/lib/kafka— түйінде файлдық жүйе орналасқан директорияға жол.
Шығарылымда деректер дискіндегі бос орын көлемі көрсетіледі.
Сондай-ақ түйіннен Prometheus-тың басқа метрикаларын да жинауға болады, мысалы:
kafka_controller_kafkacontroller_activecontrollercount;kafka_controller_kafkacontroller_offlinepartitionscount;kafka_server_replicamanager_underreplicatedpartitions;kafka_cluster_partition_underminisr.
Бұл туралы толығырақ Apache Kafka ресми құжаттамасында.
-
Брокерден деректер жинау үшін өзіңіздің мониторинг жүйеңізді баптаңыз:
-
monitoring.propertiesфайлын құрып, оғанclient.propertiesфайлының мазмұнын көшіріңіз,sasl.jaas.configпараметріндегі логин мен құпиясөз мәндерін хаттағыmonitoringUserжәнеmonitoringPasswordмәндеріне ауыстырыңыз. -
kafka-consumer-groups.shутилитасының көмегімен барлық тұтынушылар топтары туралы деректерді алыңыз:kafka-consumer-groups.sh --bootstrap-server <БРОКЕР_МЕКЕНЖАЙЛАРЫ> --command-config monitoring.properties --describe --all-groupsМұнда:
<БРОКЕР_МЕКЕНЖАЙЛАРЫ>— хаттағыbootstrapServersпараметрінің мәндері. Мекенжайлар бірнешеу болса, олар үтірмен, бос орынсыз көрсетіледі.monitoring.properties— мониторингтің қосылым баптаулары бар құрылған файл.--describe— ақпаратты көрсету опциясы.--all-groups— барлық тұтынушылар топтары бойынша ақпарат шығару опциясы.
-
Алынған ақпаратпен таныссыз. Әдетте шығарылымда келесі бағандар болады:
GROUP: тұтынушылар тобының атауы.TOPIC: топ оқитын тақырыптың (топиктің) атауы.PARTITION: тақырып ішіндегі партицияның (бөлімнің) нөмірі.CURRENT-OFFSET: әрбір партиция үшін ағымдағы ығысу (оқылған соңғы хабарламаның нөмірі).LOG-END-OFFSET: осы партицияға жазылған соңғы хабарламаның ығысуы (яғни деректердің «құйрығы» қазір қайда екені).LAG:LOG-END-OFFSETпенCURRENT-OFFSETарасындағы айырма. Бұл ең маңызды сан. Ол әлі оқылмаған хабарламалардың санын көрсетеді. ЕгерLAGөсіп келе жатса — тұтынушылар деректерді оқуға үлгермейді (өнімділік мәселесі немесе ілінісу). ЕгерLAG0-ге тең болса — барлық хабарламалар оқылған, топ нақты уақыт режимінде жұмыс істейді.OWNER: қазір осы партиция үшін көшбасшы болып табылатын процесс (тұтынушы) атауы.HOST: бұл тұтынушы жұмыс істейтін түйіннің IP-мекенжайы немесе атауы.
-