Қолданба кодынанBeta
Орналастырылған Cloud Kafka данасына қолданба кодынан қосылу үшін бағдарламалау тіліңізге арналған клиенттік кітапхананы пайдаланыңыз. Төменде Java, Scala, Python, Go, C / C++, .NET және Node.js тілдеріне арналған мысалдар берілген.
-
VK Cloud жеке кабинетіне өтіңіз.
-
Data Platform → Сервис даналары бөліміне өтіңіз.
-
Cloud Kafka данасының атауын басыңыз.
-
Жалпы ақпарат қойындысында қажетті қосылу нұсқасының жолын көшіріңіз:
- TLS бар Bootstrap қосылу жолы — TLS арқылы қосылу үшін;
- Bootstrap қосылу жолы — TLS-сіз қосылу үшін.
-
TLS арқылы қосылу үшін сертификаттар тізбегін жүктеп алыңыз: Жалпы ақпарат қойындысындағы сертификат карточкасында ••• → Сертификаттар тізбегін жүктеп алу тармағын басыңыз.
-
Cloud Kafka тіркелгісінің логині мен паролін дайындаңыз. Тіркелгіні сервис данасының бетінде қосуға болады.
Келесі әрекеттер бағдарламалау тіліне байланысты:
Java арқылы қосылу үшін kafka-clients клиенттік кітапханасын пайдаланыңыз. JDK-ның ең төменгі нұсқасы — 11.
-
Maven немесе Gradle пайдаланатын Java жобасына тәуелділікті қосыңыз:
MavenGradle<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>4.1.0</version></dependency> -
Жобаның Java бастапқы код директориясында қосылу коды бар
CheckKafka.javaфайлын жасаңыз. Стандартты Maven немесе Gradle жобасында бұл —src/main/java. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:TLSTLS-сізimport java.util.Properties;import org.apache.kafka.clients.admin.AdminClient;public class CheckKafka {public static void main(String[] args) throws Exception {Properties props = new Properties();props.put("bootstrap.servers", "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>");props.put("security.protocol", "SASL_SSL");props.put("sasl.mechanism", "SCRAM-SHA-512");props.put("sasl.jaas.config","org.apache.kafka.common.security.scram.ScramLoginModule required " +"username=\"<ЛОГИН>\" password=\"<ПАРОЛЬ>\";");props.put("ssl.truststore.type", "PEM");props.put("ssl.truststore.location", "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>");props.put("ssl.endpoint.identification.algorithm", "");try (AdminClient admin = AdminClient.create(props)) {System.out.println("Брокеры: " + admin.describeCluster().nodes().get());}}}Мұндағы:
<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.<ЛОГИН>және<ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
-
CheckKafkaкласын IDE немесе құрастыру жүйесі арқылы іске қосыңыз. Бағдарлама брокерлер туралы мәліметтерді қатесіз шығарса, клиент Cloud Kafka-ға қосылды.
Scala арқылы қосылу үшін kafka-clients клиенттік кітапханасын пайдаланыңыз. JDK-ның ең төменгі нұсқасы — 11.
-
build.sbtфайлына тәуелділікті қосыңыз:libraryDependencies += "org.apache.kafka" % "kafka-clients" % "4.1.0" -
SBT жобасының
src/main/scalaдиректориясында қосылу коды барCheckKafka.scalaфайлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:TLSTLS-сізimport java.util.Propertiesimport org.apache.kafka.clients.admin.AdminClientobject CheckKafka {def main(args: Array[String]): Unit = {val props = new Properties()props.put("bootstrap.servers", "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>")props.put("security.protocol", "SASL_SSL")props.put("sasl.mechanism", "SCRAM-SHA-512")props.put("sasl.jaas.config","org.apache.kafka.common.security.scram.ScramLoginModule required " +"username=\"<ЛОГИН>\" password=\"<ПАРОЛЬ>\";")props.put("ssl.truststore.type", "PEM")props.put("ssl.truststore.location", "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>")props.put("ssl.endpoint.identification.algorithm", "")val admin = AdminClient.create(props)try {println(s"Брокеры: ${admin.describeCluster().nodes().get()}")} finally {admin.close()}}}Мұндағы:
<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.<ЛОГИН>және<ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
-
Терминалда жоба директориясынан мына команданы орындаңыз:
$ sbt "runMain CheckKafka"Бағдарлама брокерлер туралы мәліметтерді қатесіз шығарса, клиент Cloud Kafka-ға қосылды.
Python арқылы қосылу үшін confluent-kafka-python клиенттік кітапханасын пайдаланыңыз.
-
Кітапхананы мысалды іске қосатын Python ортасында терминал арқылы орнатыңыз:
$ pip install confluent-kafka -
Жоба директориясында қосылу коды бар
check.pyфайлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:TLSTLS-сізfrom confluent_kafka.admin import AdminClientconf = {"bootstrap.servers": "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>","security.protocol": "SASL_SSL","sasl.mechanism": "SCRAM-SHA-512","sasl.username": "<ЛОГИН>","sasl.password": "<ПАРОЛЬ>","ssl.ca.location": "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>",}metadata = AdminClient(conf).list_topics(timeout=10)print("Брокеров:", len(metadata.brokers))Мұндағы:
<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.<ЛОГИН>және<ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
-
Терминалда файл орналасқан директориядан мына команданы орындаңыз:
$ python check.pyСкрипт брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.
Go арқылы қосылу үшін Sarama клиенттік кітапханасын пайдаланыңыз.
-
Терминалда Go жобасының директориясына өтіңіз.
-
Тәуелділіктерді орнатыңыз:
go get github.com/IBM/sarama github.com/xdg-go/scram -
Жобаға
Saramaарқылы логин мен пароль бойынша аутентификация кодын қамтитынscram_client.goфайлын қосыңыз:package mainimport ("crypto/sha512""github.com/IBM/sarama""github.com/xdg-go/scram")type scramClient struct {*scram.Client*scram.ClientConversationscram.HashGeneratorFcn}func newSCRAMClient() sarama.SCRAMClient {return &scramClient{HashGeneratorFcn: sha512.New}}func (c *scramClient) Begin(user, password, authzID string) (err error) {c.Client, err = c.HashGeneratorFcn.NewClient(user, password, authzID)if err != nil {return err}c.ClientConversation = c.Client.NewConversation()return nil}func (c *scramClient) Step(challenge string) (string, error) {return c.ClientConversation.Step(challenge)}func (c *scramClient) Done() bool {return c.ClientConversation.Done()} -
Go модулінің директориясында қосылу коды бар
main.goфайлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:TLSTLS-сізpackage mainimport ("crypto/tls""crypto/x509""fmt""log""os""github.com/IBM/sarama")func main() {config := sarama.NewConfig()config.Net.SASL.Enable = trueconfig.Net.SASL.Mechanism = sarama.SASLTypeSCRAMSHA512config.Net.SASL.User = "<ЛОГИН>"config.Net.SASL.Password = "<ПАРОЛЬ>"config.Net.SASL.SCRAMClientGeneratorFunc = newSCRAMClientcaPEM, err := os.ReadFile("<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>")if err != nil {log.Fatal(err)}roots := x509.NewCertPool()if !roots.AppendCertsFromPEM(caPEM) {log.Fatal("Файл не содержит сертификатов PEM")}config.Net.TLS.Enable = trueconfig.Net.TLS.Config = &tls.Config{RootCAs: roots}client, err := sarama.NewClient([]string{"<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>"}, config)if err != nil {log.Fatal(err)}defer client.Close()fmt.Println("Брокеров:", len(client.Brokers()))}Мұндағы:
<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.<ЛОГИН>және<ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
-
Бағдарламаны іске қосыңыз:
$ go run .Бағдарлама брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.
C немесе C++ арқылы қосылу үшін librdkafka клиенттік кітапханасын пайдаланыңыз. Мысалдарда C тілінің API-і қолданылады.
-
TLS және SASL SCRAM қолдауы бар librdkafka әзірлеу құралдарын орнатыңыз. Операциялық жүйеге сәйкес команданы терминалда орындаңыз:
UbuntumacOSCentOS / Red Hat Enterprise Linuxsudo apt update && sudo apt install librdkafka-devТөмендегі құрастыру командалары компиляторға librdkafka тақырып файлдары мен кітапханасы қолжетімді ортаға арналған.
-
Қосылу коды бар
check.cфайлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:TLSTLS-сіз#include <stdio.h>#include <librdkafka/rdkafka.h>int main(void) {char errstr[512];rd_kafka_conf_t *conf = rd_kafka_conf_new();rd_kafka_conf_set(conf, "bootstrap.servers", "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>", errstr, sizeof(errstr));rd_kafka_conf_set(conf, "security.protocol", "SASL_SSL", errstr, sizeof(errstr));rd_kafka_conf_set(conf, "sasl.mechanism", "SCRAM-SHA-512", errstr, sizeof(errstr));rd_kafka_conf_set(conf, "sasl.username", "<ЛОГИН>", errstr, sizeof(errstr));rd_kafka_conf_set(conf, "sasl.password", "<ПАРОЛЬ>", errstr, sizeof(errstr));rd_kafka_conf_set(conf, "ssl.ca.location", "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>", errstr, sizeof(errstr));rd_kafka_t *client = rd_kafka_new(RD_KAFKA_PRODUCER, conf, errstr, sizeof(errstr));if (client == NULL) {fprintf(stderr, "Ошибка создания клиента: %s\n", errstr);return 1;}const rd_kafka_metadata_t *metadata;rd_kafka_resp_err_t err = rd_kafka_metadata(client, 0, NULL, &metadata, 10000);if (err != RD_KAFKA_RESP_ERR_NO_ERROR) {fprintf(stderr, "Ошибка подключения: %s\n", rd_kafka_err2str(err));rd_kafka_destroy(client);return 1;}printf("Брокеров: %d\n", metadata->broker_cnt);rd_kafka_metadata_destroy(metadata);rd_kafka_destroy(client);return 0;}Мұндағы:
<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.<ЛОГИН>және<ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
-
Терминалда файл орналасқан директориядан
check.cфайлын компиляциялап, алынған бағдарламаны іске қосыңыз:$ gcc check.c -o check -lrdkafka$ ./checkБағдарлама брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.
.NET арқылы қосылу үшін Confluent.Kafka клиенттік кітапханасын пайдаланыңыз.
-
Қосылуды тексеруге арналған консольдік қолданба жасап, жоба директориясына өтіңіз:
$ dotnet new console -o kafka-check$ cd kafka-check -
Жоба директориясында кітапхананы орнатыңыз:
$ dotnet add package Confluent.Kafka -
Жасалған жобадағы
Program.csфайлының мазмұнын қосылу кодымен алмастырыңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:TLSTLS-сізusing System;using Confluent.Kafka;var config = new AdminClientConfig{BootstrapServers = "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>",SecurityProtocol = SecurityProtocol.SaslSsl,SaslMechanism = SaslMechanism.ScramSha512,SaslUsername = "<ЛОГИН>",SaslPassword = "<ПАРОЛЬ>",SslCaLocation = "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>",};using var admin = new AdminClientBuilder(config).Build();var metadata = admin.GetMetadata(TimeSpan.FromSeconds(10));Console.WriteLine($"Брокеров: {metadata.Brokers.Count}");Мұндағы:
<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.<ЛОГИН>және<ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
-
Терминалда сынақ жобасының директориясынан мына команданы орындаңыз:
$ dotnet runҚолданба брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.
Node.js арқылы қосылу үшін @confluentinc/kafka-javascript клиенттік кітапханасын пайдаланыңыз.
-
Жоба директориясында кітапхананы орнатыңыз:
$ npm install @confluentinc/kafka-javascript -
Жоба директориясында қосылу коды бар
check.cjsфайлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:TLSTLS-сізconst { Kafka } = require("@confluentinc/kafka-javascript").KafkaJS;const config = {"bootstrap.servers": "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>","security.protocol": "SASL_SSL","sasl.mechanisms": "SCRAM-SHA-512","sasl.username": "<ЛОГИН>","sasl.password": "<ПАРОЛЬ>","ssl.ca.location": "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>",};async function checkConnection() {const admin = new Kafka().admin(config);await admin.connect();try {await admin.listTopics({ timeout: 10000 });console.log("Подключение к Cloud Kafka установлено");} finally {await admin.disconnect();}}checkConnection().catch((error) => {console.error(error);process.exitCode = 1;});Мұндағы:
<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.<ЛОГИН>және<ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
-
Терминалда скриптті іске қосыңыз:
$ node check.cjsСкрипт орнатылған қосылу туралы хабарламаны қатесіз шығарса, клиент Cloud Kafka-ға қосылды.