VK Cloud logo

Қолданба кодынанBeta

Орналастырылған Cloud Kafka данасына қолданба кодынан қосылу үшін бағдарламалау тіліңізге арналған клиенттік кітапхананы пайдаланыңыз. Төменде Java, Scala, Python, Go, C / C++, .NET және Node.js тілдеріне арналған мысалдар берілген.

Қосылуға дайындық

  1. VK Cloud жеке кабинетіне өтіңіз.

  2. Data Platform → Сервис даналары бөліміне өтіңіз.

  3. Cloud Kafka данасының атауын басыңыз.

  4. Жалпы ақпарат қойындысында қажетті қосылу нұсқасының жолын көшіріңіз:

    • TLS бар Bootstrap қосылу жолы — TLS арқылы қосылу үшін;
    • Bootstrap қосылу жолы — TLS-сіз қосылу үшін.
  5. TLS арқылы қосылу үшін сертификаттар тізбегін жүктеп алыңыз: Жалпы ақпарат қойындысындағы сертификат карточкасында ••• → Сертификаттар тізбегін жүктеп алу тармағын басыңыз.

  6. Cloud Kafka тіркелгісінің логині мен паролін дайындаңыз. Тіркелгіні сервис данасының бетінде қосуға болады.

Келесі әрекеттер бағдарламалау тіліне байланысты:

Java

Java арқылы қосылу үшін kafka-clients клиенттік кітапханасын пайдаланыңыз. JDK-ның ең төменгі нұсқасы — 11.

  1. Maven немесе Gradle пайдаланатын Java жобасына тәуелділікті қосыңыз:

    <dependency>    <groupId>org.apache.kafka</groupId>    <artifactId>kafka-clients</artifactId>    <version>4.1.0</version></dependency>
  2. Жобаның Java бастапқы код директориясында қосылу коды бар CheckKafka.java файлын жасаңыз. Стандартты Maven немесе Gradle жобасында бұл — src/main/java. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:

    import java.util.Properties;import org.apache.kafka.clients.admin.AdminClient;public class CheckKafka {    public static void main(String[] args) throws Exception {        Properties props = new Properties();        props.put("bootstrap.servers", "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>");        props.put("security.protocol", "SASL_SSL");        props.put("sasl.mechanism", "SCRAM-SHA-512");        props.put("sasl.jaas.config",                "org.apache.kafka.common.security.scram.ScramLoginModule required " +                "username=\"<ЛОГИН>\" password=\"<ПАРОЛЬ>\";");        props.put("ssl.truststore.type", "PEM");        props.put("ssl.truststore.location", "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>");        props.put("ssl.endpoint.identification.algorithm", "");        try (AdminClient admin = AdminClient.create(props)) {            System.out.println("Брокеры: " + admin.describeCluster().nodes().get());        }    }}

    Мұндағы:

    • <BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.
    • <ЛОГИН> және <ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.
    • <СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
  3. CheckKafka класын IDE немесе құрастыру жүйесі арқылы іске қосыңыз. Бағдарлама брокерлер туралы мәліметтерді қатесіз шығарса, клиент Cloud Kafka-ға қосылды.

Scala

Scala арқылы қосылу үшін kafka-clients клиенттік кітапханасын пайдаланыңыз. JDK-ның ең төменгі нұсқасы — 11.

  1. build.sbt файлына тәуелділікті қосыңыз:

    libraryDependencies += "org.apache.kafka" % "kafka-clients" % "4.1.0"
  2. SBT жобасының src/main/scala директориясында қосылу коды бар CheckKafka.scala файлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:

    import java.util.Propertiesimport org.apache.kafka.clients.admin.AdminClientobject CheckKafka {  def main(args: Array[String]): Unit = {    val props = new Properties()    props.put("bootstrap.servers", "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>")    props.put("security.protocol", "SASL_SSL")    props.put("sasl.mechanism", "SCRAM-SHA-512")    props.put("sasl.jaas.config",      "org.apache.kafka.common.security.scram.ScramLoginModule required " +        "username=\"<ЛОГИН>\" password=\"<ПАРОЛЬ>\";")    props.put("ssl.truststore.type", "PEM")    props.put("ssl.truststore.location", "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>")    props.put("ssl.endpoint.identification.algorithm", "")    val admin = AdminClient.create(props)    try {      println(s"Брокеры: ${admin.describeCluster().nodes().get()}")    } finally {      admin.close()    }  }}

    Мұндағы:

    • <BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.
    • <ЛОГИН> және <ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.
    • <СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
  3. Терминалда жоба директориясынан мына команданы орындаңыз:

    $ sbt "runMain CheckKafka"

    Бағдарлама брокерлер туралы мәліметтерді қатесіз шығарса, клиент Cloud Kafka-ға қосылды.

Python

Python арқылы қосылу үшін confluent-kafka-python клиенттік кітапханасын пайдаланыңыз.

  1. Кітапхананы мысалды іске қосатын Python ортасында терминал арқылы орнатыңыз:

    $ pip install confluent-kafka
  2. Жоба директориясында қосылу коды бар check.py файлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:

    from confluent_kafka.admin import AdminClientconf = {    "bootstrap.servers": "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>",    "security.protocol": "SASL_SSL",    "sasl.mechanism": "SCRAM-SHA-512",    "sasl.username": "<ЛОГИН>",    "sasl.password": "<ПАРОЛЬ>",    "ssl.ca.location": "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>",}metadata = AdminClient(conf).list_topics(timeout=10)print("Брокеров:", len(metadata.brokers))

    Мұндағы:

    • <BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.
    • <ЛОГИН> және <ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.
    • <СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
  3. Терминалда файл орналасқан директориядан мына команданы орындаңыз:

    $ python check.py

    Скрипт брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.

Go

Go арқылы қосылу үшін Sarama клиенттік кітапханасын пайдаланыңыз.

  1. Терминалда Go жобасының директориясына өтіңіз.

  2. Тәуелділіктерді орнатыңыз:

    go get github.com/IBM/sarama github.com/xdg-go/scram
  3. Жобаға Sarama арқылы логин мен пароль бойынша аутентификация кодын қамтитын scram_client.go файлын қосыңыз:

    package mainimport (    "crypto/sha512"    "github.com/IBM/sarama"    "github.com/xdg-go/scram")type scramClient struct {    *scram.Client    *scram.ClientConversation    scram.HashGeneratorFcn}func newSCRAMClient() sarama.SCRAMClient {    return &scramClient{HashGeneratorFcn: sha512.New}}func (c *scramClient) Begin(user, password, authzID string) (err error) {    c.Client, err = c.HashGeneratorFcn.NewClient(user, password, authzID)    if err != nil {        return err    }    c.ClientConversation = c.Client.NewConversation()    return nil}func (c *scramClient) Step(challenge string) (string, error) {    return c.ClientConversation.Step(challenge)}func (c *scramClient) Done() bool {    return c.ClientConversation.Done()}
  4. Go модулінің директориясында қосылу коды бар main.go файлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:

    package mainimport (    "crypto/tls"    "crypto/x509"    "fmt"    "log"    "os"    "github.com/IBM/sarama")func main() {    config := sarama.NewConfig()    config.Net.SASL.Enable = true    config.Net.SASL.Mechanism = sarama.SASLTypeSCRAMSHA512    config.Net.SASL.User = "<ЛОГИН>"    config.Net.SASL.Password = "<ПАРОЛЬ>"    config.Net.SASL.SCRAMClientGeneratorFunc = newSCRAMClient    caPEM, err := os.ReadFile("<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>")    if err != nil {        log.Fatal(err)    }    roots := x509.NewCertPool()    if !roots.AppendCertsFromPEM(caPEM) {        log.Fatal("Файл не содержит сертификатов PEM")    }    config.Net.TLS.Enable = true    config.Net.TLS.Config = &tls.Config{RootCAs: roots}    client, err := sarama.NewClient([]string{"<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>"}, config)    if err != nil {        log.Fatal(err)    }    defer client.Close()    fmt.Println("Брокеров:", len(client.Brokers()))}

    Мұндағы:

    • <BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.
    • <ЛОГИН> және <ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.
    • <СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
  5. Бағдарламаны іске қосыңыз:

    $ go run .

    Бағдарлама брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.

C / C++

C немесе C++ арқылы қосылу үшін librdkafka клиенттік кітапханасын пайдаланыңыз. Мысалдарда C тілінің API-і қолданылады.

  1. TLS және SASL SCRAM қолдауы бар librdkafka әзірлеу құралдарын орнатыңыз. Операциялық жүйеге сәйкес команданы терминалда орындаңыз:

    sudo apt update && sudo apt install librdkafka-dev

    Төмендегі құрастыру командалары компиляторға librdkafka тақырып файлдары мен кітапханасы қолжетімді ортаға арналған.

  2. Қосылу коды бар check.c файлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:

    #include <stdio.h>#include <librdkafka/rdkafka.h>int main(void) {    char errstr[512];    rd_kafka_conf_t *conf = rd_kafka_conf_new();    rd_kafka_conf_set(conf, "bootstrap.servers", "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>", errstr, sizeof(errstr));    rd_kafka_conf_set(conf, "security.protocol", "SASL_SSL", errstr, sizeof(errstr));    rd_kafka_conf_set(conf, "sasl.mechanism", "SCRAM-SHA-512", errstr, sizeof(errstr));    rd_kafka_conf_set(conf, "sasl.username", "<ЛОГИН>", errstr, sizeof(errstr));    rd_kafka_conf_set(conf, "sasl.password", "<ПАРОЛЬ>", errstr, sizeof(errstr));    rd_kafka_conf_set(conf, "ssl.ca.location", "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>", errstr, sizeof(errstr));    rd_kafka_t *client = rd_kafka_new(RD_KAFKA_PRODUCER, conf, errstr, sizeof(errstr));    if (client == NULL) {        fprintf(stderr, "Ошибка создания клиента: %s\n", errstr);        return 1;    }    const rd_kafka_metadata_t *metadata;    rd_kafka_resp_err_t err = rd_kafka_metadata(client, 0, NULL, &metadata, 10000);    if (err != RD_KAFKA_RESP_ERR_NO_ERROR) {        fprintf(stderr, "Ошибка подключения: %s\n", rd_kafka_err2str(err));        rd_kafka_destroy(client);        return 1;    }    printf("Брокеров: %d\n", metadata->broker_cnt);    rd_kafka_metadata_destroy(metadata);    rd_kafka_destroy(client);    return 0;}

    Мұндағы:

    • <BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.
    • <ЛОГИН> және <ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.
    • <СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
  3. Терминалда файл орналасқан директориядан check.c файлын компиляциялап, алынған бағдарламаны іске қосыңыз:

    $ gcc check.c -o check -lrdkafka$ ./check

    Бағдарлама брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.

.NET

.NET арқылы қосылу үшін Confluent.Kafka клиенттік кітапханасын пайдаланыңыз.

  1. Қосылуды тексеруге арналған консольдік қолданба жасап, жоба директориясына өтіңіз:

    $ dotnet new console -o kafka-check$ cd kafka-check
  2. Жоба директориясында кітапхананы орнатыңыз:

    $ dotnet add package Confluent.Kafka
  3. Жасалған жобадағы Program.cs файлының мазмұнын қосылу кодымен алмастырыңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:

    using System;using Confluent.Kafka;var config = new AdminClientConfig{    BootstrapServers = "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>",    SecurityProtocol = SecurityProtocol.SaslSsl,    SaslMechanism = SaslMechanism.ScramSha512,    SaslUsername = "<ЛОГИН>",    SaslPassword = "<ПАРОЛЬ>",    SslCaLocation = "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>",};using var admin = new AdminClientBuilder(config).Build();var metadata = admin.GetMetadata(TimeSpan.FromSeconds(10));Console.WriteLine($"Брокеров: {metadata.Brokers.Count}");

    Мұндағы:

    • <BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.
    • <ЛОГИН> және <ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.
    • <СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
  4. Терминалда сынақ жобасының директориясынан мына команданы орындаңыз:

    $ dotnet run

    Қолданба брокерлер санын нөлден артық етіп қатесіз шығарса, клиент Cloud Kafka-ға қосылды.

Node.js

Node.js арқылы қосылу үшін @confluentinc/kafka-javascript клиенттік кітапханасын пайдаланыңыз.

  1. Жоба директориясында кітапхананы орнатыңыз:

    $ npm install @confluentinc/kafka-javascript
  2. Жоба директориясында қосылу коды бар check.cjs файлын жасаңыз. TLS арқылы (трафик шифрланады) немесе TLS-сіз (трафик шифрланбайды) қосылу нұсқасын таңдаңыз:

    const { Kafka } = require("@confluentinc/kafka-javascript").KafkaJS;const config = {    "bootstrap.servers": "<BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>",    "security.protocol": "SASL_SSL",    "sasl.mechanisms": "SCRAM-SHA-512",    "sasl.username": "<ЛОГИН>",    "sasl.password": "<ПАРОЛЬ>",    "ssl.ca.location": "<СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>",};async function checkConnection() {    const admin = new Kafka().admin(config);    await admin.connect();    try {        await admin.listTopics({ timeout: 10000 });        console.log("Подключение к Cloud Kafka установлено");    } finally {        await admin.disconnect();    }}checkConnection().catch((error) => {    console.error(error);    process.exitCode = 1;});

    Мұндағы:

    • <BOOTSTRAP_СЕРВЕРІНІҢ_МЕКЕНЖАЙЫ_МЕН_ПОРТЫ>: дайындық кезінде көшірілген қосылу жолы.
    • <ЛОГИН> және <ПАРОЛЬ>: Cloud Kafka пайдаланушысының тіркелгі деректері.
    • <СЕРТИФИКАТТАР_ТІЗБЕГІНЕ_ЖОЛ>: дайындық кезінде Жалпы ақпарат қойындысынан жүктеп алынған сертификаттар тізбегі файлының жолы. Тек TLS арқылы қосылу үшін қолданылады.
  3. Терминалда скриптті іске қосыңыз:

    $ node check.cjs

    Скрипт орнатылған қосылу туралы хабарламаны қатесіз шығарса, клиент Cloud Kafka-ға қосылды.

Мақала пайдалы болды ма?