Cloud Spark-ты деректерді өңдеу құралы ретінде қосу

базалық құрылымға Cloud Spark сервисін Data Lakehouse (DLH) құрамына қосу Cloud Trino салыстырғанда, деректерді S3 объектілік қоймасына түспес бұрын күрделі трансформациялауды орындауға мүмкіндік береді, өйткені ол салыстырмалы түрде қарапайым сценарийлерді жүзеге асыра алады.

Жедел ақпаратты сақтау үшін қосымша ретінде аналитикалық ДҚ, мысалы Cloud ClickHouse, пайдаланылуы мүмкін, бірақ мұндай архитектура шешімді күрделендіріп, оның құнын арттырады.

Өрістетіңіз Data Lakehouse сервисінің базалық архитектурасын.

1. Өтіңіз VK Cloud жеке кабинетіне.

2. Сервис данасын жасау қажет жобаны таңдаңыз.

3. Data Platform → Сервис даналары бөліміне өтіңіз.

4. Дана жасау түймесін басыңыз.

5. Конфигурация қадамында:

   1. Cloud Spark сервис түрін таңдаңыз.
   2. Нұсқа өрісінде әдепкі мәнді қалдырыңыз.

6. Келесі қадам түймесін басыңыз.

7. Параметрлер қадамында:

   1. Дана параметрлерін орнатыңыз:

      • Атауы: сервис данасы үшін атау көрсетіңіз.
      • Сипаттамасы: қажет болса, сипаттама қосыңыз.
      • Сыртқы IP тағайындау: Cloud ClickHouse данасы интернет арқылы қолжетімді болуы үшін опцияны қосыңыз.
      • Kubernetes кластері: базалық конфигурацияны өрістету кезеңінде Cloud Iceberg Metastore сервисі данасын жасау кезінде көрсеткен кластерді ашылмалы тізімнен таңдаңыз.

   2. Spark Connect өрісінде нақты уақыт режимінде деректерді өңдеу үшін бөлу қажет процессор ядроларының санын және жедел жад көлемін орнатыңыз.

   3. Spark History Server өрісінде Cloud Spark сервисінің тапсырмаларын (jobs) іске қосу логтарын жүргізу үшін бөлу қажет процессор ядроларының санын және жедел жад көлемін орнатыңыз.

8. Келесі қадам түймесін басыңыз.

9. Қызмет көрсету қадамында:

   1. Аптаның күндерін және техникалық жұмыстарды бастау уақытын таңдаңыз. Осы уақытта серверде техникалық жұмыстар, соның ішінде резервтік көшірмелерді жасау орындалуы мүмкін — сервис қолжетімсіз болады.

10. Келесі қадам түймесін басыңыз.

11. Баптаулар қадамында Өңдеу түймесін басып, қолдау көрсетілетіндер тізімінен Cloud Spark нұсқасын таңдаңыз — ол тапсырмаларды (jobs) іске қосу үшін пайдаланылады.

12. Келесі қадам түймесін басыңыз.

13. Қосылымдар қадамында:

    1. Data Lakehouse базалық конфигурациясын өрістету кезінде жасалған PostgreSQL-ге қосылымды қосыңыз:

       1. Қосылым қосу түймесін басыңыз.

       2. PostgreSQL қосылымын таңдап, мыналарды көрсетіңіз:

          • PostgreSQL: қосылым атауын ойлап табыңыз, мысалы: postgres_spark.
          • Деректер қорының атауы: Cloud Spark сұрауларды орындау және деректерді интеграциялау үшін қосылатын PostgreSQL көзінің деректер қорының атауы, мысалы: ad_db. PostgreSQL инстансы жасалғаннан кейін Деректер қорларының тізімі қойындысында қолжетімді.
          • ДҚ хостының атауы: <IP-АДРЕС>:<ПОРТ> форматындағы мән. Қосылым деректерін PostgreSQL данасы бетінің Жалпы ақпарат қойындысындағы Postgres primary connection string өрісінен көшіру керек: postgres://<user>:<password>@<IP-АДРЕС>:<ПОРТ>/<ИМЯ_БД>. Мысалы: 10.0.1.2:5432.
          • Пайдаланушы аты: Data Lakehouse базалық конфигурациясын өрістету кезінде жасалған PostgreSQL үшін логин.
          • Пайдаланушы құпиясөзі: PostgreSQL ДҚ инстансын жасау кезінде көрсетілген деректер қоры пайдаланушысының тіркелгі жазбасының құпиясөзі.

    2. Data Lakehouse базалық конфигурациясын өрістету кезінде жасалған S3 объектілік қоймасына қосылымды қосыңыз:

       1. Қосылым қосу түймесін басыңыз.

       2. S3 VK Cloud қосылымын таңдаңыз.

       3. Қосылым параметрлерін көрсетіңіз:

          • S3 ішкі қосылымының атауы: қосылым атауын ойлап табыңыз, мысалы: iceberg_s3.
          • Бакет: VK Object Storage жасау кезінде берілген бакет атауы.
          • S3 бакетіндегі жол: S3-қоймасындағы файлдардың орналасу мекенжайы. Параметр VK Object Storage данасының бетінде қолжетімді.

14. Келесі қадам түймесін басыңыз.

15. Тіркелгі деректері қадамында:

    1. Логин өрісінде әдепкі мәнді қалдырыңыз. Cloud ClickHouse-қа қол жеткізу үшін әкімші логинін жазып алыңыз, ол сізге кейін қажет болады.

    2. Құпиясөз өрісінде әкімші құпиясөзін генерациялау үшін Генерациялау түймесін басыңыз. Құпиясөзді сақтап қойыңыз, ол сізге кейін қажет болады.

16. Жасау түймесін басыңыз.

Cloud Spark сервисі данасын жасау процесінің аяқталуын күтіңіз.