ClickHouse-ты аналитикалық ДҚ ретінде қосу

Data Lakehouse (DLH) архитектурасына жеке аналитикалық ДҚ қосу деректерді S3-қоймада сақтау қажеттілігінсіз келіп түсетін оқиғалар ағынын жылдам өңдеуге мүмкіндік береді. Мұндай ДҚ ретінде PostgreSQL пайдаланылуы мүмкін, онда жедел деректер хабарламалар ағыны немесе батчтар түрінде келіп түседі, немесе Cloud ClickHouse.

Төменде ClickHouse өнімі негізіндегі аналитикалық деректер қоры бар Data Lakehouse сервисінің конфигурация нұсқасы қарастырылады.

Аналитикалық ДҚ-ға деректер сұрауларын Cloud Trino сервисі орындайды, сондықтан аналитикалық ДҚ бар Data Lakehouse конфигурациясын өрістету сервисінің базалық архитектурасын алдын ала өрістетуді, сондай-ақ пайдаланылатын Cloud Trino сервисі данасын аналитикалық ДҚ-ға қосымша қосуды қамтиды.

Өрістетіңіз Data Lakehouse сервисінің базалық архитектурасын.

1. Data Platform → Сервис даналары бөліміне өтіңіз.

2. Дана жасау түймесін басыңыз.

3. Конфигурация қадамында:

   1. Cloud ClickHouse сервис түрін таңдаңыз.
   2. Нұсқа өрісінде әдепкі мәнді қалдырыңыз.
   3. Кластер конфигурациясын таңдаңыз.

4. Келесі қадам түймесін басыңыз.

5. Параметрлер қадамында:

   1. Дана параметрлерін орнатыңыз:

      • Атауы: сервис данасы үшін атау көрсетіңіз.
      • Сипаттамасы: қажет болса, сипаттама қосыңыз.
      • Деректер қорының атауы: Cloud ClickHouse қосылатын деректер қорының атауын көрсетіңіз.
      • Сыртқы IP тағайындау: Cloud ClickHouse данасы интернет арқылы қолжетімді болуы үшін опцияны қосыңыз.
      • Kubernetes кластері: базалық конфигурацияны өрістету кезеңінде Cloud Iceberg Metastore сервисі данасын жасау кезінде көрсеткен кластерді ашылмалы тізімнен таңдаңыз.

   2. Базалық кластер конфигурациясын таңдап, конфигурация үлгілерінің бірін көрсетіңіз:

      • Репликациясы бар кіші – тестілік конфигурация үшін қолайлы.
      • Репликациясы бар орташа – жүктемесі төмен PROD-кластер үшін.
      • Репликациясы бар 2-шардты – жүктемесі орташа PROD-кластер үшін.
      • Репликациясы бар 3-шардты – жүктемесі жоғары PROD-кластер үшін.

6. Келесі қадам түймесін басыңыз.

7. Қызмет көрсету қадамында:

   1. Блокта көрсетілген уақыт белдеуін ескере отырып, аптаның күндері мен техникалық жұмыстардың басталу уақытын таңдаңыз.

      Техникалық жұмыстарды, соның ішінде резервтік көшіруді жүргізу ұзақтығы — 4 сағат. Осы уақытта сервис қолжетімсіз болуы мүмкін.

   2. Толық көшірмелердің ең көп санын орнатыңыз. Бұл сан деректерді архивтік сақтаудың тереңдігіне қойылатын талаптарға байланысты немесе реттеушінің талаптарымен айқындалуы мүмкін. Ең көп саннан асқан кезде ескі көшірмелер қайта жазылады.

      Толық резервтік көшірме жүйе істен шыққан, деректер жоғалған немесе басқа мәселелер туындаған жағдайда оны қалпына келтіруге қажетті файлдарды, дерекқорларды, баптаулар мен конфигурацияларды қамтиды.

   3. Инкременттік көшіруді іске қосу кестесін crontab форматында орнатыңыз немесе тізімнен бұрын жасалған кестені таңдаңыз.

      Инкременттік резервтік көшірме резервтік көшірудің алдыңғы іске қосылуынан бері өзгерген деректерді ғана қамтиды (толық немесе инкременттік). Мұндай көшірме толық көшірмеге қарағанда көлемі жағынан кішірек болады.

   4. Инкременттік көшірмелердің ең көп санын орнатыңыз. Ең көп саннан асқан кезде ескі көшірмелер қайта жазылады.

8. Келесі қадам түймесін басыңыз.

9. Тіркелгі деректері қадамында:

   1. Логин өрісінде әдепкі мәнді қалдырыңыз. Cloud ClickHouse-қа қол жеткізу үшін әкімші логинін жазып алыңыз, ол сізге кейін қажет болады.

   2. Құпиясөз өрісінде әкімші құпиясөзін генерациялау үшін Генерациялау түймесін басыңыз. Құпиясөзді сақтап қойыңыз, ол сізге кейін қажет болады

10. Жасау түймесін басыңыз.

Cloud ClickHouse сервисі данасын жасау операциясының аяқталуын күтіңіз.

Базалық конфигурацияны өрістету кезінде жасалған Cloud Trino сервисі данасының баптауларында Clickhouse көзі үшін жаңа қосылымды қосыңыз. Қосылым параметрлерінде жоғарыда жасалған Cloud ClickHouse сервисі данасының деректерін көрсетіңіз.