Data Warehouse

Data Warehouse (DWH) — корпоративтік деректер қоймасы (КДҚ) идеясын іске асыратын алғашқы архитектуралық тұжырымдамалардың бірі. КДҚ — бұл әртүрлі көздерден жиналған ұйымның үлкен көлемдегі деректерін сақтайтын және оларды басқаратын орталық репозиторий.

Корпоративтік деректер қоймаларында ақпарат әртүрлі бөлімшелерден (жүйелерден) жиналады, яғни оның құрылымы әртүрлі болады. Бұдан бөлек, мұндай қоймаларда тек ағымдағы ғана емес, архивтік деректер де болады, сондықтан олардың көлемі әдетте едәуір үлкен. Бұл КДҚ-ны ұйымдастыру кезінде шешілуі тиіс екі негізгі міндетті тудырады:

• деректерді қоймаға орналастыру алдында оларды алдын ала өңдеу және нормализациялау (бірыңғай форматтарға келтіру, қайталанулар мен қайшылықтарды жою);
• үлкен көлемдегі деректерді әртүрлі серверлерде үлестіріп сақтау және оларды бірыңғай жүйеге біріктіру.

DWH-те реляциялық СУБД-лардан алынған құрылымдалған деректер кейінгі өңдеуге арналған SQL-сұраулар арқылы қолжеткізуді қамтамасыз ететін көпөлшемді OLAP-қоймаға жиналады. Деректерді түрлендіру нәтижесі BI-жүйелеріне және аналитикалық есептілікті қалыптастыру сервистеріне беріледі.

КДҚ архитектурасын құруда деректерді сақтау құрылымын таңдау маңызды рөл атқарады. Data Warehouse-та құрылымға қатаң шектеулер бар, сондықтан деректерді сақтау модельдерінің бәрі бірдей DWH архитектурасын құруға жарамайды.

Стандарт ретінде келесі модельдер қолданылады:

• Кимбалл моделі, онда бір орталық кесте (фактілер кестесі) фактілер немесе оқиғалар туралы агрегатталған деректерді сақтайды, ал бірнеше байланысты көмекші өлшем кестелері әртүрлі мәндердің сипаттамалық атрибуттарын қамтиды.
• Артық деректерді барынша азайтатын нормаланған құрылымды пайдаланатын Инмон моделі. Көбіне бұл модель тез іске асыру маңызды және деректер қоймасына қойылатын талаптар минималды болатын пилоттық және MVP-жобаларда қолданылады.
• Data Vault 2.0 — Кимбалл және Инмон модельдерінің қағидаттарын біріктіретін деректер құрылымын жобалаудың гибридті тәсілі.

DWH-та қойма құрылымын жобалау кезінде қолданылатын деректер модельдерінің ерекшеліктері DWH архитектурасының өз шектеулерін қалыптастырады:

• сақтау және масштабтау құнының жоғарылығы;
• өңделмеген деректерге қолжетімділіктің болмауы;
• ETL-процестердегі күрделі логика;
• масштабтаудың шектеулі мүмкіндіктері;
• әзірлеу мен сүйемелдеуге жоғары шығындар;
• техникалық қолдау және ақауларды жою кезіндегі қиындықтар.

Нәтижесінде IT-инфрақұрылым бизнес сұраныстарының өзгеруіне бейімделіп үлгермейді, өйткені инфрақұрылымдағы кез келген өзгеріс (жаңа дереккөзді қосу немесе сақтау құрылымын өзгерту) ETL-процестерін ауқымды түрде пысықтауға әкеледі.

КДҚ-мен өзара әрекеттесуді жеңілдету, яғни деректерді жүктеу және ұйымдастыру процесіне қойылатын талаптарды төмендету қажеттілігі жаңа шешімдердің пайда болуына алып келді:

• Data Lake — DWH-ке тән қатаң регламенттеусіз әлсіз құрылымдалған деректерді бастапқы түрінде сақтауға мүмкіндік беретін архитектуралық компонент.
• Data Lakehouse — Data Warehouse және Data Lake архитектураларының артықшылықтарын біріктіретін үлкен деректермен жұмыс істеуге арналған әмбебап шешім.