VK Object Storage Data Lakehouse архитектурасында

VK Object Storage — VK Cloud ұсынатын құрылымдалмаған деректерге арналған үнемді объектілік қойма. Деректерді сақтаудың икемділігін, ауқымдалуын және экономикалық тиімділігін қамтамасыз ететіндіктен, DLH-тің негізгі компоненті болып табылады.

Компонент келесі функцияларды орындайды:

• Әртүрлі форматтағы объектілерді үлестірілген түрде сақтау.

• Қойманың метадеректерін мәндер деңгейінде басқару:

  • Projects — S3 файлдары жататын жобалар.
  • Buckets — жобалар ішіндегі S3-ке қосылған жергілікті дискілер.
  • Objects — S3 объектілерін (файлдарын) өңдеудің негізгі параметрлері.

• Файлдарды жүктеу, сақтау, өңдеу және жүктеп алу ережелерін анықтау.

• Access Control List (ACL) қолдауымен деректерге қол жеткізудің рөлдік моделін басқару – файлға кім қол жеткізе алатынын және дәл қандай операцияларды орындауға рұқсат етілгенін анықтау.

• Деректерге қол жеткізу үшін стандартты Amazon S3 API қолдауы.

• Қоймаға кіріс және шығыс контент ағындарын ұйымдастыру.

• Ірі файлдарды бірнеше ағынмен (multipart) ақауға төзімді жүктеуді ұйымдастыру, соның ішінде:

  • қайталап көру саясаты (retry);
  • файлдарды бөлу логикасы.

• Жүктеудің сәтті орындалуын және S3 ішінде бүлінген файлдардың болмауын бақылау.

• S3 ішіндегі объектілерді жылдам іздеу.

• Сыртқы сервистердің сұрауы бойынша S3 деректерін ұсыну.