Сервис архитектурасы^Beta

Cloud Flink архитектурасы үлестірілген ағындық есептеулер тұжырымдамасының айналасында құрылған және бірнеше компоненттен тұрады:

• Job Manager — сервистегі деректерді өңдеудің барлық процестерін үйлестіретін master-түйін:

  • Тапсырмаларды жоспарлауға, ресурстарды бөлуге және Task Manager түйіндерінің жұмысын үйлестіруге жауап береді.
  • Тапсырмалардың орындалу күйін бақылайды және істен шығуға төзімділікті қамтамасыз етеді.
  • Сұраулардың орындалуын бақылайды және олардың орындалу барысын қадағалайды.

  Кластерде Job Manager түйіні біреу, конфигурацияға қарамастан.

• Task Manager — деректерді өңдеуге арналған нақты тапсырмаларды (tasks) орындайтын worker-түйін:

  • Job Manager түйінінен алынған тапсырмаларды өңдейді.
  • Деректер ағынындағы операторлардың орындалуына және күйді (state) сақтауға жауап береді.
  • Тапсырмалар мен есептерді алу үшін Job Manager түйінімен деректер алмасады.

  Кластерде әртүрлі тапсырмаларды параллель өңдейтін 1-ден 10-ға дейін Task Manager түйіні болуы мүмкін.

• DataStream API/DataSet API — тиісінше ағындық және пакеттік өңдеуді бағдарламалауға арналған API. Деректерді сүзуге, түрлендіруге, агрегаттауға арналған операторлар жиынтығын ұсынады.

• Деректер ағындары (Data Streams) — операторлар тізбектері арқылы өңделетін және түрлендірілетін реттелген оқиғалар тізбектері. Әртүрлі деректер түрлерін қолдайды.

• Күй (State) — бұл белгілі бір уақыт сәтіндегі аралық нәтижелер мен деректердің көшірмесі.

• Операторлар (Operators) — деректер ағындарына түрлендірулер мен операцияларды орындайтын элементтер: сүзгілер, агрегациялар, біріктірулер, сұрыптаулар және т.б. Task Manager түйіндерінде орындалуға оңтайландырылған.

• Үлестірілген сақтау — міндетке байланысты Cloud Flink әртүрлі деректер қоймаларымен (мысалы, файлдық жүйелер, дерекқорлар) өзара әрекеттесе алады. Дискілермен немесе түйіндермен туындайтын мәселелерге төзімділікті қамтамасыз етеді.

• Тапсырмалар жоспарлағышы (Task Scheduler) — ресурстарды оңтайлы пайдалану үшін тапсырмаларды (tasks) Task Manager түйіндері арасында бөлуге жауап береді.

Cloud Flink архитектурасы — бұл Job Manager түйіні Task Manager түйіндерінің жұмысын үйлестіретін үлестірілген жүйе. Әрбір Task Manager түйіні операторларды пайдаланып деректер ағындарын өңдейді. Бұл ауқымдылық пен жоғары өнімділікті қамтамасыз етеді. Күйді үлестіріп сақтау Cloud Flink-ке жүйенің ішінара істен шығуы кезінде де жұмысын жалғастыруға мүмкіндік береді.