Көшірмені OpenStack CLI және API арқылы жүктеп алу
Бұл тәсілді қолданғанда резервтік көшірмелердің ID-лары OpenStack CLI немесе API Karboii арқылы анықталады, ал көшірме файлдары VK Object Storage-ден AWS CLI арқылы тікелей жүктеп алынады. Жүктеп алуды автоматтандыру үшін немесе жеке кабинет қолжетімсіз болғанда осы тәсілді қолданыңыз. Сондай-ақ көшірмені жеке кабинет арқылы жүктеп алуға болады.
-
Қосылуға API арқылы кіру мүмкіндігіне көз жеткізіңіз.
-
Резервтік көшірмелер сақталған жобада OpenStack клиентін орнатыңыз және аутентификациядан өтіңіз. Аутентификация үшін OpenStack RC-файл немесе токен алудың басқа тәсілін қолданыңыз.
-
Жобаның Project ID-сын алып, жазып алыңыз: ол API арқылы жұмыс істегенде және VK Object Storage-ден файлдарды жүктеп алғанда қажет болады.
Project ID жеке кабинеттегі жоба идентификаторымен сәйкес келмейді. Егер OpenStack RC-файл арқылы аутентификациядан өтсеңіз, мән
OS_PROJECT_IDайнымалысында сақталады:echo $OS_PROJECT_IDЕгер айнымалы бос болса, Project ID-ны мына командамен алыңыз:
openstack token issue -c project_id -f valueСондай-ақ Project ID-ны жеке кабинетте алуға болады. Оны айнымалыға сақтаңыз:
export OS_PROJECT_ID=<ЖОБА_ID>Мұнда
<ЖОБА_ID>— жобаның Project ID-сы. -
API арқылы жұмыс істеу үшін
jqқолданбасын орнатыңыз жәнеcurlутилитасы орнатылғанына көз жеткізіңіз. -
Егер әлі жасалмаса, VK Object Storage аккаунтын жасаңыз және оның кіру кілтін алыңыз (
Access Key IDжәнеSecret Key). -
AWS CLI қолданбасын орнатыңыз және VK Object Storage-ге қосылуын баптаңыз.
-
Жобаңыздың аймағы үшін VK Object Storage эндпоинтінің адресін анықтаңыз. Толығырақ CLI арқылы VK Object Storage-ге қосылу бөлімінде.
-
Барлық кіру мүмкіндіктері жұмыс істейтінін тестілік дискте тексеріңіз.
-
Жобаның резервтік көшірмелерінің тізімін алыңыз:
openstack volume backup listIDбағанында әр көшірменің ID-сы көрсетілген. Тек бір дисктің көшірмелерін алу үшін:-
ВМ дискісінің ID-сын мына командамен алыңыз:
openstack volume listДискінің ID-сы сондай-ақ жеке кабинеттің Облачные вычисления → Диски бөлімінде қолжетімді.
-
Команданы орындаңыз:
openstack volume backup list --volume <ДИСК_ID>
-
-
Команданы орындап, көшірменің статусын, өлшемін және түрін анықтаңыз:
openstack volume backup show <КӨШІРМЕ_ID>Мұнда
<КӨШІРМЕ_ID>— алдыңғы қадамда алынған тізімдегіIDбағанындағы резервтік көшірменің ID-сы.Команда шығысында резервтік көшірме туралы ақпарат болады. Оның түрін анықтаңыз:
- Толық көшірме:
nameөрісінде_fullсуффиксі бар. Тек осы көшірмені жүктеп алу жеткілікті. - Инкременттік көшірме:
is_incrementalпараметрі көрсетіледі. Бүкіл тізбекті жүктеп алыңыз: базалық толық көшірмені және одан кейінгі қажеттіге дейінгі барлық инкременттік көшірмелерді.
- Толық көшірме:
-
Тізбектің барлық көшірмелерінің ID-ларын толықтан таңдалғанға дейінгі ретпен жазып алыңыз (толық көшірме үшін — бір ID). Дәл осы ID-ларды жүктеп алғанда
<КӨШІРМЕ_ID>орнына қою қажет болады. -
Дискінің нақты өлшемін ГБ есебінде анықтап, жазып алыңыз, себебі ол дискті жинағанда қажет болады. Мұны келесі тәсілдердің бірімен жасауға болады:
-
Көшірме ID-сы бойынша:
openstack volume backup show <КӨШІРМЕ_ID> -c size -f value -
Диск ID-сы бойынша:
openstack volume show <ДИСК_ID> -c size -f value
-
- Файлдар жүктеп алынатын Linux ОС бар жұмыс машинасын таңдаңыз.
- Бұл машинада жеткілікті бос орын бар-жоғын тексеріңіз: әр көшірменің сығылған
contentфайлы үшін және өлшемі дискінің өлшеміне тең түпкілікті RAW-файл үшін.
RAW-файл жиналғаннан кейін бірден аз орын алуы мүмкін, бірақ көшіру және конвертация кезінде ол дискінің толық өлшемін алады.
Көшірме файлдары volumebackups-<ЖОБА_ID> жүйелік бакетінде сақталады. Қалтаның аты көшірменің ID-сымен сәйкес келеді.
Әр көшірме үшін команданы орындаңыз:
aws --endpoint-url <S3_АДРЕСІ> s3 cp s3://volumebackups-<ЖОБА_ID>/<КӨШІРМЕ_ID>/ ./<КӨШІРМЕ_ID>/ --recursive
Мұнда:
-
<S3_АДРЕСІ>— VK Object Storage эндпоинтінің адресі, мысалыhttps://hb.ru-msk.vkcloud-storage.ru. -
<ЖОБА_ID>— бұрын алған жобаның Project ID-сы. -
<КӨШІРМЕ_ID>— резервтік көшірменің ID-сы:- OpenStack CLI үшін —
IDбағанындағы мән; - API үшін —
external_idмәні.
- OpenStack CLI үшін —
Файлдар ./<КӨШІРМЕ_ID>/<файл> құрылымында сақталады. Әр көшірме үшін бес файл жүктеп алынады:
content,object_segments,volume_segments,sha_list,volume_metadata.
Толығырақ ВМ дискілерінің резервтік көшірмелерін VK Cloud сыртына тасымалдау бөлімінде.
Егер көшірмелер тізбегін жүктеп алатын болсаңыз, тізбектің әр көшірмесі үшін команданы орындаңыз.
-
Әрбір көшірменің папкасында барлық бес файлдың (
content,object_segments,volume_segments,sha_listжәнеvolume_metadata) бар екеніне көз жеткізіңіз. Ол үшін мына пәрменді орындаңыз:ls -l ./<ПАПКА_КОПИИ>/Мұндағы
<ПАПКА_КОПИИ>— көшірме файлдары орналасқан папка. -
Егер
contentфайлы бөліктермен (content1,content2және т.б.) жүктелсе, оларды табиғи сұрыптаумен біріктіріңіз:cat $(ls ./<ПАПКА_КОПИИ>/content[0-9]* | sort -V) > ./<ПАПКА_КОПИИ>/contentМұндағы
<ПАПКА_КОПИИ>— көшірме файлдары орналасқан папка. -
contentфайлының толық жүктелгеніне көз жеткізіңіз. Ол үшінobject_segmentsфайлындағы соңғы элементті алып,object_offsetжәнеobject_lengthқосындысынcontentфайлының өлшемімен салыстырыңыз:python3 -I - <<'EOF'import json, osd = "./<ПАПКА_КОПИИ>"seg = json.load(open(os.path.join(d, "object_segments")))last = seg[-1]print("карта бойынша:", last["object_offset"] + last["object_length"],"файл:", os.path.getsize(os.path.join(d, "content")))EOFМұндағы
<ПАПКА_КОПИИ>— көшірме файлдары орналасқан папка.Егер сандар сәйкес келмесе, файл толық жүктелмеген — көшірмені қайта жүктеп алыңыз.