VK Cloud logo

Көшірмені OpenStack CLI және API арқылы жүктеп алу

Бұл тәсілді қолданғанда резервтік көшірмелердің ID-лары OpenStack CLI немесе API Karboii арқылы анықталады, ал көшірме файлдары VK Object Storage-ден AWS CLI арқылы тікелей жүктеп алынады. Жүктеп алуды автоматтандыру үшін немесе жеке кабинет қолжетімсіз болғанда осы тәсілді қолданыңыз. Сондай-ақ көшірмені жеке кабинет арқылы жүктеп алуға болады.

Көшірмені жүктеп алмас бұрын

  1. Қосылуға API арқылы кіру мүмкіндігіне көз жеткізіңіз.

  2. Резервтік көшірмелер сақталған жобада OpenStack клиентін орнатыңыз және аутентификациядан өтіңіз. Аутентификация үшін OpenStack RC-файл немесе токен алудың басқа тәсілін қолданыңыз.

  3. Жобаның Project ID-сын алып, жазып алыңыз: ол API арқылы жұмыс істегенде және VK Object Storage-ден файлдарды жүктеп алғанда қажет болады.

    Project ID жеке кабинеттегі жоба идентификаторымен сәйкес келмейді. Егер OpenStack RC-файл арқылы аутентификациядан өтсеңіз, мән OS_PROJECT_ID айнымалысында сақталады:

    echo $OS_PROJECT_ID

    Егер айнымалы бос болса, Project ID-ны мына командамен алыңыз:

    openstack token issue -c project_id -f value

    Сондай-ақ Project ID-ны жеке кабинетте алуға болады. Оны айнымалыға сақтаңыз:

    export OS_PROJECT_ID=<ЖОБА_ID>

    Мұнда <ЖОБА_ID> — жобаның Project ID-сы.

  4. API арқылы жұмыс істеу үшін jq қолданбасын орнатыңыз және curl утилитасы орнатылғанына көз жеткізіңіз.

  5. Егер әлі жасалмаса, VK Object Storage аккаунтын жасаңыз және оның кіру кілтін алыңыз (Access Key ID және Secret Key).

  6. AWS CLI қолданбасын орнатыңыз және VK Object Storage-ге қосылуын баптаңыз.

  7. Жобаңыздың аймағы үшін VK Object Storage эндпоинтінің адресін анықтаңыз. Толығырақ CLI арқылы VK Object Storage-ге қосылу бөлімінде.

  8. Барлық кіру мүмкіндіктері жұмыс істейтінін тестілік дискте тексеріңіз.

1. Жүктеп алу үшін көшірмелерді анықтаңыз

  1. Жобаның резервтік көшірмелерінің тізімін алыңыз:

    openstack volume backup list

    ID бағанында әр көшірменің ID-сы көрсетілген. Тек бір дисктің көшірмелерін алу үшін:

    1. ВМ дискісінің ID-сын мына командамен алыңыз:

      openstack volume list

      Дискінің ID-сы сондай-ақ жеке кабинеттің Облачные вычисления → Диски бөлімінде қолжетімді.

    2. Команданы орындаңыз:

      openstack volume backup list --volume <ДИСК_ID>
  2. Команданы орындап, көшірменің статусын, өлшемін және түрін анықтаңыз:

    openstack volume backup show <КӨШІРМЕ_ID>

    Мұнда <КӨШІРМЕ_ID> — алдыңғы қадамда алынған тізімдегі ID бағанындағы резервтік көшірменің ID-сы.

    Команда шығысында резервтік көшірме туралы ақпарат болады. Оның түрін анықтаңыз:

    • Толық көшірме: name өрісінде _full суффиксі бар. Тек осы көшірмені жүктеп алу жеткілікті.
    • Инкременттік көшірме: is_incremental параметрі көрсетіледі. Бүкіл тізбекті жүктеп алыңыз: базалық толық көшірмені және одан кейінгі қажеттіге дейінгі барлық инкременттік көшірмелерді.
  3. Тізбектің барлық көшірмелерінің ID-ларын толықтан таңдалғанға дейінгі ретпен жазып алыңыз (толық көшірме үшін — бір ID). Дәл осы ID-ларды жүктеп алғанда <КӨШІРМЕ_ID> орнына қою қажет болады.

  4. Дискінің нақты өлшемін ГБ есебінде анықтап, жазып алыңыз, себебі ол дискті жинағанда қажет болады. Мұны келесі тәсілдердің бірімен жасауға болады:

    • Көшірме ID-сы бойынша:

      openstack volume backup show <КӨШІРМЕ_ID> -c size -f value
    • Диск ID-сы бойынша:

      openstack volume show <ДИСК_ID> -c size -f value

2. Көшірме файлдары үшін машинаны дайындаңыз

  1. Файлдар жүктеп алынатын Linux ОС бар жұмыс машинасын таңдаңыз.
  2. Бұл машинада жеткілікті бос орын бар-жоғын тексеріңіз: әр көшірменің сығылған content файлы үшін және өлшемі дискінің өлшеміне тең түпкілікті RAW-файл үшін.

RAW-файл жиналғаннан кейін бірден аз орын алуы мүмкін, бірақ көшіру және конвертация кезінде ол дискінің толық өлшемін алады.

3. Көшірме файлдарын VK Object Storage-ден жүктеп алыңыз

Көшірме файлдары volumebackups-<ЖОБА_ID> жүйелік бакетінде сақталады. Қалтаның аты көшірменің ID-сымен сәйкес келеді.

Әр көшірме үшін команданы орындаңыз:

aws --endpoint-url <S3_АДРЕСІ> s3 cp s3://volumebackups-<ЖОБА_ID>/<КӨШІРМЕ_ID>/ ./<КӨШІРМЕ_ID>/ --recursive

Мұнда:

  • <S3_АДРЕСІ> — VK Object Storage эндпоинтінің адресі, мысалы https://hb.ru-msk.vkcloud-storage.ru.

  • <ЖОБА_ID> — бұрын алған жобаның Project ID-сы.

  • <КӨШІРМЕ_ID> — резервтік көшірменің ID-сы:

    • OpenStack CLI үшін — ID бағанындағы мән;
    • API үшін — external_id мәні.

Файлдар ./<КӨШІРМЕ_ID>/<файл> құрылымында сақталады. Әр көшірме үшін бес файл жүктеп алынады:

  • content,
  • object_segments,
  • volume_segments,
  • sha_list,
  • volume_metadata.

Толығырақ ВМ дискілерінің резервтік көшірмелерін VK Cloud сыртына тасымалдау бөлімінде.

Егер көшірмелер тізбегін жүктеп алатын болсаңыз, тізбектің әр көшірмесі үшін команданы орындаңыз.

4. Жүктеп алынған файлдарды тексеріңіз

  1. Әрбір көшірменің папкасында барлық бес файлдың (content, object_segments, volume_segments, sha_list және volume_metadata) бар екеніне көз жеткізіңіз. Ол үшін мына пәрменді орындаңыз:

    ls -l ./<ПАПКА_КОПИИ>/

    Мұндағы <ПАПКА_КОПИИ> — көшірме файлдары орналасқан папка.

  2. Егер content файлы бөліктермен (content1, content2 және т.б.) жүктелсе, оларды табиғи сұрыптаумен біріктіріңіз:

    cat $(ls ./<ПАПКА_КОПИИ>/content[0-9]* | sort -V) > ./<ПАПКА_КОПИИ>/content

    Мұндағы <ПАПКА_КОПИИ> — көшірме файлдары орналасқан папка.

  3. content файлының толық жүктелгеніне көз жеткізіңіз. Ол үшін object_segments файлындағы соңғы элементті алып, object_offset және object_length қосындысын content файлының өлшемімен салыстырыңыз:

    python3 -I - <<'EOF'import json, osd = "./<ПАПКА_КОПИИ>"seg = json.load(open(os.path.join(d, "object_segments")))last = seg[-1]print("карта бойынша:", last["object_offset"] + last["object_length"],      "файл:", os.path.getsize(os.path.join(d, "content")))EOF

    Мұндағы <ПАПКА_КОПИИ> — көшірме файлдары орналасқан папка.

    Егер сандар сәйкес келмесе, файл толық жүктелмеген — көшірмені қайта жүктеп алыңыз.

Мақала пайдалы болды ма?