Бакетке объектілер қосу

1. Егер AWS CLI әлі орнатылмаған болса, оны орнатып, баптаңыз.

2. Егер бакет әлі жасалмаған болса, бакет жасаңыз.

3. Консольде команданы орындаңыз:

    
   aws s3 cp <ПУТЬ> s3://<ИМЯ_БАКЕТА>/<КЛЮЧ_ОБЪЕКТА>   --endpoint-url <ENDPOINT_URL>   --storage-class <КЛАСС_ХРАНЕНИЯ>   --acl <НАСТРОЙКА_ACL>

   Мұнда:

   • <ПУТЬ> — жергілікті файлға дейінгі жол.

   • <ИМЯ_БАКЕТА> — объектіні жүктеу қажет бакеттің атауы.

   • <КЛЮЧ_ОБЪЕКТА> — объектінің толық атауы, оған дейінгі жолды қоса. Атауларды таңдағанда ұсынымдарды ұстаныңыз.

   • <ENDPOINT_URL> — аккаунттың өңіріне сәйкес келуі керек:

     • https://hb.vkcloud-storage.ru немесе https://hb.ru-msk.vkcloud-storage.ru — Мәскеу өңірі үшін;
     • https://hb.kz-ast.vkcloud-storage.ru — Қазақстан өңірі үшін.

   • (Қосымша) <КЛАСС_ХРАНЕНИЯ> — объектінің сақтау класын орнатады. Егер көрсетілмесе, сақтау класы бакеттен мұраға алынады. Қолжетімді мәндер:

     • STANDARD — Hotbox сақтау класына сәйкес келеді;
     • STANDARD_IA — Icebox сақтау класына сәйкес келеді.

   • (Қосымша) <НАСТРОЙКА_ACL> — ACL баптауларын орнатады. Қолжетімді мәндер:

     • private — баптау көрсетілмесе, әдепкі мән;
     • public-read;
     • public-read-write.

Объектілер мен файлдарды көшіру және жылжыту операцияларының толық сипаттамасы AWS CLI ресми құжаттамасында қолжетімді.

1. Егер бакет әлі жасалмаған болса, бакет жасаңыз.

2. VK Object Storage сервисі үшін эндпоинтті біліңіз.

3. API-де аутентификация үшін сұраудың қолтаңбасын қалыптастырыңыз.

4. Объектіні бакетке жүктеу үшін PutObject әдісін пайдаланыңыз.

1. Егер Go үшін SDK әлі орнатылмаған болса, оны орнатып, баптаңыз.

2. Егер бакет әлі жасалмаған болса, бакет жасаңыз.

3. Жобаңызға кодты қосыңыз:

    
   package mainimport (    "github.com/aws/aws-sdk-go/aws"    "github.com/aws/aws-sdk-go/aws/session"    "github.com/aws/aws-sdk-go/service/s3"    "log"    "os"    "strings")const (    vkCloudHotboxEndpoint = "https://hb.kz-ast.vkcloud-storage.ru"    defaultRegion         = "kz-ast")func main() {    // Создание сессии    sess, _ := session.NewSession()    // Подключение к сервису VK Object Storage    svc := s3.New(sess, aws.NewConfig().WithEndpoint(vkCloudHotboxEndpoint).WithRegion(defaultRegion))    bucket := "gobucket"    // Загрузка объекта из строки в бакет    key := "test_string.txt"    body := "Hello World!"    if _, err := svc.PutObject(&s3.PutObjectInput{ 	   Bucket: aws.String(bucket), 	   Key:    aws.String(key), 	   Body:   strings.NewReader(body),    }); err != nil { 	   log.Fatalf("Unable to upload %q to %q, %v\n", body, bucket, err)    } else { 	   log.Printf("File %q uploaded to bucket %q\n", body, bucket)    }    // Загрузка объекта из файла в бакет    fileName := "test.txt"    file, err := os.Open(fileName)    if err != nil { 	   log.Fatalf("Unable to open file %q, %v\n", fileName, err)    }    defer file.Close()    if _, err := svc.PutObject(&s3.PutObjectInput{ 	   Bucket: aws.String(bucket), 	   Key:    aws.String(key), 	   Body:   file,    }); err != nil { 	   log.Fatalf("Unable to upload %q to %q, %v\n", fileName, bucket, err)    } else { 	   log.Printf("File %q uploaded to bucket %q\n", fileName, bucket)    }}

   vkCloudHotboxEndpoint және defaultRegion айнымалыларының мәндері аккаунттың өңіріне сәйкес келуі керек:

   • vkCloudHotboxEndpoint:

     • https://hb.vkcloud-storage.ru немесе https://hb.ru-msk.vkcloud-storage.ru — Мәскеу өңірі үшін;
     • https://hb.kz-ast.vkcloud-storage.ru — Қазақстан өңірі үшін.

   • defaultRegion:

     • ru-msk — Мәскеу өңірі үшін;
     • kz-ast — Қазақстан өңірі үшін.

   PutObject командасы aws-sdk-go кітапханасының ресми құжаттамасында егжей-тегжейлі сипатталған.

1. Егер Python үшін SDK әлі орнатылмаған болса, оны орнатып, баптаңыз.

2. Егер бакет әлі жасалмаған болса, бакет жасаңыз.

3. Жобаңызға кодты қосыңыз:

    
   import boto3session = boto3.session.Session()s3_client = session.client(   service_name = 's3',   endpoint_url = 'https://hb.ru-msk.vkcloud-storage.ru'   )test_bucket_name = 'boto3-test-bucket-name'#Загрузка данных из строкиs3_client.put_object(Body='TEST_TEXT_TEST_TEXT', Bucket=test_bucket_name, Key='test_file.txt')#Загрузка локального файлаs3_client.upload_file('some_test_file_from_local.txt', test_bucket_name, 'copy_some_test_file.txt')#Загрузка локального файла в директорию внутри бакетаs3_client.upload_file('some_test_file_from_local.txt', test_bucket_name, 'backup_dir/copy_some_test_file.txt')

   endpoint_url айнымалысының мәні аккаунттың өңіріне сәйкес келуі керек:

   • https://hb.vkcloud-storage.ru немесе https://hb.ru-msk.vkcloud-storage.ru — Мәскеу өңірінің домені;
   • https://hb.kz-ast.vkcloud-storage.ru — Қазақстан өңірінің домені.

   put_object және upload_file командалары boto3 кітапханасының ресми құжаттамасында PUT және UPLOAD әдістері бойынша егжей-тегжейлі сипатталған.

1. Егер бакет әлі жасалмаған болса, бакет жасаңыз.

2. Бакетке жүктеу қажет файлды бөліктерге бөліңіз. Мысалы, Linux жүйелерінде мұны split командасы арқылы жасауға болады.

3. API-де аутентификация үшін сұраудың эндпоинтін біліп, қолтаңбасын қалыптастырыңыз.

4. CreateMultipartUpload сұрауы арқылы құрамдас жүктеуді инициализациялаңыз. Бұл кезеңде болашақ объектінің кілті жасалады және оның барлық пайдаланушы метадеректері қосылады. Жауапта келесі кезеңдер үшін қажет болатын UploadId жүктеу идентификаторы қайтарылады.

5. Файлдың барлық бөліктерін бакетке жүктеңіз. Әр бөлікті жүктеу үшін UploadPart бөлек сұрауын жіберіңіз. Әр бөлік үшін нөмір көрсетіңіз. Нөмірлер қайталанбауы керек, әйтпесе соңғы жүктелген бөлік дәл сондай нөмірі бар алдыңғысын қайта жазады. VK Object Storage объектінің барлық бөліктерін олардың нөмірлері өсу ретімен жинайды.

   Әр сұрауға жауапта жүктелген бөліктің ETag мәні қайтарылады. ETag мәнін және оған сәйкес бөлік нөмірін сақтаңыз.

6. Файлдың барлық бөліктері бакетке жүктелгенін тексеріңіз. Ол үшін ListParts сұрауын пайдаланыңыз.

7. CompleteMultipartUpload сұрауы арқылы жүктеуді аяқтап, объектіні жинаңыз.

1. Егер бакет әлі жасалмаған болса, бакет жасаңыз.

2. Жобаңызға кодты қосыңыз:

    
   // Подключение S3Client для выполнения операций с бакетами и объектамиtype BucketBasics struct {       S3Client *s3.Client   }// UploadLargeObject разделяет большой файл на части и загружает их VK Object Storage одновременноfunc (basics BucketBasics) UploadLargeObject(bucketName string, objectKey string, largeObject []byte) error { largeBuffer := bytes.NewReader(largeObject) var partMiBs int64 = 10 uploader := manager.NewUploader(basics.S3Client, func(u *manager.Uploader) { 	u.PartSize = partMiBs * 1024 * 1024    })    _, err := uploader.Upload(context.TODO(), &s3.PutObjectInput{ 	   Bucket: aws.String(bucketName), 	   Key:    aws.String(objectKey), 	   Body:   largeBuffer,    })    if err != nil { 	   log.Printf("Couldn't upload large object to %v:%v. Here's why: %v\n", 		   bucketName, objectKey, err)    }    return err}// DownloadLargeObject разделяет большой объект на части и скачивает их независимо из VK Object Storagefunc (basics BucketBasics) DownloadLargeObject(bucketName string, objectKey string) ([]byte, error) {    var partMiBs int64 = 10    downloader := manager.NewDownloader(basics.S3Client, func(d *manager.Downloader) { 	   d.PartSize = partMiBs * 1024 * 1024    })    buffer := manager.NewWriteAtBuffer([]byte{})    _, err := downloader.Download(context.TODO(), buffer, &s3.GetObjectInput{ 	   Bucket: aws.String(bucketName), 	   Key:    aws.String(objectKey),    })    if err != nil { 	   log.Printf("Couldn't download large object from %v:%v. Here's why: %v\n", 		   bucketName, objectKey, err)    }    return buffer.Bytes(), err}

1. Егер бакет әлі жасалмаған болса, бакет жасаңыз.

2. Жобаңызға кодты қосыңыз:

    
   import sysimport threadingimport boto3from boto3.s3.transfer import TransferConfigMB = 1024 * 1024s3 = boto3.resource("s3")class TransferCallback: def __init__(self, target_size):     self._target_size = target_size     self._total_transferred = 0     self._lock = threading.Lock()     self.thread_info = {} # Метод обратного вызова, запускается периодически, чтобы показать прогресс по загрузке def __call__(self, bytes_transferred):     thread = threading.current_thread()     with self._lock:         self._total_transferred += bytes_transferred         if thread.ident not in self.thread_info.keys():             self.thread_info[thread.ident] = bytes_transferred         else:             self.thread_info[thread.ident] += bytes_transferred         target = self._target_size * MB         sys.stdout.write(             f"\r{self._total_transferred} of {target} transferred "             f"({(self._total_transferred / target) * 100:.2f}%)."         )         sys.stdout.flush() # Загрузка с настройками по умолчанию def upload_with_default_configuration(local_file_path, bucket_name, object_key, file_size_mb):   transfer_callback = TransferCallback(file_size_mb)   s3.Bucket(bucket_name).upload_file(      local_file_path, object_key,  Callback=transfer_callback   )   return transfer_callback.thread_info # Загрузка с определением размера частей загружаемого объекта и добавлением метаданных объекта def upload_with_chunksize_and_meta(local_file_path, bucket_name, object_key, file_size_mb, metadata=None):   transfer_callback = TransferCallback(file_size_mb)   config = TransferConfig(multipart_chunksize=1 * MB)   extra_args = {"Metadata": metadata} if metadata else None   s3.Bucket(bucket_name).upload_file(      local_file_path,      object_key,      Config=config,      ExtraArgs=extra_args,      Callback=transfer_callback,   )   return transfer_callback.thread_info # Загрузка с установкой порогового значения # Если файл меньше или равен установленному порогу, он загружается обычным методом, если больше — через составную def upload_with_high_threshold(local_file_path, bucket_name, object_key, file_size_mb):   transfer_callback = TransferCallback(file_size_mb)   config = TransferConfig(multipart_threshold=file_size_mb * 2 * MB)   s3.Bucket(bucket_name).upload_file(     local_file_path, object_key, Config=config, Callback=transfer_callback   )   return transfer_callback.thread_info