VK Cloud logo

AWS CLI арқылы үлкен файлдарды баяу жүктеу

100 МБ-тан үлкен файлдарды AWS CLI арқылы жүктеу интернет-каналдың өткізу қабілеттілігінен едәуір төмен жылдамдықпен жүреді.

Файлдарды бір TCP-қосылу арқылы беру кезінде мәселе желінің жоғары кешігуі (latency) себебінен туындауы мүмкін. Интернет-каналдың өткізу қабілеттілігін толық пайдалану үшін файлды бір уақытта бірнеше ағынмен жүктеңіз. Ол үшін құрамдас жүктеуді пайдаланып, сіздің жағдайыңызға ең қолайлы бір уақытта жүктелетін файл бөліктерінің саны мен олардың өлшемін таңдаңыз:

  • Әр бөліктің өлшемін арттыру API-сұраныстарының жалпы санын және қызметтік трафикті азайтады, бұл жалпы трафик көлемін қысқартады.
  • Параллель жүктелетін бөліктер санын арттыру файлды жүктеудің жалпы уақытын қысқартады. Алайда бұл тәсіл сіздің процессорыңыздың қуатымен және интернет-каналдың өткізу қабілеттілігімен шектеледі.

Шешім

  1. Бакетке объекттерді AWS CLI арқылы жүктеу үшін aws s3api put-object емес, aws s3 cp командасы қолданылатынына көз жеткізіңіз. aws s3 cp командасы өлшемі multipart_threshold параметрінің мәнінен асатын (әдепкі бойынша 8 МБ) объекттер үшін құрамдас жүктеуді автоматты түрде қолданады.

  2. Құрамдас жүктеу параметрлерін оңтайландырыңыз:

    aws configure set default.s3.<ИМЯ_ПАРАМЕТРА> <ЗНАЧЕНИЕ>

    Мұнда:

    • <ИМЯ_ПАРАМЕТРА> — құрамдас жүктеу параметрінің атауы:

      • multipart_threshold: құрамдас жүктеу үшін қажетті файлдың ең аз өлшемі (әдепкі бойынша 8 МБ).
      • multipart_chunksize: құрамдас жүктеу кезіндегі файл бөліктерінің өлшемі (әдепкі бойынша 8 МБ).
      • max_concurrent_requests: параллель жүктелетін файл бөліктерінің саны (әдепкі бойынша 10).
    • <ЗНАЧЕНИЕ> — құрамдас жүктеу параметрінің жаңа мәні.

Мақала пайдалы болды ма?