VK Cloud logo

Machine Learning (ML) және Data Science (DS) үшін GPU-ортасын дайындау

Бұл нұсқаулықпен танысқаннан кейін Machine Learning (ML) және Data Science (DS) сияқты міндеттерді орындау үшін ортаны дайындауды үйренесіз, сонымен қатар conda-ортасында LoRA бар LLM Llama-2-7B Fine-tuning конфигурациясын іске қосасыз.

Дайындық қадамдары

  1. Бұрын жасалмаса, жаңа GPU бар виртуалды машинаны дайындаңыз.

    1. Бұрын жасалмаса, Cloud GPU қызметін қосыңыз.

    2. Техникалық қолдау көрсету қызметінен GPU негізіндегі ВМ конфигурациясының шаблонына квота сұраңыз.

    3. Келесі параметрлерімен виртуалды машинаны жасаңыз:

      • GPU бар конфигурация шаблоны.

      • Қажетті драйвер нұсқасын қолдайтын ОС. Қалаған дистрибутивіңізге қолжетімді нұсқаларды NVIDIA CUDA репозиторийінен біліңіз.

        Белгілі бір драйвер нұсқасы қажет болмаса, ұсынылған дистрибутивтердің бірін таңдаңыз:

        • Ubuntu 22.04 немесе 24.04 нұсқасы.
        • Debian 11 немесе 12 нұсқасы.
        • Red Hat Enterprise Linux/AlmaLinux/Oracle Linux/Rocky Linux 8 немесе 9 нұсқасы.
      • Публичтік IP-адрестер пулынан IP-адрес немесе Floating IP-адрес арқылы сыртқы желіге қолжетімділік.

      Қалған параметрлерді өз қалауыңыз бойынша орнатыңыз.

  2. ВМ-ға қосылыңыз.

  3. NVIDIA драйверін орнатыңыз немесе жаңартыңыз.

1. ML-ортасын дайындаңыз

ML-ортасын келесі тәсілдердің бірімен дайындауға болады:

  • CUDA компоненттерін ОС-қа орнату арқылы;
  • NVIDIA Container Toolkit көмегімен дайын бейнеден Docker-контейнерді іске қосу арқылы.

Орта тікелей виртуалды машинаның ОС-ында дайындалады. Жүйелік компоненттерге қолжетімділік қажет болса және CUDA компоненттерінің қажетті нұсқаларын өз бетінше орнатып, баптау қажет болса, осы тәсілді қолданыңыз.

  1. CUDA компоненттерін орнатыңыз.

  2. Бұрын жасалмаса, Python орнатыңыз:

    sudo apt install -y python3 python3-venv python3-pip
  3. Miniconda орнатыңыз:

    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh &&bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda &&eval "$($HOME/miniconda/bin/conda shell.bash hook)" &&conda init bash && source ~/.bashrc
  4. Қолдану шарттарымен танысыңыз. Келісімді растау үшін командаларды енгізіңіз:

    conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/mainconda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r
  5. conda-ортасын жасап, белсендіріңіз:

    conda create -n ml-env python -yconda activate ml-env
  6. CUDA 12.4 қолдауы бар PyTorch орнатыңыз:

    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
  7. PyTorch-тың GPU, CUDA және cuDNN-ді көретінін тексеріңіз:

    python -c "import torch; a=torch.cuda.is_available(); print('cuda',a,'cudnn',torch.backends.cudnn.is_available()); print('gpu', torch.cuda.get_device_name(0) if a and torch.cuda.device_count()>0 else 'none')"
  8. Қажетті ML-жинақтарды орнатыңыз:

    pip install \transformers \accelerate \bitsandbytes \peft \datasets \sentencepiece \einops \
  9. (Қалау бойынша) Ортаны және pip-тәуелділіктерді сақтаңыз:

    conda env export > environment.ymlpip freeze > requirements.txt

    Кейін бұл файлдарды мыналар үшін қолданыңыз:

    • ұқсас conda-ортасын жылдам жасау үшін:

      conda env create -f environment.yml
    • pip-тәуелділіктерді қалпына келтіру үшін:

      pip install -r requirements.txt

2. LoRA бар LLM Llama-2-7B Fine-tuning конфигурациясын іске қосыңыз

  1. LoRA моделін оқытуға дайындайтын llama.py Python-скриптін жасаңыз:

    from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, BitsAndBytesConfigfrom peft import LoraConfig, get_peft_model, TaskTypefrom datasets import load_datasetimport torchMODEL_NAME = "meta-llama/Llama-2-7b-hf"  # HF-та лицензияны қабылдауды талап етеді# 4-bit кванттау (28 GB орнына 16 GB VRAM-ға сыяды)bnb_config = BitsAndBytesConfig(   load_in_4bit=True,   bnb_4bit_use_double_quant=True,   bnb_4bit_quant_type="nf4",   bnb_4bit_compute_dtype=torch.bfloat16)tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)model = AutoModelForCausalLM.from_pretrained(   MODEL_NAME,   quantization_config=bnb_config,   device_map="auto"  # автоматты түрде GPU-ға бөледі)# LoRA конфигурациясыlora_config = LoraConfig(   task_type=TaskType.CAUSAL_LM,   r=16,               # адаптер рангі   lora_alpha=32,   target_modules=["q_proj", "v_proj"],  # тек attention қабаттары   lora_dropout=0.05,   bias="none")model = get_peft_model(model, lora_config)model.print_trainable_parameters()# trainable params: 4,194,304 || all params: 3,504,607,232 || trainable%: 0.1197# Датасетті жүктеу (мысалы — alpaca)dataset = load_dataset("tatsu-lab/alpaca", split="train[:1000]")# Әрі қарай — transformers-тің стандартты Trainer-і# ... (өз TrainingArguments және Trainer.train() қосыңыз)print("LoRA моделі оқытуға дайын!")
  2. Скриптті іске қосыңыз:

    export HF_TOKEN="<HF_ТОКЕН>"python llama.py

    Мұнда <HF_ТОКЕН> — Hugging Face-тегі токен. Бұл токенді қолданатын аккаунтта meta-llama/Llama-2-7b-hf репозиторийіне қолжетімділік болуы керек.

    Сәтті орындалған жағдайда команданың шығысында мына хабарлама болады:

    LoRA моделі оқытуға дайын!
Мақала пайдалы болды ма?