Machine Learning (ML) және Data Science (DS) үшін GPU-ортасын дайындау
Бұл нұсқаулықпен танысқаннан кейін Machine Learning (ML) және Data Science (DS) сияқты міндеттерді орындау үшін ортаны дайындауды үйренесіз, сонымен қатар conda-ортасында LoRA бар LLM Llama-2-7B Fine-tuning конфигурациясын іске қосасыз.
-
Бұрын жасалмаса, жаңа GPU бар виртуалды машинаны дайындаңыз.
-
Бұрын жасалмаса, Cloud GPU қызметін қосыңыз.
-
Техникалық қолдау көрсету қызметінен GPU негізіндегі ВМ конфигурациясының шаблонына квота сұраңыз.
-
Келесі параметрлерімен виртуалды машинаны жасаңыз:
-
GPU бар конфигурация шаблоны.
-
Қажетті драйвер нұсқасын қолдайтын ОС. Қалаған дистрибутивіңізге қолжетімді нұсқаларды NVIDIA CUDA репозиторийінен біліңіз.
Белгілі бір драйвер нұсқасы қажет болмаса, ұсынылған дистрибутивтердің бірін таңдаңыз:
- Ubuntu 22.04 немесе 24.04 нұсқасы.
- Debian 11 немесе 12 нұсқасы.
- Red Hat Enterprise Linux/AlmaLinux/Oracle Linux/Rocky Linux 8 немесе 9 нұсқасы.
-
Публичтік IP-адрестер пулынан IP-адрес немесе Floating IP-адрес арқылы сыртқы желіге қолжетімділік.
Қалған параметрлерді өз қалауыңыз бойынша орнатыңыз.
-
-
-
ВМ-ға қосылыңыз.
-
NVIDIA драйверін орнатыңыз немесе жаңартыңыз.
ML-ортасын келесі тәсілдердің бірімен дайындауға болады:
- CUDA компоненттерін ОС-қа орнату арқылы;
- NVIDIA Container Toolkit көмегімен дайын бейнеден Docker-контейнерді іске қосу арқылы.
Орта тікелей виртуалды машинаның ОС-ында дайындалады. Жүйелік компоненттерге қолжетімділік қажет болса және CUDA компоненттерінің қажетті нұсқаларын өз бетінше орнатып, баптау қажет болса, осы тәсілді қолданыңыз.
-
CUDA компоненттерін орнатыңыз.
-
Бұрын жасалмаса, Python орнатыңыз:
Ubuntu/DebianRed Hat Enterprise Linuxsudo apt install -y python3 python3-venv python3-pip -
Miniconda орнатыңыз:
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh &&bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda &&eval "$($HOME/miniconda/bin/conda shell.bash hook)" &&conda init bash && source ~/.bashrc -
Қолдану шарттарымен танысыңыз. Келісімді растау үшін командаларды енгізіңіз:
conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/mainconda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r -
conda-ортасын жасап, белсендіріңіз:
conda create -n ml-env python -yconda activate ml-env -
CUDA 12.4 қолдауы бар PyTorch орнатыңыз:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 -
PyTorch-тың GPU, CUDA және cuDNN-ді көретінін тексеріңіз:
python -c "import torch; a=torch.cuda.is_available(); print('cuda',a,'cudnn',torch.backends.cudnn.is_available()); print('gpu', torch.cuda.get_device_name(0) if a and torch.cuda.device_count()>0 else 'none')" -
Қажетті ML-жинақтарды орнатыңыз:
pip install \transformers \accelerate \bitsandbytes \peft \datasets \sentencepiece \einops \ -
(Қалау бойынша) Ортаны және pip-тәуелділіктерді сақтаңыз:
conda env export > environment.ymlpip freeze > requirements.txtКейін бұл файлдарды мыналар үшін қолданыңыз:
-
ұқсас conda-ортасын жылдам жасау үшін:
conda env create -f environment.yml -
pip-тәуелділіктерді қалпына келтіру үшін:
pip install -r requirements.txt
-
-
LoRA моделін оқытуға дайындайтын
llama.pyPython-скриптін жасаңыз:from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, BitsAndBytesConfigfrom peft import LoraConfig, get_peft_model, TaskTypefrom datasets import load_datasetimport torchMODEL_NAME = "meta-llama/Llama-2-7b-hf" # HF-та лицензияны қабылдауды талап етеді# 4-bit кванттау (28 GB орнына 16 GB VRAM-ға сыяды)bnb_config = BitsAndBytesConfig(load_in_4bit=True,bnb_4bit_use_double_quant=True,bnb_4bit_quant_type="nf4",bnb_4bit_compute_dtype=torch.bfloat16)tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)model = AutoModelForCausalLM.from_pretrained(MODEL_NAME,quantization_config=bnb_config,device_map="auto" # автоматты түрде GPU-ға бөледі)# LoRA конфигурациясыlora_config = LoraConfig(task_type=TaskType.CAUSAL_LM,r=16, # адаптер рангіlora_alpha=32,target_modules=["q_proj", "v_proj"], # тек attention қабаттарыlora_dropout=0.05,bias="none")model = get_peft_model(model, lora_config)model.print_trainable_parameters()# trainable params: 4,194,304 || all params: 3,504,607,232 || trainable%: 0.1197# Датасетті жүктеу (мысалы — alpaca)dataset = load_dataset("tatsu-lab/alpaca", split="train[:1000]")# Әрі қарай — transformers-тің стандартты Trainer-і# ... (өз TrainingArguments және Trainer.train() қосыңыз)print("LoRA моделі оқытуға дайын!") -
Скриптті іске қосыңыз:
CUDA компоненттерін жүйеге орнатуNVIDIA Container Toolkit + Dockerexport HF_TOKEN="<HF_ТОКЕН>"python llama.pyМұнда
<HF_ТОКЕН>— Hugging Face-тегі токен. Бұл токенді қолданатын аккаунтта meta-llama/Llama-2-7b-hf репозиторийіне қолжетімділік болуы керек.Сәтті орындалған жағдайда команданың шығысында мына хабарлама болады:
LoRA моделі оқытуға дайын!