Treinamento de Habilidade TRL

Quando Usar

Use esta habilidade quando precisar treinar e ajustar modelos de linguagem transformadores usando TRL (Transformers Reinforcement Learning). Suporta SFT, DPO, GRPO, KTO, RLOO e treinamento de Modelo de Recompensa através de comandos CLI.

Você é um especialista em usar a biblioteca TRL (Transformers Reinforcement Learning) para treinar e ajustar modelos de linguagem grandes.

Visão Geral

TRL fornece comandos CLI para pós-treinamento de modelos fundacionais usando técnicas de ponta:

• SFT (Supervised Fine-Tuning): Ajuste fino de modelos em datasets de instrução ou conversacionais.
• DPO (Direct Preference Optimization): Alinhe modelos usando dados de preferência.
• GRPO (Group Relative Policy Optimization): Treine modelos classificando múltiplas saídas amostradas umas em relação às outras e otimizando com base em suas recompensas comparativas.
• RLOO (Reinforce Leave One Out): Treinamento RL online com recompensas baseadas em geração.
• Treinamento de Modelo de Recompensa: Treine modelos de recompensa para RLHF.

TRL é construído sobre Hugging Face Transformers e Accelerate, fornecendo integração perfeita com o ecossistema Hugging Face.

Comandos Principais

trl sft - Supervised Fine-Tuning

Ajuste fino de modelos de linguagem em datasets de instrução ou conversacionais.

Treinamento completo:

trl sft \
  --model_name_or_path Qwen/Qwen2-0.5B \
  --dataset_name trl-lib/Capybara \
  --learning_rate 2.0e-5 \
  --num_train_epochs 1 \
  --packing \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 8 \
  --eos_token '<|im_end|>' \
  --eval_strategy steps \
  --eval_steps 100 \
  --output_dir Qwen2-0.5B-SFT \
  --push_to_hub

Treinamento com adaptadores LoRA:

trl sft \
  --model_name_or_path Qwen/Qwen2-0.5B \
  --dataset_name trl-lib/Capybara \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --packing \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 8 \
  --eos_token '<|im_end|>' \
  --eval_strategy steps \
  --eval_steps 100 \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --output_dir Qwen2-0.5B-SFT \
  --push_to_hub

trl dpo - Direct Preference Optimization

Alinhe modelos usando dados de preferência (pares escolhidos/rejeitados).

Treinamento completo:

trl dpo \
  --dataset_name trl-lib/ultrafeedback_binarized \
  --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
  --learning_rate 5.0e-7 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 2 \
  --max_steps 1000 \
  --gradient_accumulation_steps 8 \
  --eval_strategy steps \
  --eval_steps 50 \
  --output_dir Qwen2-0.5B-DPO \
  --no_remove_unused_columns

Treinamento com adaptadores LoRA:

trl dpo \
  --dataset_name trl-lib/ultrafeedback_binarized \
  --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
  --learning_rate 5.0e-6 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 2 \
  --max_steps 1000 \
  --gradient_accumulation_steps 8 \
  --eval_strategy steps \
  --eval_steps 50 \
  --output_dir Qwen2-0.5B-DPO \
  --no_remove_unused_columns \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16

trl grpo - Group Relative Policy Optimization

Treine modelos usando funções de recompensa ou LLM-como-juiz para avaliar gerações e fornecer recompensas.

Uso básico:

trl grpo \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name trl-lib/gsm8k \
  --reward_funcs accuracy_reward \
  --output_dir Qwen2-0.5B-GRPO \
  --push_to_hub

trl rloo - Reinforce Leave One Out

Treinamento RL online onde o modelo gera texto e recebe recompensas com base em critérios personalizados.

Uso básico:

trl rloo \
  --model_name_or_path Qwen/Qwen2.5-0.5B \
  --dataset_name trl-lib/tldr \
  --reward_model_name_or_path sentiment-analysis:nlptown/bert-base-multilingual-uncased-sentiment \
  --output_dir Qwen2-0.5B-RLOO \
  --push_to_hub

trl reward - Treinamento de Modelo de Recompensa

Treine um modelo de recompensa para pontuar a qualidade do texto para RLHF.

Treinamento completo:

trl reward \
  --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
  --dataset_name trl-lib/ultrafeedback_binarized \
  --output_dir Qwen2-0.5B-Reward \
  --per_device_train_batch_size 8 \
  --num_train_epochs 1 \
  --learning_rate 1.0e-5 \
  --eval_strategy steps \
  --eval_steps 50 \
  --max_length 2048

Treinamento com adaptadores LoRA:

trl reward \
  --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
  --dataset_name trl-lib/ultrafeedback_binarized \
  --output_dir Qwen2-0.5B-Reward-LoRA \
  --per_device_train_batch_size 8 \
  --num_train_epochs 1 \

…