lora_config.json

{
    "r": 32,
    "lora_alpha": 8,
    "target_modules": [
        "fc2",
        "out_proj",
        "fc1",
        "q_proj",
        "k_proj",
        "v_proj"
    ],
    "lora_dropout": 0.05,
    "bias": "none",
    "use_rslora": true
}