File size: 554 Bytes
2ce7b1a |
1 2 3 4 5 6 7 8 |
python run_train.py --C_init=lecun_normal --activation_fn=half_glu2 \
--batchnorm=True --bidirectional=True --blocks=12 --bsz=8 \
--d_model=64 --dataset=imdb-classification \
--dt_global=True --epochs=35 --jax_seed=8825365 --lr_factor=4 \
--n_layers=6 --opt_config=standard --p_dropout=0.1 --ssm_lr_base=0.001 \
--ssm_size_base=192 --warmup_end=0 --weight_decay=0.07 \
--USE_WANDB True --wandb_project awsome_0 --wandb_entity Vodolay
|