Create quant_config.json

quant_config.json

@@ -0,0 +1,4 @@
+{
+  "quant_method": "bitsandbytes",
+  "load_in_8bit": true
+}