Instructions to use Vikhrmodels/Borealis with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Vikhrmodels/Borealis with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("automatic-speech-recognition", model="Vikhrmodels/Borealis", trust_remote_code=True)# Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("Vikhrmodels/Borealis", trust_remote_code=True, dtype="auto") - Notebooks
- Google Colab
- Kaggle
Можно ли её использовать локально, без доступа в интернет?
#1
by Yaroprod - opened
Можно ли её использовать локально, без доступа в интернет?
Да, только предварительно надо скачать веса
Можно еще забить гвоздями
TRANSFORMERS_OFFLINE=1
HF_HUB_OFFLINE=1
У меня, к примеру, Whisper внутри modeling_borealis.py все еще пытался скачаться
AlexWortega changed discussion status to closed
Странная история. Я ставил из гайда https://t.me/vikhrlabs/84
один раз скачивается все необходимое, а дальше все локально