Это обученная с нуля модель, или тюненая ЛЛАМА3?
Здравствуйте!
Скажите пожалуйста, эта модель - дообученная на русский язык LLAMA3 8b?
С нуля обученная
Здравствуйте!
Скажите пожалуйста, эта модель - дообученная на русский язык LLAMA3 8b?
Это обученная с нуля модель, т.е. pretrain и instruct тюн делали сами.
В офф релизе можно так же посмотреть распределение датасета в обоих кейсах.
Это обученная с нуля модель
Звучит неправдоподобно, у оригинальной LLAMA 3 датасет был в 50 раз больше, чем указанный авторами этой модели, даже у первой LLAMA он был в десятки раз больше. Вдвойне смешны эти заявления про обучение с нуля при попытках использовать катайский - его не было в датасете, но каким-то магическим образом модель знает его почти как оригинальная LLAMA 3. Так что надо бы авторам этого файнтюна соблюсти лицензию LLAMA 3 и написать исходную модель в названии.
Не факт, что модель учили только на этом датасете
С нуля обученная, ага. Не вводили бы людей в заблуждение.
И вы же понимаете, что если это на базе ллама3, то в таком виде это еще и нарушение лицензии?
С нуля обученная, ага. Не вводили бы людей в заблуждение.
И вы же понимаете, что если это на базе ллама3, то в таком виде это еще и нарушение лицензии?
А как доказать, что это лама3, она же тебе этого не скажет?
Какие лицензии о чем вы? Соблюдение лицензий вещь свободной воли. Ничто не заставляет вас соблюдать лицензии кроме закона. В случае нарушения, если оно есть, можно подать в суд, либо удалить отсюда. Развитие ML дело такое, кто во что горазд.
Аналогично LLAMA нарушила кучу лицензий собирая текста, и LIAON обучался на дестком порно. Что поделать или нарушаешь, или сидишь на диване. Это были нарушения, но они на них пошли.. На сколько нарушений пошел OpenAI вообще никто не знает. Тинек команда небольшая, пусть делают как делают. Хоть у них экспертиза какая-то будет. Может от них кто-то к Маску поедет ГРОК развивать.