by-lemonade/gender-classifier2

Шаги того, как дообучал

1. За основу взял DeepPavlov/rubert-base-cased
2. Заморозил все веса, будем обучать только классификатор
3. Обернул датасет в torch Dataset и DataLoader - предварительно отфитровал все токены, которые не являются словами. + Добавил Label's
4. hidden_size = self.bert.config.hidden_size self.classifier = nn.Linear(hidden_size, num_labels) - Вытаскиваю скрытый слой трансформера и в решающий
5. Проверка через TestDataset, по ConfusionMatrix

Ответы на вопросы викторины):

1. C

2. C

3. B

4. C

5. C

6. B

7. B

8. C

9. C

10. B

11. B

12. B C A

13. B D H K F G E J C I A

14. E (BPE - поддерживаем мультиязычность)

15. Польскольку это всего лишь абстракция которая решает проблемы подгрузки датасета 15.1. Т.е Если датасет большой можно разбить на батчи

    15.2. Можно паралельно загружать

    15.3. Абстракция что бы агрегировать информацию служебную для датасета, востановить токены, или лейблы

    15.4. Можно гибко использовать остальные функции torch, переиспользовать уже написанные функции

    15.5. По идеи можно из сериализовать

    15.4. Из минусов оверхед

16. Схожий пайплайн, в котором указываем оптимизатор, модель. 16.1. Но. в TF - модель компилируется, и на момент компиляции необходимо указать все параметры обучения.

16.2. Torch последовательный питоновский скрипт с возможностью call вызовов низкоуровневых библиотек

16.3. В Torch бывают другие нахвания функций) Но кому это важно.

16.4. в TF все функции и модули находятся почти в одном месте и имеют более гибкую и удобную адаптацию

16.5. В Торче же, каждый чих свой модуль, и будет ли он поддерживать стиль кто его знает

16.6. В Торче можно намного более глубоко залазить в детали реализации конкретного механизма и писать собственные, на TF я таким не занимался

17. Хм.

    17.1. Самая узкая вещь это AutoModelForSequenceClassification - она решает конкретную задачу классификации, но с трансформером из AUTOMODEL

    17.2. AutoTokenaizer - Очеквидно что это токенайзер, который относительно названия модели подбирает его тип, их же там много. ОЧень важная и узкая вещь, которая привязана к конкретной архитектуре

    17.3. AutoModel - просто обертка над арзитектурой по имени, как я понял по имени оно выбирает архитектуру и можно слои доставать. Общая вещь