Топ вопросов NLP собеседований | трансформер, механизм внимания, берт | Часть 1

Секрет успешного трудоустройства - в дотошной подготовке к собеседованиям!

Знание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!

Содержание:

Таймкоды:

0:00 Что вас ждет?

0:16 Приветствие

0:51 Что такое трансформер?

1:12 В чем отличие трансформера от других архитектур? Сравни с RNN и CNN

3:17 Как выглядит архитектура трансформера? Из каких частей состоит?

5:41 Как работает механизм внимания (attention)?

8:04 Какие виды attention бывают?

11:33 Где взять полезные материалы для более детального изучения информации?

11:52 Зачем нужны позиционные эмбеддинги?

12:31 Как работает позиционное кодирование?

13:02 Какие виды позиционного кодирования есть?

14:40 Какие виды токенизаторов есть?

15:15 Почему именно Byte-Level, почему нельзя по чарам разбивать?

16:08 Какие основные гиперпараметры токенизаторов есть?

17:49 Как можно расширить словарь?

18:35 Самый эффективный способ устроиться в NLP

19:11 Какие трансформерные архитектуры есть?

20:38 Что такое BERT?

23:01 Какие еще задачи может решать с помощью encoder моделей?

24:31 Что такое bi-encoder и cross-encoder? Когда какой вид использовать?

26:25 Как векторизовать тексты с помощью берта?

29:01 Какие еще разновидности берта знаешь?

Конспект с разобранными вопросами: https://t.me/rockaux

Разборы реальных собеседований и много полезного контента: https://boosty.to/lokis_alexandr

Менторство "оффер под ключ", роадмап и консультация: https://sites.google.com/view/lokismlmentor

личный тг: https://t.me/abletobetable

In bundle

free

собес

nlp

transformer

Vladimir Kovrigin

Топ видос, жду вторую часть

Александр Локис