Resnet для схуднення No2

Коментарі

Копіювати посилання Цитувати відповідь

hiyijian прокоментовано 21 вересня 2017 р. •

Шановний @ liuzhuang13,
Я думаю, нам слід обрізати якийсь канал ядер наступного шару conv після обрізки поточного шару. Чи правий я?
Тому я не можу зрозуміти, як тонкий залишковий блок використовувати ваш метод.

На двох гілках можуть бути обрізані різні канали, тому ми можемо обрізати лише перетин обох?

Майже та ж ситуація у версії ярлика. Як ти з цим справляєтьсяш?

Текст успішно оновлено, але виявлені такі помилки:

liuzhuang13 прокоментовано 22 вересня 2017 р. •

У наших моделях залишковою гілкою є BN-RELU-CONV-BN-RELU-CONV-BN-RELU-CONV.

Крім того, зберігаються всі функції з відображення ідентичності та останньої CONV у залишковій гілці. Отже, основна гілка має вихідну ширину ResNets. Обрізка відбувається лише шарами всередині залишкової гілки.

Усередині кожної залишкової гілки:

У першому рівні BN, якщо ми виявляємо дуже малі параметри масштабування, ми маскуємо відповідні канали перед першим шаром BN шаром виділення каналів (насправді цей вибір каналу викликає накладні витрати часу, тому я не рекомендую це робити на практиці).

Останній CONV виводить таку ж кількість каналів, що і основна гілка (немає BN для вибору).

Для інших проміжних шарів обрізка така ж, як і в звичайній мережі (наприклад, VGG).

Якщо ваша залишкова гілка відрізняється від нашої, можливо, вам доведеться змінити процес обрізки. Але ключовим моментом є те, що основна гілка не схудла, обрізка відбувається лише всередині залишкової гілки. Як ви обрізаєте залишкову гілку, залежить від того, як ви впорядковуєте свої шари BN та CONV.