Авторы этой статьи предлагают новый способ сокращения больших обученных нейронных сетей, генерируя разреженные и легкие подсети (выигрышные в лотерею билеты), которые достигают по крайней мере равной производительности задач за равное время обучения и с меньшим количеством параметров, чем их большие начальные аналоги. < br /> Гипотеза лотерейного билета утверждает следующее: «Случайно инициализированная плотная нейронная сеть содержит подсеть, которая инициализируется таким образом, что - при изолированном обучении - она может соответствовать тестовой точности исходной сети после обучения в течение не более такое же количество итераций ». Процесс получения выигрышного лотерейного билета начинается со случайной инициализации нейронной сети, обучения сети для j итераций для получения параметров, уменьшения процента этих параметров, сброса оставшихся параметров до их начальных значений и, наконец, повторного обучения подсети - выигрышный билет -. Интересно, насколько важно использовать параметры начального сброса для переобучения подсети, поскольку невыполнение этого повредит производительности задачи подсети. Авторы исследуют эту проблему, сравнивая результаты выигрышных билетов со случайно инициализированными параметрами и используя исходные сбросы. Случайная инициализация параметров вредит процессу обучения, в то время как использование исходных параметров приводит к превосходным результатам. Они демонстрируют тестирование этих открытий в полностью связанных сетях, а также в сверточных сетях. Удивительный факт: в некоторых экспериментах 93% параметров сокращаются для получения выигрышного билета, и они получают лучшую производительность, чем исходная большая нейронная сеть. В общем, поведение процесса обрезки устанавливает оптимальную производительность для определенного процента параметров обрезки. Производительность подсети повышается до этого оптимального значения сокращения. При превышении этого значения подсеть снижает производительность своей задачи до тех пор, пока не достигнет производительности исходной большой нейронной сети.
Последствия этой работы можно использовать для решения различных вопросов, таких как, например, как улучшить производительность обучения, как разрабатывать лучшие сети и улучшать теоретическое понимание глубоких нейронных сетей.
Абстрактный:
«Методы отсечения нейронной сети могут уменьшить количество параметров обученных сетей более чем на 90%, уменьшая требования к хранилищу и улучшая вычислительную производительность вывода без ущерба для точности. Однако современный опыт показывает, что разреженные архитектуры, созданные с помощью сокращения, трудно обучить с самого начала, что аналогичным образом улучшило бы эффективность обучения.
Мы обнаружили, что стандартный метод сокращения естественным образом обнаруживает подсети, инициализация которых позволила им эффективно обучаться. Основываясь на этих результатах, мы формулируем гипотезу лотерейного билета: плотные, случайно инициализированные сети с прямой связью содержат подсети (выигрышные билеты), которые - при изолированном обучении - достигают точности тестирования, сравнимой с исходной сетью, за аналогичное количество итераций. Выигрышные билеты, которые мы обнаруживаем, выиграли лотерею инициализации: их связи имеют начальные веса, которые делают обучение особенно эффективным.
Мы представляем алгоритм для определения выигрышных билетов и серию экспериментов, подтверждающих гипотезу лотерейных билетов и их важность. случайные инициализации. Мы постоянно находим выигрышные билеты, размер которых меньше 10–20% от размера нескольких полносвязных и сверточных архитектур с прямой связью для MNIST и CIFAR10. Выше этого размера выигрышные билеты, которые мы обнаруживаем, обучаются быстрее, чем исходная сеть, и достигают более высокой точности тестирования ».
Вы можете прочитать статью полностью здесь.
Об авторе:
Игнасио Альвизу, исследователь глубокого обучения в Brighter AI.
О Brighter AI:
Brighter AI разработал инновационное решение для обеспечения конфиденциальности визуальных данных: Deep Natural Anonymization. Решение заменяет идентифицирующую личность информацию, такую как лица и номерные знаки, на искусственные объекты, что позволяет использовать все варианты использования ИИ и аналитики, например беспилотные автомобили и умная розничная торговля. В 2018 году NVIDIA назвала немецкую компанию Самым популярным стартапом в области искусственного интеллекта в Европе.
