- Воспроизводится ли «глубокое обучение на диете данных»? В целом да, но GraNd при инициализации нет (arXiv)
Автор : : Андреас Кирш
Аннотация: статья Пола и др. «Глубокое обучение на основе данных». (2021) представляют две инновационные метрики для сокращения наборов данных во время обучения нейронных сетей. Хотя мы можем воспроизвести результаты для показателя EL2N в эпоху 20, этого нельзя сказать о показателе GraNd при инициализации. Однако оценки GraNd на более поздних этапах обучения дают полезные сигналы сокращения. Оценка GraNd при инициализации вычисляет среднюю норму градиента входной выборки для нескольких случайно инициализированных моделей до того, как будет проведено какое-либо обучение. Наш анализ показывает сильную корреляцию между оценкой GraNd при инициализации и входной нормой выборки, что позволяет предположить, что последняя могла бы стать дешевой новой базой для обрезки данных. К сожалению, ни оценка GraNd при инициализации, ни входная норма не превосходят случайное сокращение по производительности. Это противоречит одному из выводов Paul et al. (2021). Нам не удалось воспроизвести результаты CIFAR-10, используя как обновленную версию исходного репозитория JAX, так и недавно реализованную кодовую базу PyTorch. Исследование базового кода JAX/FLAX от 2021 года выявило ошибку в коде восстановления контрольной точки, которая была исправлена в апреле 2021 года (https://github.com/google/flax/commit/28fbd95500f4bf2f9924d2560062fa50e919b1a5).
2. Глубокое обучение на основе здоровых данных: поиск важных примеров справедливости (arXiv)
Автор: Абдельрахман Заид, Прасанна Партасарати, Гонсало Мордидо, Хамид Паланги, Самира Шабанян, Сарат Чандар.
Аннотация: Решения для прогнозирования на основе данных, преобладающие в коммерческих приложениях, как правило, страдают от предубеждений и стереотипов, что вызывает обеспокоенность по поводу справедливости. Модели прогнозирования могут обнаруживать, использовать или усиливать ложные корреляции, основанные на гендере или других защищенных личных характеристиках, дискриминируя тем самым маргинализированные группы. Смягчение гендерных предубеждений стало важным направлением исследований в области обработки естественного языка (НЛП) и является областью, где доступны аннотированные корпуса. Увеличение данных уменьшает гендерную предвзятость за счет добавления в набор обучающих данных контрфактических примеров. В этой работе мы показываем, что некоторые примеры в расширенном наборе данных могут быть неважными или даже вредными для справедливости. Поэтому мы предлагаем общий метод сокращения как фактических, так и контрфактических примеров, чтобы максимизировать справедливость модели, измеряемую демографическим паритетом, равенством возможностей и равенством шансов. Справедливость, достигнутая с помощью нашего метода, превосходит справедливость увеличения данных в трех наборах данных классификации текста с использованием не более половины примеров в расширенном наборе данных. Наши эксперименты проводятся с использованием моделей разных размеров и настроек предварительного обучения.
