Израильские учёные уточнили, как может учиться мозг

Учёные Бар-Иланского университета показали на искусственных нейросетях: рост качества обучения связан прежде всего с настройкой уже существующих связей, а не с постоянным расширением самой сети.


Представление о том, что каждое новое знание прокладывает в мозге отдельную «дорожку», удобно, но слишком буквально. В нервной системе действительно меняются контакты между клетками, однако израильские исследователи решили проверить другой вопрос: обязательно ли успешное обучение требует усложнять всю схему связей или достаточно точнее настроить то, что уже существует.

Работу выполнили Янир Харель, Таль Халеви, Ронит Гросс, Шалом Рознер и профессор Идо Кантер из Бар-Иланского университета. Эксперимент проводили не на людях и не на животных. Учёные обучали искусственные нейросети языковым задачам, увеличивали объём данных, а затем удаляли часть соединений и проверяли, когда качество модели начнёт падать.

С ростом обучающей выборки модели работали лучше. При этом доля связей, которые можно было убрать без заметной потери точности, почти не зависела от размера массива данных. Значит, улучшение происходило не потому, что сеть становилась архитектурно сложнее. Она эффективнее распределяла значения между уже имеющимися соединениями — так называемые веса.

«Это особенно интересно для биологического мозга, где число нейронов остаётся примерно постоянным», — отметил первый автор работы Янир Харель. По его словам, пока нет подтверждённого механизма, который позволял бы мозгу при каждом обучении непрерывно и в большом масштабе перестраивать всю топологию нейронной сети.

Если объяснять проще, важным может быть не количество проводов, а точность их настройки. Один и тот же набор элементов способен давать совершенно разные результаты в зависимости от того, какие сигналы усиливаются, какие ослабляются и насколько согласованно работает система.

При этом исследование не доказывает, что человеческий мозг вообще не создаёт новых связей. Биологи наблюдают рост и исчезновение дендритных шипиков, образование новых синапсов и структурные изменения, сопровождающие опыт. Работа из Бар-Илана говорит о другом: для заметного улучшения обучения крупная сеть не обязана постоянно расширяться. Значительная часть прогресса может обеспечиваться перенастройкой существующих контактов.

Есть и ещё одно ограничение. Статья посвящена прежде всего способам оценивать возможности языковых моделей. Авторы показали, что показатель «ёмкость на один вес» плохо отражает сложность таких задач, и предложили альтернативу — оценивать ёмкость относительно числа меток или классов. Сходство с биологическим мозгом здесь остаётся научной гипотезой, а не результатом прямого наблюдения за человеком.

Практический смысл открытия пока ближе к искусственному интеллекту. Если качество можно повышать без бесконечного наращивания архитектуры, модели удастся делать компактнее и экономичнее. Для нейробиологии работа формулирует полезный вопрос: возможно, способность учиться определяется не количеством новых элементов, а тем, насколько тонко мозг умеет перенастраивать уже созданную систему.

СОВЕТ ОТ РЕДАКЦИИ

Не стоит превращать это исследование в бытовой рецепт для памяти. Оно не сравнивало методы учёбы, сон, питание или упражнения. Его вывод касается принципа работы сети: улучшение возможно не только через рост структуры, но и через более точную настройку существующих связей.

Фото: редакция ИЗНАНКИ.