Мы используем cookie файлы.
Пользуясь сайтом, вы соглашаетесь с нашей Политикой конфиденциальности.

Лаборатория «Многомасштабная нейродинамика для интеллектуальных систем»

Ванг Джун Гонконг
Номер договора
075-10-2021-068
Период реализации проекта
2021-2023
24
Количество специалистов
20
научных публикаций
Общая информация

Название проекта: Многомасштабные интеллектуальные нейродинамические системы для многомерной оптимизации в области машинного обучения и обработки данных.



Цели и задачи

Научной целью предлагаемого проекта является разработка принципиально новых алгоритмов оптимизации на основе многомасштабных коллаборативных нейродинамических систем и связанных с ними современных научных подходов. Особое внимание будет уделено развитию методов решения следующих сложных задач оптимизации:

  • Задачи с невыпуклыми и разрывными целевыми функциями и специальными ограничениями, которые гарантируют гладкость и разреженность решений;
  • Задачи с целочисленными и непрерывными переменными, полученными из условий на допустимое множество решений;
  • Задачи многокритериальной оптимизации с несколькими целевыми функциями, в которых необходимо эффективно найти решение, подходящее для всех целевых функций;
  • Задачи многоуровневой оптимизации в иерархической структуре принятия решений, а также многопериодной оптимизации с динамическим моделированием в условиях убывающего горизонта планирования времени, которые будут рассмотрены с точки зрения динамической оптимизации.

Практическое значение исследования

Созданная научная лаборатория станет исследовательским центром мирового уровня в области многомасштабных коллаборативных нейродинамических моделей для решения задач оптимизации в широком спектре приложений машинного обучения и анализа данных.

Планируемые результаты:

  • Будут решены задачи, связанные с установлением связи между адаптивными нейродинамическими системами, искусственными нейронными сетями и нейронными обыкновенными дифференциальными уравнениями и их приложениями к широкому спектру задач обучения как с учителем, так и без учителя;
  • Будет рассмотрен ряд важных практических направлений, включая робототехнику и робастное управление, суррогатные модели и обратные инженерные задачи, а также оптимизацию архитектуры искусственных нейронных сетей.

научные результаты

 Разработаны новые фундаментальные подходы для решения проблемы глобальной оптимизации и обучения интеллектуальных систем на основе коллаборативных нейродинамических систем (КНС), искусственных нейронных сетей (ИНС) и нейронных обыкновенных дифференциальных уравнений (ОДУ-сети):

·         Разработаны КНС для задач глобальной оптимизации, в том числе рассмотрены перспективы применения многомасштабных КНС для оптимизации бивыпуклых функций, разреженной неотрицательной матричной факторизации, смешанного программирования, оптимизации портфеля и распределения заданий между транспортными средствами.

·         Построены ИНС для оптимизации многокритериальных целевых функций в прикладных задачах предсказания землетрясений, определения характеристик киберспортсменов, распознавания сгенерированного текста, оптимизации параметров априорного распределения моделей вариационных автокодировщиков, оптимизации целевых функций предиктивных моделей и их применения для прогнозирования в нефтегазовой области.

·         Разработаны КНС для задач комбинаторной оптимизации, в частности рассмотрены применения КНС к задаче реконструкции разреженного сигнала и кластеризации.

·         Исследованы методы многомерной крестовой аппроксимации для восстановления многомерных массивов и оптимизации функций многих переменных с использованием малоранговых тензорных аппроксимаций.

·         Построены новые метрики для сравнения многообразий на примере задачи оценки качества глубоких генеративных моделей.

·         Исследованы коллективные эффекты в задачах оптимизации крупных ИНС с одним внутренним слоем и разработаны новые методы, позволяющие прогнозировать результаты работы оптимизационных алгоритмов.

·         Изучена связь между КНС, ИНС и ОДУ-сетями, включая исследование выразительности ОДУ-сетей и оптимального выбора функции правой части системы. В том числе, разработаны методы ансамблирования, приводящие к большей устойчивости ОДУ-сети, методы автоматического построения локально оптимальных предобуславливателей, и методы идентификации ОДУ на основе КНС.

·         Разработаны методы аппроксимации градиентных потоков Вассерштейна, и исследована оценка качества аппроксимаций на основе ИНС, используемых при решении задачи оптимального транспорта.

·         Создан новый метод устранения шумов на полигональной сетке, описывающей форму 3D объекта, с сохранением характеристик особых кривых, основанный на графовых нейронных сетях. Разработанный метод позволяет достичь результатов мирового уровня при работе с данными различной зашумленности (в том числе, при обработке данных САПР моделей).

·         Разработан новый подход к тестированию алгоритмов поиска эффективных рекуррентных нейросетевых архитектур, используемых для моделирования естественного языка. С помощью разработанной системы тестирования и специально сгенерированных тестовых данных было выявлено, что эффективность рекуррентных нейросетевых архитектур значимо коррелирует с различными статистиками, которые были предложены для прогнозирования эффективности и протестированы на различных наборах тестовых данных. Созданный алгоритм будет стимулировать развитие методов поиска рекуррентных нейросетевых архитектур, используемых для обработки естественного языка, и будет полезен для различных практических приложений.

·         Исследована производительность подхода на основе коллаборативных нейродинамических систем (CNO-SBL) для решения задач многоуровневой оптимизации при идентификации динамических моделей. Исследование проведено на широком спектре динамических систем, включая хаотические системы, быстро-медленные системы, системы с первым интегралом и многомерные системы.

·         Разработаны новые нейродинамические подходы для оптимизации портфеля финансовых инструментов на основании исторических данных рынка ценных бумаг, которые учитывают возможное резкое изменение статистических свойств финансовых показателей. Предложенные подходы показали превосходство в эффективности оптимизации портфеля на основных данных мирового рынка.

·         Разработаны новые методы восстановления разреженных сигналов в рамках смешанно-целочисленной задачи. Соответствующая задача была переформулирована как глобальная задача оптимизации с суррогатной целевой функцией, а ее решение произведено с использованием нейродинамической оптимизации, набора рекуррентных нейронных сетей и метода роя частиц.

·         Разработан набор алгоритмов для решения практически значимой задачи восстановления информации о структуре трехмерных пористых материалов по их двумерным срезам на основе глубокой нейронной сети с модулями кодировщика, генератора и дискриминатора с автоматическим подбором распределения для всех возможных трехмерных структур определенного типа. Предложенный подход может применяться в различных приложениях, включая изучение горных пород на микроуровне.


- Внедрение результатов исследования

Фундаментальные научные результаты лаборатории развиваются непрерывно, уже в настоящее время оказывая существенное влияние на развитие данной научной тематики в Российской Федерации и за ее пределами. Прикладные результаты, основанные на созданных научных разработках, будут реализованы в среднесрочной и долгосрочной перспективе – конкретная практическая реализация предложенных научных подходов связана с непосредственной деятельностью потенциальных бенефициаров: научных и научно-образовательных организаций, специализирующихся на проведении фундаментальных и прикладных исследований в области искусственного интеллекта и нейродинамических систем, а также организаций, занимающихся разработкой интеллектуальных систем в задачах оптимизации, робототехники, моделирования физических систем и компьютерного зрения.

Образование и переподготовка кадров

Разработано две новые образовательные программы.


 сотрудничество

Члены научного коллектива сотрудничают с крупнейшими международными технологическими компаниями, а также лидерами российской экономики: Сбербанк, Газпромнефть. 


 


 

Скрыть Показать полностью
Che H., Wang J., Cichocki A.
Bicriteria Sparse Nonnegative Matrix Factorization via Two-Timescale Duplex Neurodynamic Optimization. IEEE Transactions on Neural Networks and Learning Systems. 2021.
Oseledets I., Fanaskov V.
Direct optimization of BPX preconditioners. Journal of Computational and Applied Mathematics. 2021.
Duplyakov V., Morozov A., Popkov D., Shel E., Vainshtein A., Burnaev E., Osiptsov A.
Data-driven model for hydraulic fracturing design optimization. Part II: Inverse problem. Journal of Petroleum Science and Engineering. 2021.
Kail R., Zaytsev A., Burnaev E.
Recurrent Convolutional Neural Networks help to predict location of Earthquakes. IEEE Transactions on Geoscience and Remote Sensing. 2021.
Oseledets I., Rakhuba M., Uschmajew A.
. Local convergence of alternating low-rank optimization methods with overrelaxation. Numerical Linear Algebra with Applications. 2022.
Shen Y., Fu H., Du Z., Chen X., Burnaev E., Zorin D., Zhou K., Zheng Y.
GCN-Denoiser: Mesh Denoising with Graph Convolutional Networks. ACM Transactions on Graphics (TOG). 2022.
Takahashi K., Sun Z., Solé-Casals J., Cichocki A., Phan A. H., Zhao Q., Zhao H, Deng S, Micheletto R.
Data augmentation for Convolutional LSTM based brain computer interface system. Applied Soft Computing. 2022.
Che H., Wang J., Cichocki A.
Sparse Signal Reconstruction via Collaborative Neurodynamic Optimization. Neural Networks. 2022.
Volkhonskiy D., Muravleva E., Sudakov O., Orlov D., Burnaev E., Koroteev D., Belozerov B., Krutko V.
Generative Adversarial Networks for Reconstruction of 3D porous media from 2D slices. Physical Review E. 2022.
Klyuchnikov N., Trofimov I., Artemova E., Salnikov M., Fedorov M., Filippov A., Burnaev E.
NAS-Bench-NLP: neural architecture search benchmark for natural language processing. IEEE Access. 2022.
Другие лаборатории и ученые
Лаборатория, принимающая организация
Область наук
Город
Приглашенный ученый
Период реализации проекта
Лаборатория «Гибридные методы моделирования и оптимизации в сложных системах»

Сибирский федеральный университет - (СФУ)

Компьютерные и информационные науки

Красноярск

Станимирович Предраг Стеван

Сербия

2022-2024

Лаборатория «Исследование сетевых технологий с ультра малой задержкой и сверхвысокой плотностью на основе широкого применения искусственного интеллекта для сетей 6G»

Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича

Компьютерные и информационные науки

Санкт-Петербург

Абд Эль-Латиф Ахмед Абдельрахим

Египет

2022-2024

Лаборатория нелинейной и микроволновой фотоники

Ульяновский государственный университет - (УлГУ)

Компьютерные и информационные науки

Ульяновск

Тейлор Джеймс Рой

Великобритания, Ирландия

2021-2023