МЕГАГРАНТЫ

Лаборатория глубинных нейронных сетей

О лаборатории

Наименование проекта
Тензорные сети и глубинное обучение для интеллектуального анализа данных

№ договора:

14.756.31.0001

Наименование организации
Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий"

Область научных исследований
Компьютерные и информационные науки

Разработка принципиально новых подходов построения, обучения, использования и хранения параметров глубинных нейронных сетей, позволяющих на порядки снизить вычислительную сложность и объемы памяти, требуемые для работы с сетью, при высоком качестве предсказания.
Анализ архитектуры современных глубинных нейронных сетей (сверточные и рекуррентные нейронные сети, ограниченные машины Больцмана, автокодировщики и т.д.) и выявление их связи с тензорными сетями.
Исследование возможностей и перспектив использования различных тензорных сетей для малорангового (сжатого) представления данных. Разработка новых алгоритмов для тензорных разложений, в том числе, для разложения тензорного поезда (tensor train, TT-разложение).
Применение методов малоранговых тензорных аппроксимаций, в частности, разложения тензорного поезда (tensor train, TT-разложение) и квантизованного разложения тензорного поезда (quantized tensor train, QTT-разложение) к глубинным нейронным сетям для сжатого (малорангового) представления массивов весов сети, а также формулировка новых алгоритмов обучения в рамках используемого малорангового приближения.
Разработка улучшенной вариационной нижней оценки, которая обеспечивает более точный вариационный Байесовский вывод. Создание методов стохастической оптимизации, заточенных под вид этой новой вариационной оценки и исследование их свойств. Ускорение полученных алгоритмов с использованием методов малоранговых тензорных аппроксимаций.
Применение разработанных подходов к ряду прикладных задач, связанных с интеллектуальным анализом данных и машинным обучением.
Разработка методов деблюрринга (устранения размытостей и искажений) изображений на основе глубинного обучения.
Разработка методов быстрого обнаружения предметов и определения их положения в пространстве на основе глубинного обучения.
Разработка мобильных приложений (способных работать на маломощных устройствах, таких как планшеты, сотовые телефоны и фотоаппараты), реализующих полученные новые быстрые алгоритмы для деблюрринга, обнаружения предметов и определения их положения и т.д.
Создание в Автономной некоммерческой образовательной организации высшего профессионального образования «Сколковский институт науки и технологий» (Сколтех) ведущей научной лаборатории и научно-образовательного центра по методам интеллектуального анализа данных и машинного обучения. После завершения проекта лаборатория станет исследовательским центром мирового уровня по данным тематикам исследований.
Подготовка и проведение ряда лекционных курсов по тематике проекта для студентов Сколтеха.
Привлечение к работе в лаборатории студентов (подготовка магистерских дипломных работ) и аспирантов (подготовка кандидатских диссертаций) Сколтеха и других ведущих Российских вузов.
Проведение на базе Сколтеха открытых семинаров и международных конференций по тематике проекта.
Организация международного сотрудничества с ведущими образовательными и научными организациями и проведение соответствующих мероприятий: стажировка/обмен студентами и аспирантами, организация двусторонних встреч с ведущими учеными по направлению исследования и т.д.

Ведущий учёный

cichocki 

ФИО: Чихоцкий Анджей Станислав

 

Дата рождения 08.08.1947

Гражданство
Польша Япония

Ученые степень и звание

Доктор наук

Место работы

Лаборатория обработки сигналов головного мозга, научный институт мозга, RIKEN

Область научных интересов

Область научных интересов Доктора Чихотского А. включает тензорные разложения и факторизации, интеллектуальный анализ данных, оптимизационные задачи в области биомедицинских приложений и т.д.

Достижения и награды

Согласно данным Академии Google, доктор Анджей Чихотский имеет индекс Хирша 70 с числом цитирования работ более чем 27000. Доктор Анджей Чихотский был приглашен в «Council of Canadian Academies Survey of Science and Technology Strengths» как автор научных работ, имеющий наивысший уровень цитирования (входит в топ 1%) в мире по своей предметной области.

Доктор Анджей Чихотский являлся членом редакции (8 журналов) и рецензентом (более 10 журналов) ведущих мировых научных изданий («Journal of Computational Intelligence and Neuroscience», «IEEE Transaction on Neural Networks», «Methods in Neuroscience», «Neural Computation», «Neurocomputing», «Journal of Neural Networks» и т.д.), членом множества технических комитетов международных программ и конференций («IEEE Circuits and Systems Technical Committee for Blind Signal Processing», «Machine Learning for Signal Processing Technical Committee» и т.д.).

Доктор Анджей Чихотский принимал участие в разработке прикладных программных пакетов: Independent Component Analysis LAB, Nonnegative Tensor Factorization LAB, Nonnegative Matrix Factorizations LAB и др. Также он является автором 6 патентов.

1. Zhao Q, Zhou G, Zhang L, Cichocki A, Amari S. Bayesian robust tensor factorization for incomplete multiway data. IEEE Trans. on Neural Networks and Learning Systems 27(4): 736-748 (2016).
2. Zhou G, Cichocki A, Zhang Y, Mandic D. Group Component Analysis for Multi-block Data: Common and Individual Feature Extraction. IEEE Transactions on Neural Networks and Learning Systems, (2)104, pp.310-331 (2016).
3. Zhou G, Zhao Q, Zhang Y, Adali T, Xie S, Cichocki A. Linked Component Analysis from Matrices to High Order Tensors: Applications to Biomedical Data. Proceedings of the IEEE . 104(2): 310-331 (2016).
4. Li J, Li C, Cichocki A. Canonical Polyadic Decomposition with Auxiliary Information for Brain-Computer Interface. IEEE Journal of Biomedical and Health Informatics (accepted).
5. Chen, L., Jin, J., Daly, I., Zhang, Y., Wang, X., and Cichocki, A. (2016). Exploring Combinations of Different Color and Facial Expression Stimuli for Gaze-Independent BCIs. Frontiers in Computational Neuroscience, 10 (2016).
6. Y. Zhang, G. Zhou, Q. Zhao, A. Cichocki, X. Wang Fast nonnegative tensor factorization based on accelerated proximal gradient and low-rank approximation Neurocomputing, (in press, 2016).
7. Nam Y., Koo B, Cichocki A., Choi S. Glossokinetic Potentials for Tongue-Machine Interface. IEEE SMC Magazine. (accepted).
8. Z. Zeng, A. Cichocki, L. Cheng, Y. Xia, X. Hu: Guest Editorial Special Issue on Neurodynamic Systems for Optimization and Applications. IEEE Trans. Neural Netw. Learning Syst. 27(2): 210-213 (2016).

Back to top