Мы используем cookie файлы.
Пользуясь сайтом, вы соглашаетесь с нашей Политикой конфиденциальности.

Приглашенный ученый Чихоцкий Анджей Станислав Япония, Польша
Номер договора
14.756.31.0001
Период реализации проекта
2017-2021

По данным на 30.01.2020

33
Количество специалистов
32
научных публикаций
Общая информация

Ученые лаборатории занимаются разработкой новых подходов, основанных на тензорных разложениях, для построения, обучения, использования и хранения параметров глубинных нейронных сетей, позволяющих на порядки снизить вычислительную сложность и объемы памяти, требуемые для работы с сетью, при высоком качестве предсказания.

Название проекта: Тензорные сети и глубинное обучение для интеллектуального анализа данных

Приоритет СНТР: а


Цели и задачи

Направления исследований: Разработка алгоритмов тензорных разложений и нейронных сетей для компрессии данных и машинного обучения, а также практическое применение нейронных сетей и тензорных разложений в биомедицине, телекоммуникациях, агрохимических приложениях, управлении роботами, квантовых компьютерах и других сферах

Цель проекта: Разработка новых подходов для построения, обучения, использования, хранения параметров глубинных нейронных сетей, позволяющих снизить вычислительную сложность и объемы памяти, требуемые для работы с сетью, при высоком качестве предсказания. Применение разработанных подходов для решения прикладных задач, связанных с интеллектуальным анализом данных и машинным обучением. Создание ведущей научно-образовательной лаборатории, которая станет исследовательским центром мирового уровня по направлениям интеллектуального анализа данных и машинного обучения


Практическое значение исследования

Научные результаты:

  • Рассмотрены актуальные задачи тензоризованных алгоритмов машинного обучения и получен ряд новых решений задачи тензоризации и распределенного представления структурированных данных. Доказано, что тензорные сети дают возможность выполнять эффективные распределенные вычисления при сверхбольших объемах данных и параметров, тем самым снижая или даже устраняя эффект «проклятия размерности». Разработаны тензоризованные алгоритмы для ряда прикладных задач.
  • Изучены возможные способы практического использования малоранговых тензорных аппроксимаций для решения широкого класса задач масштабного линейного/полилинейного понижения размерности и связанных с ними проблем оптимизации на тензорных многообразиях, которые крайне сложно решать классическими методами машинного обучения.
  • Исследованы методы обучения генеративных моделей с использованием приближенного байесовского вывода. Предложен устойчивый к шуму метод обучения вариационного автокодировщика с использованием взвешенных K-выборочных оценок на устойчивое правдоподобие. Метод основывается на замене целевого функционала вариационного автокодировщика, маргинального правдоподобия, на его устойчивую к шуму модификацию. Также для эффективной максимизации устойчивого к шуму правдоподобия предложен и исследован ряд нижних оценок, обобщающих взвешенные K-выборочные оценки.
  • Разработаны модели на основе искусственных нейронных сетей (в том числе рекуррентных сетей) для оптимизации функционалов в многомерных пространствах и предложен способ обучения, существенно снижающий эффект переобучения. Также разработана новая вероятностная модель группового разреживания и доказана ее применимость к современным глубоким архитектурам компьютерного зрения типа VGG и ResNet. Результаты численных экспериментов продемонстрировали высокий уровень сжатия и ускорения без потери предсказательной способности при использовании предложенной модели.
  • Создана база данных размеченных рентгеновских снимков, позволяющая тестировать алгоритмы машинного обучения для сегментации, очистки от шумов, автоматического определения положения объектов на изображениях и интеллектуальной классификации данных. Данная база может быть использована для разработки автоматизированных систем поддержки принятия решений в медицинских приложениях.
  • Реализован новый слой, использующий ряд классических методов компьютерного зрения, для различных архитектур сверточных искусственных нейронных сетей, позволяющий существенно ускорить процесс автоматической сегментации изображений и поиска объектов на изображениях при сохранении точности результата, что делает данный подход перспективным для использования в системах реального времени, в том числе работающих на маломощных мобильных платформах. Предложенная модель искусственной нейронной сети на основе нового слоя по качеству не уступает одной из самых быстрых современных моделей ENet.
  • Разработаны новые модели на основе глубинных искусственных нейронных сетей для задач фотореалистичного синтеза изображений, включая такие направления, как изменение атрибутов изображений лиц людей, нейросетевой перенос стиля на примере генерации предметов одежды, семантическая сегментация предметов одежды и альфа-маттинг волос, суммаризация текстур и биологических изображений.
  • С помощью механизма обобщенных тензорных разложений показана универсальность и существование эффективности глубины в рекуррентных нейронных сетях, а также предложен предиктор, моделирующий все двумерные взаимодействия многомерных данных путем представления экспоненциально большого тензора параметров в компактном TT-формате, разработан стохастический алгоритм обучения на основе Римановой оптимизации.
  • Получены теоретические результаты для локальной линейной сходимости алгоритмов чередующейся оптимизации для мультилинейной и малоранговой оптимизации, в частности, для алгоритма чередующихся наименьших квадратов, не зависящего от представления тензоров низкого ранга.
  • Разработан новый метод изучения скрытых марковских цепей, использующий тензорные сети, и предложен эффективный итеративный подход для компрессии и ускорения нейросетевых моделей, позволяющий достигать значительную степень сжатия, сохраняя предсказательную способность модели.
  • Предложен алгоритм построения биомаркеров медицинских растений методами машинного обучения с использованием тензорных разложений на основе данных хромато-масс-спектрометрии в задаче видовой идентификации, разработан метод построения вложенных графов, который может использоваться в любом алгоритме машинного обучения как вектор признаков, описывающий граф, и предложена и исследована негладкая неотрицательная матричная факторизация, показана ее связь со специальным видом глубоких нейронных сетей и ее эффективность в применении к кластерному анализу.
  • Проведено экспериментальное исследование свойств функций потерь глубинных нейронных сетей и показано, что получаемые на практике локальные оптимумы в пространстве весов не являются изолированными и могут быть соединены кривыми, вдоль которых функция потерь и ошибка классификации сохраняют низкие значения.
  • Предложен новый метод построения множества несовпадающих околооптимальных конфигураций генеративных искусственнных нейронных сетей, поскольку для вариационного приближения хранение K независимых генеративных сетей затратно с точки зрения памяти, предложен эффективный метод ансамблирования, требующий хранения лишь трех искусственных нейронных сетей.
  • Показано, что для восстановления изображения высокого разрешения из изображения более низкого разрешения с помощью нейронной сети важна именно архитектура нейронной сети, а не количество данных, используемых для обучения ее параметров, предложены обучаемые латентные сверточные многообразия, свое для каждого изображения обучаемой выборки, которое представляет собой сверточную нейронную сеть, а также общий для всех изображений генератор, который также является сверточной нейронной сетью и оптимизируется во время обучения совместно с латентными сверточными многообразиями, что позволяет получить оптимальное латентное представление для любого набора данных и эффективно устранять любые размытости и искажения на изображениях.
  • Предложена новая архитектура нейронных сетей, которая позволяет распознавать объекты на изображении с высокой точностью, используя легковесную сверточную сеть, которая может быть запущена на маломощных устройствах и мобильных телефонах, не требуя наличия графических процессоров.
  • Разработана новая архитектура нейронной сети для решения задачи получения плотного представления карты глубины из 3D-данных лазерного дальнометра. Предложенная модель извлекает локальные ядра из соответствующего вспомогательного RGB-изображения, локальные ядра оценивают направления диффузии для каждого пикселя, что позволяет распространять информацию через предложенную архитектуру в соответствии со всей сценой и достичь точности, превосходящей современные опубликованные методы.

Внедрение результатов исследования:

  • Полученные результаты станут научно-технической базой для создания программных продуктов, способных работать на мобильных платформах с использованием созданной технологии тензоризации глубинных нейронных сетей. Это сделает возможным офлайн-обработку информации для актуальных задач машинного обучения и анализа данных на мобильных устройствах без обращения к серверу.
  • Реализованный слой нейронной сети для автоматической сегментации изображений и поиска объектов на изображениях встроен в открытую библиотеку машинного обучения PyTorch.
  • Подана заявка на государственную регистрацию программы для ЭВМ «Программа для создания рекомендательных систем «Polara», являющуюся результатом интеллектуальной деятельности в рамках работы в Лаборатории. Программа предназначена для удобного и быстрого создания новых рекомендательных алгоритмов, а также всестороннего анализа качества их работы.

Образование и подготовка кадров:

  • Созданы 5 учебных курсов для программы магистратуры: Deep Learning, Numerical Linear Algebra, Bayesian Methods of Machine Learning, Convex Optimization and Applications, Machine Learning and Applications.
  • Подготовлены 2 тома монографии по тензорным методам Tensor networks for dimensionality reduction and large scale optimization.
  • Подготовлены 2 семинара Numerical tensor methods and machine learning, «Journal Club» (по машинному обучению и тензорным разложениям).
  • Защиты: 1 кандидатская диссертация.
  • 3 студента приняты в аспирантуру.
Сотрудничество:
  • Компания Huawei (Китай): исследование конволюционных сетей
  • Компания LG Electronics (Южная Корея): исследование метода быстрых тензорных сверток сетей
Скрыть Показать полностью
Zhang Y., Wang Y., Zhou G., Jin J., Wang B., Wang X., & Cichocki A.
Multi-kernel extreme learning machine for EEG classification in brain-computer interfaces. Expert Systems with Applications 96: 302-310 (2018).
Xu X., Wu Q., Wang S., Liu J., Sun J., & Cichocki A.
Whole Brain fMRI Pattern Analysis Based on Tensor Neural Network. IEEE Access 6: 29297-29305 (2018).
Khrulkov V., Oseledets I.
Desingularization of bounded-rank matrix sets. SIAM Journal on Matrix Analysis and Applications 39(1): 451-471 (2018).
Sole-Casals J., Caiafa C. F., Zhao Q., Cichocki A.
Brain-Computer Interface with corrupted EEG data: A Tensor Completion Approach. Cognitive Computation 10(6): 1062-1074 (2018).
Kharyuk P., Nazarenko D., Oseledets I., Rodin I., Shpigun O., Tsitsilin A. & Lavrentyev M.
Employing fingerprinting of medicinal plants by means of LC-MS and machine learning for species identification task. Scientific reports 8(1): 17053. (2018).
Фотоальбомы
Вторник , 03.12.2019
Другие лаборатории и ученые
Лаборатория, принимающая организация
Область наук
Город
Приглашенный ученый
Период реализации проекта
Нейроморфные оптические системы

Федеральное государственное учреждение «Федеральный научно-исследовательский центр «Кристаллография и фотоника» Российской академии наук»

Компьютерные и информационные науки

Шатура

Бычков Евгений Алексеевич

Россия

2019-2021

Вычислительно-информационный исследовательский центр (C&IRC)

Федеральное государственное бюджетное учреждение науки Институт прикладной математики Дальневосточного отделения Российской академии наук

Компьютерные и информационные науки

Владивосток

Окадзима Джунносуке

Япония

2019-2021

Центр биоэлектрических интерфейсов

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет «Высшая школа экономики», Институт когнитивных нейронаук НИУ ВШЭ

Компьютерные и информационные науки

Москва

Лебедев Михаил Альбертович

США, Россия

2018-2020