Тензорные сети и глубинное обучение для интеллектуального анализа данных

Научные результаты:

• Рассмотрены актуальные задачи тензоризованных алгоритмов машинного обучения и получен ряд новых решений задачи тензоризации и распределенного представления структурированных данных. Доказано, что тензорные сети дают возможность выполнять эффективные распределенные вычисления при сверхбольших объемах данных и параметров, тем самым снижая или даже устраняя эффект «проклятия размерности». Разработаны тензоризованные алгоритмы для ряда прикладных задач.
• Изучены возможные способы практического использования малоранговых тензорных аппроксимаций для решения широкого класса задач масштабного линейного/полилинейного понижения размерности и связанных с ними проблем оптимизации на тензорных многообразиях, которые крайне сложно решать классическими методами машинного обучения.
• Исследованы методы обучения генеративных моделей с использованием приближенного байесовского вывода. Предложен устойчивый к шуму метод обучения вариационного автокодировщика с использованием взвешенных K-выборочных оценок на устойчивое правдоподобие. Метод основывается на замене целевого функционала вариационного автокодировщика, маргинального правдоподобия, на его устойчивую к шуму модификацию. Также для эффективной максимизации устойчивого к шуму правдоподобия предложен и исследован ряд нижних оценок, обобщающих взвешенные K-выборочные оценки.
• Разработаны модели на основе искусственных нейронных сетей (в том числе рекуррентных сетей) для оптимизации функционалов в многомерных пространствах и предложен способ обучения, существенно снижающий эффект переобучения. Также разработана новая вероятностная модель группового разреживания и доказана ее применимость к современным глубоким архитектурам компьютерного зрения типа VGG и ResNet. Результаты численных экспериментов продемонстрировали высокий уровень сжатия и ускорения без потери предсказательной способности при использовании предложенной модели.
• Создана база данных размеченных рентгеновских снимков, позволяющая тестировать алгоритмы машинного обучения для сегментации, очистки от шумов, автоматического определения положения объектов на изображениях и интеллектуальной классификации данных. Данная база может быть использована для разработки автоматизированных систем поддержки принятия решений в медицинских приложениях.
• Реализован новый слой, использующий ряд классических методов компьютерного зрения, для различных архитектур сверточных искусственных нейронных сетей, позволяющий существенно ускорить процесс автоматической сегментации изображений и поиска объектов на изображениях при сохранении точности результата, что делает данный подход перспективным для использования в системах реального времени, в том числе работающих на маломощных мобильных платформах. Предложенная модель искусственной нейронной сети на основе нового слоя по качеству не уступает одной из самых быстрых современных моделей ENet.
• Разработаны новые модели на основе глубинных искусственных нейронных сетей для задач фотореалистичного синтеза изображений, включая такие направления, как изменение атрибутов изображений лиц людей, нейросетевой перенос стиля на примере генерации предметов одежды, семантическая сегментация предметов одежды и альфа-маттинг волос, суммаризация текстур и биологических изображений.
• С помощью механизма обобщенных тензорных разложений показана универсальность и существование эффективности глубины в рекуррентных нейронных сетях, а также предложен предиктор, моделирующий все двумерные взаимодействия многомерных данных путем представления экспоненциально большого тензора параметров в компактном TT-формате, разработан стохастический алгоритм обучения на основе Римановой оптимизации.
• Получены теоретические результаты для локальной линейной сходимости алгоритмов чередующейся оптимизации для мультилинейной и малоранговой оптимизации, в частности, для алгоритма чередующихся наименьших квадратов, не зависящего от представления тензоров низкого ранга.
• Разработан новый метод изучения скрытых марковских цепей, использующий тензорные сети, и предложен эффективный итеративный подход для компрессии и ускорения нейросетевых моделей, позволяющий достигать значительную степень сжатия, сохраняя предсказательную способность модели.
• Предложен алгоритм построения биомаркеров медицинских растений методами машинного обучения с использованием тензорных разложений на основе данных хромато-масс-спектрометрии в задаче видовой идентификации, разработан метод построения вложенных графов, который может использоваться в любом алгоритме машинного обучения как вектор признаков, описывающий граф, и предложена и исследована негладкая неотрицательная матричная факторизация, показана ее связь со специальным видом глубоких нейронных сетей и ее эффективность в применении к кластерному анализу.
• Проведено экспериментальное исследование свойств функций потерь глубинных нейронных сетей и показано, что получаемые на практике локальные оптимумы в пространстве весов не являются изолированными и могут быть соединены кривыми, вдоль которых функция потерь и ошибка классификации сохраняют низкие значения.
• Предложен новый метод построения множества несовпадающих околооптимальных конфигураций генеративных искусственнных нейронных сетей, поскольку для вариационного приближения хранение K независимых генеративных сетей затратно с точки зрения памяти, предложен эффективный метод ансамблирования, требующий хранения лишь трех искусственных нейронных сетей.
• Показано, что для восстановления изображения высокого разрешения из изображения более низкого разрешения с помощью нейронной сети важна именно архитектура нейронной сети, а не количество данных, используемых для обучения ее параметров, предложены обучаемые латентные сверточные многообразия, свое для каждого изображения обучаемой выборки, которое представляет собой сверточную нейронную сеть, а также общий для всех изображений генератор, который также является сверточной нейронной сетью и оптимизируется во время обучения совместно с латентными сверточными многообразиями, что позволяет получить оптимальное латентное представление для любого набора данных и эффективно устранять любые размытости и искажения на изображениях.
• Предложена новая архитектура нейронных сетей, которая позволяет распознавать объекты на изображении с высокой точностью, используя легковесную сверточную сеть, которая может быть запущена на маломощных устройствах и мобильных телефонах, не требуя наличия графических процессоров.
• Разработана новая архитектура нейронной сети для решения задачи получения плотного представления карты глубины из 3D-данных лазерного дальнометра. Предложенная модель извлекает локальные ядра из соответствующего вспомогательного RGB-изображения, локальные ядра оценивают направления диффузии для каждого пикселя, что позволяет распространять информацию через предложенную архитектуру в соответствии со всей сценой и достичь точности, превосходящей современные опубликованные методы.

Внедрение результатов исследования:

• Полученные результаты станут научно-технической базой для создания программных продуктов, способных работать на мобильных платформах с использованием созданной технологии тензоризации глубинных нейронных сетей. Это сделает возможным офлайн-обработку информации для актуальных задач машинного обучения и анализа данных на мобильных устройствах без обращения к серверу.

• Реализованный слой нейронной сети для автоматической сегментации изображений и поиска объектов на изображениях встроен в открытую библиотеку машинного обучения PyTorch.

• Подана заявка на государственную регистрацию программы для ЭВМ «Программа для создания рекомендательных систем «Polara», являющуюся результатом интеллектуальной деятельности в рамках работы в Лаборатории. Программа предназначена для удобного и быстрого создания новых рекомендательных алгоритмов, а также всестороннего анализа качества их работы.

Образование и подготовка кадров:

• Созданы 5 учебных курсов для программы магистратуры: Deep Learning, Numerical Linear Algebra, Bayesian Methods of Machine Learning, Convex Optimization and Applications, Machine Learning and Applications.

• Подготовлены 2 тома монографии по тензорным методам Tensor networks for dimensionality reduction and large scale optimization.

• Подготовлены 2 семинара Numerical tensor methods and machine learning, «Journal Club» (по машинному обучению и тензорным разложениям).

• Защиты: 1 кандидатская диссертация.

• 3 студента приняты в аспирантуру.

• Компания Huawei (Китай): исследование конволюционных сетей

• Компания LG Electronics (Южная Корея): исследование метода быстрых тензорных сверток сетей