» » Новый алгоритм позволит сделать «глубинное обучение» эффективнее

Искусственный интеллект

Новый алгоритм позволит сделать «глубинное обучение» эффективнее

Новый алгоритм позволит сделать «глубинное обучение» эффективнее

Исследователям из Университета Райса удалось адаптировать распространенную технологию быстрого поиска данных, чтобы сократить количество вычислений в рамках глубинного машинного обучения. Метод применим к любой архитектуре, при этом, чем больше нейросеть, тем значительнее можно сократить затраты на вычисления.

Новый метод особенно актуален для технологических гигантов, таких как Google, Facebook и Microsoft, которые работают с огромным количеством данных при разработке автономных машин, переводчиков и систем автоматических ответов на электронные письма.

Предлагаемый командой из Университета Райса метод основан на традиционном «хэшировании», превращающим данные в небольшие числа, с которыми легко работать. Эти хэши сохраняются в таблицах, которые можно сравнить с оглавлением книги. Такой подход позволяет сократить затраты на вычисления без значительной потери точности – по результатам исследований количество вычислений удалось сократить на 95%, тогда как точность изменилась всего на 1%.

Основной элемент сети глубинного обучения – это искусственный нейрон, математическая функция, превращающая исходные данные в некоторый результат. В ходе машинного обучения все нейроны изначально одинаковы, но специализируются в процессе. Системе «демонстрируют» большие объемы данных, и каждый нейрон распознает отдельные ее части и закономерности. Нейроны нижнего уровня выполняют простейшие задачи, передавая результаты работы нейронам более высокого уровня. Системы с всего несколькими уровнями нейронов могут научиться распознавать на изображениях лица, собак, дорожные знаки и другое.

Чем больше в системе нейронов, тем больше у нее возможностей – сегодня единственным ограничением являются доступные вычислительные ресурсы, поскольку разработанные 30-50 лет назад алгоритмы просто не рассчитаны на такой уровень сложности. Новая разработка позволяет сократить количество необходимых вычислительных ресурсов – чем больше нейросеть, тем значительнее экономия. Согласно математическим моделям, в нейросети из миллиарда нейронов экономия может составить более 99% процентов.




Похожие новости

Присоединяйтесь

Среди человеческих действий самые важные – те, которые нельзя повторить второй раз. То, что можно повторить, оставь лучше роботам.

Журналисты

Цитата

Мы создали думающие машины, а надо было – чувствующие!

Александр Вяземка. Плато