Ученые из Массачусетского Технологического Университета создали алгоритм, который способен распознать объекты на изображении на основе их простого языкового описания без дополнительных объяснений.

Прошлые алгоритмы требовали большого количества аннотаций и транскрипций. Новый алгоритм работает значительно проще – например, достаточно сказать «синяя рубашка», и искусственный интеллект найдет объект на изображении.

Система состоит из двух нейронных сетей – первая делит изображение на сетку из маленьких ячеек, а вторая разделяет звуковую спектрограмму на короткие отрезки по 1-2 секунды. Затем искусственный интеллект проверяет, насколько точно аудиодорожка соответствует изображению в сетке.

Ученые убеждены, что разработка может использоваться для создания переводчиков, способных распознать язык и подобрать подходящий перевод с точностью до 100%.