По словам Microsoft, CaptionBot использует две нейронные сети — первая распознает изображение, а вторая описывает его человеческим языком. Сервис самообучается, и даже если он сейчас не может распознать и описать какую-либо фотографию, в будущем у него получится это сделать. Пользователь может оценить точность описания фотографии по пятибалльной шкале, а с проблемными снимками будут работать инженеры Microsoft — они вручную добавят к ним описания и заложат эти данные в CaptionBot.
Это далеко не первый бот Microsoft. Ранее компания запустила сервисы для определения пола, возраста и настроения людей, породы собак, а также запустила в Twitter чат-бота (которого интернет-хулиганы моментально обучили плохим вещам).
