Мобильное приложение Fabby меняет фон селфи с помощью нейронных сетей.
Новый проект сооснователя Maps.me Юрия Мельничка — мобильное приложение Fabby, позволяющее менять фон селфи с помощью нейронных сетей, — получил $ 2 млн инвестиций в «посевном» раунде, лидером которого выступил фонд Юрия Гурского Haxus, сообщили dev.by в инвесткомпании.
Fabby планирует использовать полученные средства для усиления технологии автоматического отделения объекта от фона на фотографиях и видео.
Основа Fabby — собственный фреймворк для проигрывания нейронных сетей на смартфоне. Сервис работает так: вы делаете селфи, а приложение «окружает» вас фоном.
Варианты есть разные: горящий камин, северное сияние, салюты, падающие снежинки и даже сыплющиеся с неба коты. Часть фонов анимированная, с ними обычная фотография превращается в забавное видео.
Вот что рассказывал tut.by о Fabby Юрий Гурский:
— Основная идея приложения, конечно, не в селфи самом по себе: за ним стоит мощная технология обработки изображения с помощью нейронных сетей. Нейросеть на устройстве пользователя отделяет объект от фона в режиме реального времени.
Подобный подход реализован впервые в мире, потому что разработка требует решения не только нетривиальных математических задач, но и тщательно подготовленного огромного дата-сета. Ранее подобные задачи решались только на серверах в облаке, что требовало огромных вычислительных мощностей и замедляло работу всей программы.
В будущем технологию можно будет использовать не только для отделения человека от фона, но вообще для выделения любого объекта в видеопотоке, например, для сортировки мусора или уничтожения сорняков.
Самое очевидное применение для технологии, по словам ее создателей, — заменять фон во время видеоконференций, чтобы можно было использовать видеосвязь, например, из дома и «не стесняться, что там на заднем плане». В планах стартапа — обработка 360-градусных фото и использование «кастомных» пользовательских фонов.
Проект стартовал в августе 2016. Инвестиции (в том числе от фонда Haxus) на стадии запуска составили более $ 500 тысяч. Сегодня разработку ведет команда из 15 человек в двух офисах в Минске и Цюрихе. В следующем месяце Fabby обещает Android-релиз, расширенное распознавание объектов и обработку видео в real-time. Глобальные задачи — дать пользователю смартфона возможности работы с видео «как у Голливуда» и построить в Беларуси большой исследовательский центр в сфере нейронных сетей и искусственного интеллекта.
22 декабря приложение получило статус Editor’s choice в App Store нескольких стран, включая США и Россию.
