Про идею

В январе 2021 года в компанию MediaSoft обратилась команда Pro.Читай с задачей разработать мобильное приложение для проверки чтения текста пользователем, которое с помощью AI-технологий, а конкретно функции распознавания речи, поможет определить, насколько чтение соответствует заданному тексту.

Для этого mobile-разработчики MediaSoft создали алгоритм, который парсит текст и производит поиск и сравнение этого текста с распознанной речью.

Как это работает:

1. Пользователь читает текст с электронного носителя (смартфон/планшет) 

2. Приложение распознает речь, сравнивает ее с текстом и выдаёт оценку чтения (хорошо, средне, плохо)

Получилось приложение, которое с большой степенью точности определяет, насколько речь пользователя соответствует тексту. Такой функционал может применяться в различных отраслях: образовательные проекты, контроль качества работы персонала и другие. 

О мастер-классе

В рамках мастер-класса мы не будем повторять все приложение под iOS, а напишем только его часть. Ее функционал: 

• распознавать речь и выводить ее текстом на экран телефона;

• сравнивать речь с подготовленным текстом и отмечать в тексте блоки, которые совпали.

Для кого

Для разработчиков начального и среднего уровня, и всех, кто хочет научиться работать с AI-технологиями по распознаванию речи.

Нам понадобится

• XCode 12+

• iPhone с iOS 13+ или симулятор с микрофоном

• Начальные знания Swift

Теоретическая часть

1. Распознавание речи: что это такое, как устроено и где применяется

2. Фреймворк Speech от Apple и краткий обзор аналогов

3. Нечеткое сравнение строк

4. Возможности приложений с функцией распознавания речи

Практическая часть

В практической части мастер-класса используется код, созданный в рамках разработки командой MediaSoft продукта Pro.Читай. Приложение в App Store 

1. Развернем проект, рассмотрим подготовленные элементы на экране и внутри проекта, определим бизнес-задачи для приложения

2. Внедрим фреймворк распознавания речи Speech от Apple, реализуем вывод распознанного с помощью него текста на экран, произведем нужную настройку фреймворка

3. Реализуем функционал парсинга текста, по которому будет производиться поиск и сравнение с распознанной речью

4. Напишем алгоритм поиска и добавим выделение текста в соответствии с распознанными словами