Xiaomi представила открытую модель Xiaomi-OCR-0, предназначенную для распознавания и анализа документов. Код и веса модели доступны на платформах Hugging Face и GitHub под лицензией Apache 2.0.
Модель небольшая: всего 0,8 млрд параметров. Её построили на базе Qwen3.5-0.8B-Base от Alibaba, а обучили примерно на 170 млн примеров распознавания текста и документов. — сообщает «Код Дурова».
Одна модель закрывает три задачи. Она разбирает документы на текст, таблицы и формулы и выдаёт результат в порядке чтения в Markdown или LaTeX. Также она извлекает нужные поля из счетов, чеков, удостоверений и анкет в формате JSON и отвечает на вопросы по документам и графикам, в том числе с вычислениями, а не просто переписывает текст.
Чтобы точнее распознавать сложные таблицы и формулы, разработчики проверяли разметку обучающих данных так: результат разбора заново превращали в картинку и сравнивали с оригиналом. Отдельно модель доучивали на трудных примерах: многоязычных текстах, старинных рукописях, снимках экрана с муаром и фото документов при плохом освещении.
Результаты в тестах, по данным самой Xiaomi: OmniDocBench v1.6: 96,83 балла и второе место в общем рейтинге, первое среди моделей меньше 1 млрд параметров; Real5-OmniDocBench, где документы сканируют, сгибают, фотографируют с экрана и под углом: 95,24 балла и первое место; распознавание формул UniMER-Test: 97,84 балла, таблиц PubTabNet: 92,27 балла; старинные рукописи и каллиграфия Chronicles-OCR: 73 балла против 72 у закрытой Seed 2.0 Pro от ByteDance; пять тестов на ответы по документам: в среднем 83,2 балла, больше, чем у Qwen3.5-2B (80,9) и MiniCPM-V-4.5 на 8 млрд параметров (82,6).
Xiaomi уже использует эту технологию в ассистенте «Супер Сяоай» на своих смартфонах. Он находит на экране коды получения заказа и посылок, суммы и продавцов в чеках для учёта расходов, время и место встречи в сообщениях для создания событий в календаре.
Помимо весов, Xiaomi предоставила демоверсию, работающую в браузере, MCP-сервер и набор навыков для ИИ-агентов. С их помощью модель можно подключить к собственным сервисам и агентам.