RESEARCH PROTOCOL · v0.1
Как проверить AI на блюдах Узбекистана — до того, как увидеть результаты.
Это предварительный протокол будущего открытого сравнения. Он заранее фиксирует план выборки, референсные данные, метрики, правила публикации и конфликт интересов. В этой версии нет результатов, точности продуктов или победителя.
Только метод исследования. Датасет, сырые ответы, сравнительные таблицы, DOI и выводы пока не опубликованы. Кандидаты на участие не означают партнёрство, доступность или какой-либо результат.
Зачем нужен предварительный протокол
Если критерии выбрать после просмотра ответов приложений, легко незаметно подогнать тест под желаемый вывод. Поэтому Meyorda публикует правила раньше результатов: что считается отдельным кейсом, как фиксируется название блюда и когда допустимо сравнивать калории.
Цель — не выдать одно маркетинговое место в рейтинге, а показать отдельно распознавание семейства блюда, ошибку видимой порции, пропуски и качество диапазонов. Любой итоговый материал должен ссылаться на эту версию или на открыто описанное изменение протокола.
Что фиксируется заранее
Независимой единицей считается тарелка, а не несколько фотографий одной и той же порции.
Фото без названия блюда, подсказки или ручной корректировки после первого ответа.
Целевой размер — 4 сервиса. Финальный список замораживается до начала оценивания; текущие названия — только кандидаты.
Meyorda организует сравнение и планируется как один из участников. Это прямо раскрывается и не позволяет называть тест независимым.
План тестового набора
Планируется 50 типов блюд, распространённых в Узбекистане, по 3 независимо приготовленных или купленных порции — всего 150 тарелок. Для каждой тарелки предусмотрены стандартизированный и обычный смартфонный снимки.
Отдельно планируется 10 негативных контролей: они проверяют ложное распознавание еды, но не включаются в точность распознавания блюд. Двуязычный список блюд и допустимых синонимов должен быть заморожен до прогонов систем.
Подвид блюда оценивается отдельно только тогда, когда он разумно различим по изображению. Скрытую начинку или невидимый рецепт нельзя превращать в обязательную догадку модели.
Что считается референсом
Два проверяющих, владеющих русским и узбекским языками, используют заранее зафиксированный словарь синонимов; разногласия документируются и разрешаются до раскрытия системы в scoring-таблице.
Съедобная часть порции взвешивается после тарирования посуды. Для каждого кейса сохраняются точность весов и примечания к измерению.
Ошибка считается только на отдельно объявленном поднаборе с весами ингредиентов и выходом готового рецепта. Это оценка по таблицам состава, а не лабораторное измерение.
Без документированного рецепта ресторанную тарелку можно проверять по названию и измеренному весу, но не выдавать её предполагаемую калорийность за точный референс.
Запланированные метрики
- точность семейства блюда по независимым тарелкам;
- точность видимого подвида только на пригодных для этого кейсах;
- медианная абсолютная ошибка порции в граммах;
- медианная процентная ошибка порции;
- ошибка калорий только на recipe-grounded поднаборе;
- попадание референса в выданный диапазон вместе с шириной диапазона;
- отказы, неуверенные и отсутствующие ответы как отдельные категории.
Правила воспроизводимости
- Один подготовленный JPEG до 1280 px передаётся всем системам, когда это технически возможно.
- Первичный тест проходит без текстовой подсказки и без исправления результата.
- Порядок кейсов рандомизируется, а сравнение проводится в коротком объявленном временном окне.
- Фиксируются тариф, платформа, язык, настройки, время и видимая версия продукта.
- Для Meyorda заранее замораживаются revision кода, модель, конфигурация и scoring guide.
- Публикуются пригодные ошибки, отказы и пропуски, а не только удачные примеры.
Ограничения и допустимые формулировки
По одной фотографии нельзя увидеть точное количество масла, скрытую начинку, жирность мяса, выход рецепта и реальный вес. Три порции одного блюда дадут описательный benchmark, но не универсальную норму для всех домашних и региональных рецептов.
До публикации полного набора нельзя утверждать, что Meyorda или любой кандидат точнее конкурентов. Даже после теста результаты будут относиться к зафиксированным версиям, кейсам и временному окну, а не ко всему рынку навсегда.
Версии, данные и исправления
Существенное изменение до анализа создаёт новую датированную версию протокола. После результатов замороженная версия остаётся доступной, а исправления данных или расчётов выпускаются отдельной версией с публичным журналом изменений.
Права на датасет и DOI пока не назначены. Они появятся только вместе с реальным набором и отдельно опубликованными условиями использования.
Машиночитаемый протокол
JSON фиксирует план в структурированном виде, а JSON Schema описывает его обязательные поля. Оба файла относятся к версии 0.1 и не содержат результатов.