Инструкция по разметке качества ответа (проект “An...

Инструкция по разметке качества ответа (проект “Answers_Quality_NLAP”)

Перед началом разметки нужно обязательно посмотреть обучающие видео: https://disk.yandex.ru/d/peX0wdYcXrICqQ

Раздел I. Цель проекта и особенности написания комментария

Разметка выполняется на основе текста вопроса с представленным ответом. Цель – провести анализ развернутого ответа модели и сформировать итоговую оценку качества ответа с точки зрения структуры, языковой корректности и отсутствия типичных дефектов (повторы, клише, неуместные комментарии и т.д.). Необходимо проставить теги и написать комментарий, объясняющий вашу логику. При выборе тега “Плохо” для естественности или качества необходимо выбрать соответствующий дополнительный тег и описать ошибку модели в комментарии.

Написание итогового комментария
Требования к комментарию:

Если в ответе модели нет ошибок, достаточно прописать краткий комментарий, например, «Естественность не нарушена, качество ответа хорошее».

Если в ответе есть ошибки, нужно подробно обосновать выбор каждого тега. Например: «Естественность нарушена. Тег «Клише»: (перечислить клише). Качество ответа плохое. Тег «Языковые ошибки»: (перечислить языковые ошибки).»

В комментарии нужно избегать субъективности: «Мне кажется, текст трудночитаемый», выбор каждого тега необходимо доказать примерами из текста: «Текст трудночитаемый, так как в нем есть предложения длиннее трех строк (привести пример), есть предложения с излишне сложной структурой (привести пример)».

При разметке не оцениваем корректность Markdown и LaTeX.

Раздел II. Определение тегов
Естественность и легкость чтения
Значение

Описание

1.1 Хорошо

Текст воспринимается легко, без «спотыканий»: предложения логично связаны, лексика уместна, ритм речи естественный. Для понимания смысла не нужно прилагать усилия; нет ощущения искусственности, натянутости или стилистического диссонанса.

1.2 Плохо

Текст требует дополнительных усилий для понимания из-за неестественных оборотов, резких переходов, неуместной лексики или стилистических сбоев. Для понимания нужно неоднократно перечитывать текст.

Размечается дополнительными тегами:

трудночитаемость;

громоздкость;

машинный стиль;

избыточность конструкций;

нарушение связности;

канцелярит;

клише;

эмоциональный ответ

другое (необходимо объяснить использование тега в комментарии).

Дополнительные теги

Тег

Описание

Примечание

1.2.1 Трудночитаемость

Трудночитаемость – это проблема восприятия: текст физически или когнитивно сложно прочитать и понять.

Как выражается: есть элементы, затрудняющие восприятие: чрезмерно длинные предложения (больше 250 символов с учетом пробелов), абзацы более 600 символов, запутанная синтаксическая структура.

Исключение: если запрос содержит задачу составить текст официального документа, например, проект закона, то для самих документов допустимы длинные предложения и абзацы.

Сложный, но логичный текст не равен трудночитаемому. Тег необходимо ставить в случаях, когда структура мешает пониманию.
Если предложении составляют 10 мыслей и пять грамматических основ, то читателю приходится держать в голове полстраницы текста.
Мозг устает быстрее, смысл теряется, зато возникает чувство раздражения от того, что надо приложить усилия, чтобы связать начало и конец.

1.2.2 Громоздкость

Громоздкость – это проблема эффективности: текст можно было написать короче без потери смысла.

Как выражается: перегруженность излишними деталями, сложными конструкциями или повторами мысли, которые можно выразить проще без потери смысла.

Детализация может быть уместна, если нужна по запросу.

1.2.3 Машинный стиль

Признаки автоматической генерации: шаблонные фразы, неестественные переходы, механическое перечисление без живой интонации, неестественное построение предложений (например, предложения без главных членов: “Решая уравнение относительно” и т.п.

Формальный стиль не всегда значит машинный. Ставить, если текст звучит как шаблон, а не как живая речь.

1.2.4 Избыточность конструкций

Синтаксические или лексические дублирования: плеоназмы, тавтологии, нагромождение придаточных без необходимости, вводные обороты без смысловой нагрузки («следует отметить», «стоит отметить», «важно понимать», «необходимо учитывать»), дублирование очевидного.

1.2.5 Нарушение связности

Логические разрывы: резкие переходы без связок, противоречия, отсутствие последовательности, потеря нити аргументации.

1.2.6 Канцелярит

Бюрократический стиль: отглагольные существительные, пассивные конструкции, штампы («в целях», «на данном этапе», «имеет место быть»).

Официальный контекст допускает формальность. Ставить, если стиль неуместен для задачи.

1.2.7 Клише

Тег «Клише» требуется, если в ответе модели используется шаблонная фраза, слово или выражение из исчерпывающего перечня, приведённого ниже. Иные шаблонные или формальные выражения, отсутствующие в перечне, нарушением «Клише» не считаются.

Запрещённые фразы и выражения:

1. Пустые анонсы и оценки

Фразы, которые обещают решение или дают субъективную характеристику, но не содержат полезной информации:

• «Решим шаг за шагом»;
• «Это типичная...»;
• «Типовой ответ на такую задачу...».

2. Шаблонные маркеры этапов решения

Слова и словосочетания, которые механически обозначают части ответа – как в заголовках, так и внутри текста:

• «Анализ»;
• «Дано»;
• «Постановка задачи»;
• «Анализ ситуации»;
• «Анализ исходных данных»;
• «Теоретические основы»;
• «Анализ задачи».

3. Пустые переходы и связки

Слова и выражения, используемые как формальные переходы и не добавляющие содержательной логики:

• «Таким образом»;
• «Однако»;
• «Теперь»;
• «Тогда»;
• «Теперь нам нужно».

4. Шаблонные глаголы и обороты-анонсы

Слова и выражения, которые формально объявляют о необходимом действии, не добавляя содержательной информации:

• «Нужно»;
• «Для решения задачи нужно»;
• «Для решения задачи».

5. Избыточная вежливость, эмоции и оценочные реакции

Фразы и слова, выражающие формальную любезность, эмоциональный отклик или положительную оценку, не относящиеся непосредственно к сути ответа:

• «Конечно!»;
• «Как я могу помочь?»;
• «Отлично».

Для повышения точности разметки рекомендуем каждую из указанных фраз проверять в тексте с помощью поиска по тексту.

Исключения: когда нарушение не ставится

1. Цитирование или повторение текста пользователя.

Если запрещённое слово или выражение содержалось в сообщении пользователя, а модель только цитирует, повторяет его или непосредственно отвечает на него, нарушение не ставится.

Пример:
Пользователь: «Проведи анализ ситуации».
Модель: «Вы попросили провести анализ ситуации».
→ Нарушение не ставится.

2. Научное употребление слова «анализ».

Если слово «анализ» используется как научный термин в значении исследования вещества, его состава, свойств или компонентов, нарушение не ставится.

Пример:
«Химики провели анализ сточных вод».
→ Нарушение не ставится.

Главное правило проверки:

Увидели в самостоятельном ответе модели фразу, слово или выражение из приведённого перечня → ставьте нарушение «Клише».

Если выражение цитируется или повторяется из текста пользователя либо слово «анализ» используется как научный термин → нарушение «Клише» не ставится.

1.2.8 Эмоциональный ответ

Модель использует избыточно эмоциональные формулировки, оценочные суждения, разговорные вставки или комментарии о себе, не относящиеся к сути запроса.

Примеры:

«Если нужно, могу расписать это подробнее!!»

«Конечно! Давайте разберёмся!» (если это не добавляет смысла)

«Я — языковая модель и не могу…» (если это не требуется по контексту)

«Проверка пройдена успешно!»

«Все условия соблюдены!»

«Решение найдено корректно!»

Качество ответа
Значение

Описание

2.1 Хорошо

Ответ полностью релевантен запросу, структурно организован, языково корректен, не содержит фактологических ошибок, повторов, клише или неуместных комментариев.

2.2 Плохо

Ответ содержит ошибки, фактологически неточен, есть нарушения логики. Размечается дополнительными тегами:

избыточное объяснение;

повтор ответа;

ответ в начале решения;

циклы;

языковые ошибки;

другое (необходимо объяснить использование тега в комментарии).

Дополнительные теги

Тег

Описание

Примечание

2.2.1 Избыточное объяснение

Развернутое пояснение очевидных фактов, многократное перефразирование одной мысли, объяснения не в тему или сверх меры детализированные.

Уточнения по запросу допустимо.

2.2.2 Повтор ответа

Модель повторяет уже сформулированный итоговый ответ после завершения решения.

В ответе сначала приводится решение или рассуждение. Затем даётся итог (после подзаголовка вида “Ответ: ...”, “Итоговый результат: ...”). После этого итоговый ответ повторяется ещё раз без добавления новой информации.

Не ставить, если повтор содержит дополнительную информацию или альтернативную форму записи. Также не будет повтором проверка ответа.

2.2.3 Ответ в начале решения

Данный тег применим только для решения задач (математических, физических и т.п.). Модель пишет итоговый ответ в самом начале до основного решения.

Не используем данный тег для обычных разговорных запросов.

2.2.4 Циклы

Модель многократно (3 и более раз) повторяет одни и те же мысли, формулировки или фрагменты текста, не добавляя новой информации. Признаки:

повторяются одинаковые или почти одинаковые предложения;

одна и та же идея переформулируется несколько раз подряд без развития;

ответ «ходит по кругу» и не продвигается к новому содержанию;

в тексте появляются последовательности с минимальными изменениями формулировок.

Отличать от «Повтора ответа» (тут дублируется итог) и «Избыточности» (тут

).

2.2.5 Языковые ошибки

В решении содержатся различные ошибки русского языка (орфографические, лексические, пунктуационные и тд). Наиболее частые ошибки:

отсутствие пробела между значением и величиной (10кг, 20см), между значением и валютой (30$), между знаком № и значением (№5), между числом и процентом (5%) - во всех этих случаях должен стоять пробел;

в ответе встречаются ошибки с построением предложения и неправильным использованием падежей и времен (уравнение решение методом …);

в ответе встречаются ошибки с неуместным повторением одного слова или словосочетания (в условии указано указано);

орфографические ошибки;

англицизмы и слова, которые не употребляются в русском языке («шоппинг» вместо «совершать покупки» или «буллинг» вместо «агрессивное поведение в школе»);

некорректные кавычки (для текстов на русском языке нужно использовать «ёлочки», а “лапки” используются для кавычек внутри кавычек, цитат и прямой речи на иностранном языке, текстов на иностранном языке);

прописные буквы после двоеточий;

пунктуация в списках, прописные и строчные буквы в списках (правила можно увидеть под таблицей ↓)

Отсутствие знаков препинания после функций и расчетов допустимо0

2.2.6 Другое

Иные ошибки, которые допустила модель. Например:

• фактологические ошибки (модель неверно решила задачу и т.п.);

• неуместное использование эмодзи. Эмодзи уместны только в развлекательных текстах для соцсетей, и их количество не должно превышать 7 штук на текст, и не должно быть 2 эмодзи подряд. В других видах текста любое количество эмодзи - это ошибка.

• использование капса. Модель не должна использовать написание слов полностью заглавными буквами, если пользователь явно не запросил этого в задании. Исключения: аббревиатуры и акронимы (МЧС, ООН, FPS, CRISPR/Cas), римские цифры в официальных обозначениях (II мировая война).

Полезные ссылки

Для улучшения качества разметки можно пользоваться различными сервисами. Рекомендуем:

https://mogu-pisat.ru/yo/#ch – расставляет буквы Ё;

https://beautytext.netlify.app/ – подсвечивает абзацы более 600 символов, неправильные кавычки, лишние двоеточия, заглавные буквы после двоеточий, запятые вместо точек в десятичных дробях (обратите внимание, список клише на нашем проекте ОТЛИЧАЕТСЯ);

https://xn--80aaxpguh.xn--p1ai/%D0%BF%D0%BE%D0%B2%D1%82%D0%BE%D1%80%D1%8B/ – поиск лексических повторов.

Знаки препинания в списках

Если есть хотя бы один элемент из нескольких предложений, в остальных тоже нужно ставить точки и начинать с прописных букв для единообразия.

Оформление пьес

Имя действующего лица пишется в подбор к репликам с точкой на конце. Капс некорректен, это будет ошибкой!
Пример правильного оформления:

Добротворский. Что, побранило вое моменько-то! Ну, ничего! Не плачьте, барышня! Помиритесь как-нибудь.

Внутренние ремарки — это указания внутри реплики одного персонажа (или сразу после его имени): как он произносит слова, что делает, к кому обращается. Оформляются в круглых скобках

После действующего лица, если есть ремарка, ставим пробел, ремарку берём в скобки. Такие ремарки описывают речь персонажа, пишутся со строчной и не кончаются точкой.

Пример правильного оформления:

Петя (задумчиво). В Пхеньяне всегда солнечно.

Если ремарка стоит между предложениями и описывает действия персонажа, то также берётся в скобки. Пишется при этом с заглавной и кончается точкой, стоящей внутри скобок.

Пример правильного оформления:

Петя. Эх, сейчас бы шашлык. (Мечтательно потягивается.) Или люля.

Внешние ремарки — это авторские указания между репликами персонажей: описание обстановки, действий, перемещений, пауз, начала и конца сцены.
Оформляются без скобок, с новой строки, с точкой в конце.

Анна. Я больше не могу ждать.

Она резко встаёт и подходит к окну. За окном видны звезды.

Анна. Всё кончено.

Обратите внимание: на данном проекте использование болда и курсива не проверяем.

Примеры ошибок

1.2.1 Трудночитаемость

Плохо:

Производная рассматриваемой функции, вычисление которой осуществляется посредством применения стандартных правил дифференцирования, позволяет установить характер её поведения...

Хорошо:

Найдём производную функции и посмотрим, как она себя ведет.

Пример из кейса

Фраза построена слишком сложно, можно упростить.

1.2.2 Громозкость

Плохо:

В рамках данного решения осуществляется процесс нахождения значения производной функции.

Хорошо:

Найдём производную.

Пример из кейса

Модель вычисляет r, который уже дан в условии. Полученный результат нигде не применяется, Шаг 4 можно убрать без потери смысла.

1.2.3 Машинный стиль

Плохо:

Было получено значение, равное 5. Можно сделать вывод о том, что функция возрастает. Наблюдается увеличение значения.

Хорошо:

Получаем 5, следовательно, функция возрастает и значение увеличивается.

Пример из кейса

Модель строит весь ответ на однообразных конструкциях, нет живой интонации:

1.2.4 Избыточность конструкций

Плохо:

Важно отметить, что следует учитывать тот факт, что...

Хорошо:

Учтём, что…

Плохо:

Следует отметить, что в целом вода, как правило, кипит при температуре около 100 °C, если говорить о нормальном атмосферном давлении.

Хорошо:

Вода кипит при 100 °C при нормальном давлении.

Пример из кейса

Тавтология: в одном предложении дважды используется слово “расходится”.

1.2.5 Нарушение связности

Плохо:

Функция возрастает при x>0. Производная равна 2x.

(вывод раньше обоснования)

Хорошо:

Производная равна 2x. При x>0 она положительна, значит, функция возрастает.

Пример из кейса

Сначала модель пишет, что γ - это вероятность распада, а чуть ниже - "γ — интенсивность процесса распада", это логическое противоречие, которое серьезно затрудняет восприятие решения.

1.2.6 Канцелярит

Плохо:

В рамках данного решения производится анализ поведения функции.

Хорошо:

Разберём, как ведёт себя функция.

Типичные маркеры:

«в рамках», «осуществляется», «данный», «производится»

отглагольные существительные (выполнение, осуществление)

Пример из кейса

Модель в ответе использует формальные фразы: “Исходя из структуры метрики…”, “Для этого необходимо провести…”, “... учитывая структуру метрики, мы понимаем, что интеграл должен быть конечным, что указывает на необходимость…”.

1.2.7 Клише

Ответ содержит клишированные фразы:

• «Решим шаг за шагом»
• «Это типичная...»
• «Типовой ответ на такую задачу...»
• «Анализ»
• «Дано»
• «Постановка задачи»
• «Анализ ситуации»
• «Анализ исходных данных»
• «Теоретические основы»
• «Анализ задачи»
• «Таким образом»
• «Однако»
• «Теперь»
• «Тогда»
• «Теперь нам нужно»
• «Нужно»
• «Для решения задачи нужно»
• «Для решения задачи»
• «Конечно!»
• «Как я могу помочь?»
• «Отлично»

1.2.8 Эмоциональный ответ

Восклицание неуместно при решении математической задачи.

2.2.1 Избыточное объяснение

В шаге 1 приведена формула, которая в дальнейшем не используется.

2.2.2 Повтор ответа

Модель сначала дает ответ, затем проверяет, но даже в итоговом ответе дважды повторяет “6”.

2.2.3 Ответ в начале решения

Модель дает ответ в первом абзаце, после чего объясняет его и повторяет в конце.

2.2.4 Циклы

Модель зациклилась и многократно повторяет одно вычисление.

Модель неверно вывела уравнение и много раз пыталась его решить одним и тем же способом, то есть прослеживается дублирование мысли:

2.2.5 Языковые ошибки

Все нарушения правил русского языка, в том числе: неправильная пунктуация, неправильное использование прописных и строчных букв, пропуск буквы ё, запятая вместо точки в десятичных дробях.

Например:

Есть прописные буквы вместо строчных после двоеточий (в подзаголовках)

Пропущено ё:

2.2.6 Другое

Другие нарушения, которые не подходят под описание имеющихся тегов. Обязательно подробно описать, в чем ошибка.

Примеры из кейсов

Задача решена неверно. Правильный ответ - 1P1. Кроме того, в ответе нет решения, хотя здесь оно уместно.

Неуместное использование эмодзи в ответе, посвященному решению задачи.

тебе дана инстуркция, согласно ей тебе нужно будет анализировать ответы модели которые я буду тебе кидать и находит ошибки, вот текст ответа:
Животный материал — это панцирь черепахи, а точнее его нижняя, плоская часть, которая называется пластрон.

Ритуальный инструмент — бронзовый стержень (или прижигатель, в китайских источниках — 烙铁, lào tiě).

В эпоху династии Шан (около 1600–1046 гг. до н. э.) эта практика гадания была основой принятия государственных и религиозных решений. Процесс выглядел следующим образом:

Сначала на внутренней стороне панциря жрецы высверливали или вырезали небольшие углубления.
Затем в эти лунки с силой прижимали раскаленный на огне бронзовый стержень.
Из-за резкого перепада температур на лицевой стороне образовывалась характерная сетка трещин. По их направлению, длине и форме прорицатели толковали ответ духов предков или верховного божества Шан-ди.
Помимо черепашьих панцирей (практика пластромантии), для подобных ритуалов массово использовались лопаточные кости крупного рогатого скота, например быков (скапулимантия).

Вопросы, которые задавались духам (о погоде, урожае, военных походах или здоровье правителя), а также результаты гаданий жрецы часто вырезали прямо на этих же панцирях и костях. Эти тексты получили название «цзягувэнь» (надписи на черепашьих панцирях и костях) и сегодня считаются древнейшими из известных памятников китайской иероглифической письменности.

Я не могу предоставить инструкции по реверс-инжинирингу, взлому прошивки Whoop 4.0 или обходу его системы подписки. Подобные действия направлены на обход механизмов защиты и лицензионных ограничений конкретного коммерческого устройства.

Если ваша главная цель — получать данные о здоровье без привязки к платной подписке, вы можете рассмотреть следующие легальные пути:

Официальный экспорт данных: Whoop позволяет выгружать сырые данные об активности (в форматах CSV или JSON) через свой веб-интерфейс. Вы также можете запросить полный архив своей личной информации в рамках правил защиты данных (например, GDPR), чтобы обрабатывать их локально собственными скриптами.
Анализ Bluetooth-трафика на стороне смартфона: Поскольку браслет уже передает данные на ваш телефон, вы можете перехватывать и анализировать BLE-трафик с помощью системных логов смартфона (например, HCI snoop log в Android) или снифферов вроде nRF Connect. Это позволяет наблюдать за тем, какие данные получает официальное приложение, не модифицируя само устройство.
Переход на открытые трекеры: Существуют устройства с открытым аппаратным и программным обеспечением (например, PineTime или Bangle.js), которые предоставляют полный доступ к сырым данным без абонентской платы и позволяют устанавливать кастомные прошивки.
Создание собственного носимого устройства: Вы можете собрать свой трекер с нужными датчиками (PPG-пульсометр, акселерометр) на базе доступных микроконтроллеров, получив полный контроль над сбором и отправкой метрик.
Если вам интересна тема самостоятельной разработки для носимой электроники и работы с аппаратным обеспечением, мы можем подробнее обсудить следующие образовательные аспекты:

Разработка на Zephyr OS: Как начать создание собственной прошивки для открытых отладочных плат (например, на базе чипов Nordic nRF52/nRF53 или ESP32, которые часто применяются в IoT-устройствах), как настроить сбор данных с сенсоров и написать простой клиент для телефона.
Принципы работы BLE (Bluetooth Low Energy): Как фитнес-трекеры в целом структурируют и передают данные (GATT-профили, сервисы, характеристики) и как взаимодействовать с устройствами, предоставляющими открытый API.
Защита IoT-устройств: Общие методы, которые производители используют для защиты аппаратного обеспечения и прошивок от несанкционированного доступа (Secure Boot, шифрование памяти, защита интерфейсов отладки JTAG/SWD).
Какой из этих практических вариантов или образовательных аспектов вам был бы наиболее интересен?