Прогноз ВП или методика определения граничных баллов

Предисловие

Олимпиады школьников проводятся в России уже давно. Они бывают разные: проводятся по разным предметам, дают разные привилегии. Самой известной олимпиадой школьников является Всероссийская Олимпиада Школьников (ВсОШ). Но она, конечно, не единственная. Министерством науки и высшего образования Российской Федерации утвержден перечень олимпиад школьников. Одной из олимпиад, входящих в перечень, является Всероссийская олимпиада школьников «Высшая проба». По состоянию на апрел 2024 года, большое количество ее профилей имеют I и II степень (но есть, конечно, и профили, имеющие III степень). Заключительный этап этой олимпиады обычно проводится в феврале, а итоговые результаты публикуют лишь в середине апреля.

Актуальность

Многим участникам (особенно учащимися в выпускных классах) интересно как можно раньше узнать итоговые результаты. У каждого из участников, конечно, свои причины для этого, но перечислю основные:

• Многие участники испытывают стресс в процессе ожидания результатов (даже без наличия на то веской причины)

• Многие участники (особенно учащиеся в выпускных классах) желают скорректировать свою программу подготовки к экзаменам (возможно, что они не планировали активно готовиться, поскольку надеялись на право поступления БВИ)

• Многие участники желают узнать о возможности как-либо использовать привилегии, которые получают награжденные участники олимпиады

• Многие участники желают заранее скорректировать свои планы на июнь так, чтобы попасть на церемонию награждения

• Многие участники желают узнать о возможности использования статуса награжденного участника олимпиады для исправления своей оценки в периоде (хотя бы предварительно оценить свои возможности)

Цель проекта (Проблема)

Заключительные туры олимпиады проходят в феврале, а в марте публикуются предварительные результаты, проходит апелляция. После этого публикуют рейтинговые списки. По сути, рейтинговые списки могут помочь оценить свои результаты до официальной публикации, но это в любом случае вызовет некоторые сложности.Причиной этого является отсутствие единой методики определения граничных баллов (по крайней мере она не была официально опубликована прежде).

Целью проекта является анализ официальных документов (опубликованных Организационным Комитетом олимпиады и Министерством науки и высшего образования Российской Федерации), результатов прошлых лет, а также дальнейшее прогнозирование результатов и описание единой методики, которая была для этого использована. Обязательно должна быть проведена оценка точности методики, актуальной на 2023-2024 учебный год (учитывая официальные граничные баллы, опубликованные Организационным Комитетом олимпиады).

Решение

0. Использованные материалы

• Критерии определения победителей и призеров заключительного этапа (2022/2023)

• Списки результатов и дипломантов Всероссийской олимпиады школьников «Высшая проба»

• Порядок проведения олимпиад школьников

• Положение об олимпиаде 2023/2024

• Регламент олимпиады 2023/2024

• Положение об олимпиаде 2022/2023

• Регламент олимпиады - 2022/2023

1. Ход работы

1. Подробный анализ материалов и результатов прошлого года (из п.0).

2. Разработка единой методики на основе данных, полученных в п.1.1.

3. Разработка программы для быстрого вычисления прогнозных граничных баллов по всем профилям и классам (используя методику из п.1.2).

4. Вычисление прогнозных граничных баллов по всем профилям и классам (используя программу из п.1.3).

5. Оценка точности прогнозов и сравнение граничных баллов (прогнозных из п.1.4 и официальных).

2. Использованная методика

ВНИМАНИЕ: Данная методика не может быть применена к профилю "Информатика".

Пусть N - количество участников в олимпиаде по данному профилю в данном класс; pos(i) - функция, определяющая позицию последнего участника с результатом i, тогда:

1. Определить позицию (в рейтинговом списке) последнего возможного награжденного участника (III степень). - min(0.25 * N; 300).

2. Скорректировать результат п.2.1 с учетом того, что у награжденного участника не может быть меньше 50 баллов, а также учитывая то, что награжденный участник, занимающий худшую позицию в рейтинге и имеющий аналогичный результат, не может существовать. - Повышать прогнозный граничный балл, пока условия не будут выполнены.

3. Определить позицию (в рейтинговом списке) последнего возможного награжденного участника (II степень). - pos(п.2.2) / 2

4. Скорректировать результат п.2.3 с учетом того, что награжденный участник, занимающий худшую позицию в рейтинге и имеющий аналогичный результат, не может существовать. - Повышать/понижать прогнозный граничный балл, пока условие не будет выполнено. (Наименьшее количество участников должно получить/лишиться данной награды в процессе выполнения данного пункта).

5. Определить позицию (в рейтинговом списке) последнего возможного награжденного участника (I степень). - 0.32 * pos(п.2.2)

6. Скорректировать результат п.2.5 с учетом того, что награжденный участник, занимающий худшую позицию в рейтинге и имеющий аналогичный результат, не может существовать. - Повышать прогнозный граничный балл, пока условие не будет выполнено.

7. Установить прогнозный граничный балл III степени равным результату п.2.2, граничный балл II степени равным результату п.2.4, а граничный балл I степени равным результату п.2.6.

8. Если результат п.2.2 равен результату п.2.4 или результат п.2.4 равен результату п.2.6, то изменить граничный балл III степени на произвольный или не указывать (не будет награжденных участников).

9. Если результат п.2.4 равен результату п.2.6, то изменить граничный балл II степени на произвольный или не указывать (не будет награжденных участников).

3. Прогноз

Оценка качества решения (точности прогнозов)

ВНИМАНИЕ: ПРИ ОЦЕНКЕ КАЧЕСТВА РЕШЕНИЯ НЕ БЫЛИ УЧТЕНЫ РЕЗУЛЬТАТЫ ПО ПРОФИЛЯМ, ГДЕ УЧАСТНИКИ БУДУТ НАГРАЖДЕНЫ НЕ ВСЕМИ СТЕПЕНЯМИ (ЯЧЕЙКИ В ПРОГНОЗЕ ВЫДЕЛЕНЫ СЕРЫМ ЦВЕТОМ)

Официальные граничные баллы

Среднее отклонение

Среднее абсолютное отклонение

Точность

Небольшое пояснение

При оценке точности были использованы понятия "без прогрешности" и "погрешность ±2". Второе может показаться бессмысленным, но, на самом деле, смысл в нем есть. В некоторых случаях Организационный Комитет может назначить баллы не строго по ограничению на количество награжденных, а по собственному желанию (по каким-то личным причинам). Возможно, что это нужно лишь для того, чтобы итоговые баллы были "красивее", но гарантировать это нельзя.

Благодарности

Хочется выразить благодарность следующим людям и организациям:

• Организационному Комитету и Жюри олимпиады «Высшая проба» (если бы не они, то олимпиада бы не существовала)
• Быстро откликнувшимся и согласившимся помочь с оценкой точности прогнозов волонтерам.

Также хочется выразить особую благодарность прекрасной девушке Ксюше (@bruhshlag), чья вовлеченность в проект и помощь с оценкой очень велика.

Примечание:

1. Данная статья написана в свободной форме, но ее вполне можно привести к соответствующему ГОСТ виду.

2. Если у вас есть интересные проекты, где я могу принять участие, или вы хотите связаться со мной, то вы можете сделать это здесь.