Now, about the most curious part of the aerobatic competition — judging!

А теперь про самую любопытную часть пилотажных соревнований — про судейство!

Aerobatics judging is carried out exclusively visually, with only the naked eye! It would be as if figure skating with all its jumps and pirouettes had to be done on a 3×3 meter square of ice, and the judges would remove points for the athlete’s leg not being horizontal enough (tilted up 5 degrees — minus a point!), or for the fact that the athlete jumped too high (height penalty!).

Судейство выполняется исключительно визуально, на глаз! Напоминало бы фигурное катание, если бы прыжки и пируэты надо было делать на квадрате льда 3х3 метра, а судьи снимали бы баллы за то, что нога спортсмена была недостаточно горизонтальна (на 5 градусов отклонена вверх — минус балл!), или за то, что спортсмен слишком высоко прыгнул (штраф за высоту!).

That is, the most important thing here is not how skillfully and correctly the aerobatic maneuvers are executed, but how perfectly they look from judges’ point of view. This changes the whole game quite dramatically…

То есть, главное здесь даже не то, насколько технично и правильно выполнены фигуры, а то, насколько идеально они смотрятся со стороны судей. И это существенно меняет всю игру.

Why is there a difference at all between how the maneuver is made and how it looks from the side?

Почему вообще есть отличия между тем как сделана фигура и как она выглядит со стороны?

The Wind

Ветер

A headwind or a tailwind narrows or stretches all “round” maneuvers, such as loops and Immelman turns. Instead of round ones, you get ellipses.

Встречный или попутный ветер сужает или вытягивает все “круглые” фигуры, такие как петли и полупетли, и вместо “кругляшей” получаются эллипсы.

The crosswind gradually carries the airplane further and further away from the judges or, conversely, closer and closer to them. Both cases are bad, and not due to the risk of flying out of the aerobatic box*. The judges sit only two hundred meters away from the square’s border. If the flight program is performed over their heads or, conversely, too far from them, the position of the aircraft, its trajectory, and the nature of the movement becomes difficult to see for the judges, so they deduct points for such maneuvers.

Боковой ветер постепенно относит самолет все дальше от судей или, наоборот, все ближе к ним. Оба варианта плохи! И не только риском вылететь за пределы пилотажного квадрата*. Судьи сидят всего в двухстах метрах от границы квадрата. Если крутить комплекс у них над головой или, наоборот, слишком далеко от них, судьям становится плохо видно положение самолета, его траекторию и характер движения, поэтому они снимают баллы за такую фигур.

It is necessary to compensate for a crosswind, but this should be done as discreetly as possible. The requirements seem to be contradictory. Turn but don’t turn!

Против бокового ветра необходимо подворачивать, но делать это надо максимально незаметно. Требования, казалось бы, противоречивы. Подворачивать нельзя не подворачивать! Запятую ставьте, где хотите.

Experienced judges can clearly see the nuances of how the pilots are fighting the wind in order to imperceptibly stay inside the square.That is, they notice the invisible, but the points are nevertheless reduced as soon as the invisible becomes noticeable.

Опытные судьи прекрасно видят, как именно хитрят пилоты, чтобы незаметно удерживаться в нужном месте квадрата. То есть, замечают незаметное, но баллы снижают только если незаметное становится заметным.

Visual illusions

Зрительные иллюзии

Also, there are visual illusions. For example, imagine a pilot doing a proper 45° climb. If there is a headwind blowing, the judge will most likely perceive it as 50 degrees. If there is a tailwind, then on the contrary, they will perceive it as 40 degrees. And even if the pilot has a video from the cockpit, confirming his ideal performance of the maneuver, no one will ever see it. Only what the judges perceive is important!

И есть еще зрительные иллюзии. К примеру, на горке пилот ставит самолет ровно под 45 градусов к горизонту. Если при этом дует встречный ветер, судье будет казаться, что там все 50 градусов. А если дует попутный ветер, то наоборот, 40. И даже если у пилота будет видео из кабины, подтверждающее идеальность выполнения фигуры, никто его даже смотреть не будет. Важно то, что видят судьи!

By the way, video is always being recorded from the judge’s position. But it is viewed only in extremely exceptional cases listed in the regulations, and not at all in merely a controversial case.

Кстати, с судейской позиции ведется видеофиксация. Но она просматривается в крайне исключительных случаях, перечисленных в регламенте, а далеко не по любому спорному моменту.

With training and improved skills, pilots get better at understanding the visual illusions, and learn how to distort maneuvers so that they look perfect from the judge’s perspective. For example, doing 40° climb instead of 45° one when flying against the wind.

Пилоты с ростом мастерства все лучше разбираются в зрительных иллюзиях, учатся искажать и подкашивать фигуры так, чтобы со стороны они смотрелись идеально правильно. Например, угол на горке ставят 40 градусов вместо 45-ти, когда летят против ветра.

Therefore, by the way, it is very important for pilots to train with a trainer standing on the ground with a radio instead of sitting in the cockpit.

Поэтому, кстати, пилотам очень важно тренироваться с тренером, стоящим на земле с рацией, а не сидящим в кабине!

In aerobatic competition judging, it is assumed that a perfectly done maneuver brings 10 points. For each mistake, points are deducted in half point increments. Was there a 5 degrees angle deviation? Minus a point. Tilted 10 degrees trying to fight a crosswind? Minus two points. To make it easier to imagine: 6 degrees is the arc swept by second hand between each mark on the clock face⏱! And the judges see this deviation. And, most interestingly, the pilots not only see this, but also learn to do everything deliberately perfectly, to avoid any doubts in perfection!

В судействе предполагается, что идеально выполненная фигура — это 10 баллов. За каждую ошибку баллы снимаются с шагом полбалла. На 5 градусов ошибся с выставлением угла на горке? Минус балл. Отклонился на 10 градусов, пытаясь парировать боковой ветер? Минус 2 балла. Для понимания — 6 градусов — это отклонение секундной стрелки на одно деление на циферблате! И судьи это отклонение видят. И, самое что интересно, пилоты это не только видят, а еще и учатся делать всё нарочито идеально, чтобы ни к чему нельзя было придраться!

But, of course, there remains a “but”. What is the weak link in such judging? That’s right, the subjectivity of the judges, conscious or subconscious. And to counter it there are numerous measures, including some interesting ones during the scoring stage.

Но всё равно, конечно, остается “но”. Какое самое тонкое звено судейства? Правильно, субъективность судьей, сознательная или бессознательная. И для противостояния этому есть куча разных мер, в том числе и на этапе подсчете очков.

Finally the most curious fact about aerobatic competitions: the judges also compete just as much as the pilots do! The difference is that while the pilots compete in the air, the judges compete in…judging; who will give the most fair marks to the pilots.

Ну и самый любопытный факт про пилотажные соревнования: судьи тоже соревнуются, не меньше пилотов! Только если пилоты соревнуются в пилотаже, судьи соревнуются в том, кто наиболее справедливые оценки пилотам поставит.

Overall, the approach to improving the objectivity of judging is comprehensive:

Вообще, подход к повышению объективности судейства комплексный:

• Drawing of lots. The pilots draw to determine the sequence of when it is their turn to fly, and they use that number in radio exchanges, never saying their name. The judges, respectively, do not know the numbers, and, theoretically, do not know who is flying right now.
  In practice, of course, there are so few pilots and planes that judges cannot help but recognize most pilots by their voices. It’s funny when Irishka Grishina’s Extra 330, its bright paint job familiar to everyone, flies up to the aerobatics square, and a young female voice cheerfully chimes in on the radio: “Pilot number 9 approaching the square”. Hmmmm, who could that be?
  Nevertheless, formalities are respected and the judges write down the numbers of the pilots on the scoresheet, not their names.

• Жеребьевка. Пилоты вытягивают номер, какими по очереди они летят, и в радиообмене используют только эти номера. Судьи, соответственно, номеров не знают, и, теоретически, не знают, кто именно сейчас летит.
  На практике, конечно, пилотов и самолетов так мало, что судьи не могут не узнавать большинство пилотов по голосу. Забавно, когда подлетает к квадрату знакомая всем своей раскраской Экстра Иришки Гришиной, и звонкий молодой женский голос бодро чеканит в радио: “Пилот номер 9 разрешите занять квадрат”. Хмммм, кто бы это мог быыыыть?
  Тем не менее, формальности соблюдаются и судьи записывают в судейские протоколы номера пилотов, а не их фамилии.

• Distance. During judging, the judges sit about 20 meters apart from each other, out of earshot in order to avoid influencing each other with their opinions.

• Во время судейства судьи сидят далеко друг от друга, порядка 20 метров, чтобы не слышать друг друга и не влиять друг на друга своим мнением.

• Safety pilots who fly with novice aerobatic pilots are never their instructors, but experienced yet impartial pilots.

• Лётчики безопасности, которые летают с начинающими пилотажниками, обязательно не должны быть их тренерами, а просто посторонними опытными пилотами.

• And, the most important part, the Fair Play System, which is a set of formulas and statistical methods that attempt to consistently remove almost all possible subjectivity from judges’ assessments!

• Ну и, главное, система справедливого подсчета очков — Fair Play System — набор формул и статистических методов, последовательно убирающих почти всю возможную субъективность из судейских оценок!

How it all works:

Как это происходит:

• Pilots fly their flight programs, seven to fourteen maneuvers in each, depending on the level.

• Пилоты летают пилотажные комплексы, от 7 до 14 фигур в каждом, в зависимости от уровня.

• The judges give separate marks for each maneuver — from zero to ten points, as well as a separate mark for the position of the pilot in the aerobatic box.

• Судьи ставят отдельные оценки за каждую фигуру — от 0 до 10 баллов, а также отдельную оценку за местоположение пилота в пилотажном кубе.

• Each maneuver has a difficulty factor that is multiplied by the mark to calculate the score.
  For example, a loop is a simple figure, its difficulty coefficient = 10, that is, in the case of perfect execution (which almost never happens at all) the pilot will receive 10 x10 = 100 points for it. For example, in this year’s Unlimited flight programs in Usman, the most challenging maneuver had a difficulty factor of 74.

• У каждой фигуры есть коэффициент сложности, который умножается на оценку для подсчета очков.
  Например, петля — простая фигура, коэффициент сложности у нее = 10, то есть в случае идеального исполнения (чего не бывает почти никогда вообще) пилот получит 10 х 10 баллов = 100 очков за нее. В Unlimited комплексах этого года в Усмани самая “дорогая” фигура была с коэффициентом сложности 74, например.

• Sum up the points for all the maneuvers, see who got the most points — and, it would seem, the winner has been found! There are multiple judges however, and everyone’s assessments are different, sometimes even radically so. It can even happen that someone scores a 8.5 for a figure, another only a 4.0, while someone else might even put down a zero! Each judge will perceive the angles, distances, and the nature of the plane’s movement a little differently. Judges will also have both different levels of experience and different styles of judging.

• Просуммировать очки за все фигуры, посмотреть, у кого получилось больше очков — и вот, казалось бы, найден победитель! Но судей несколько, и оценки у всех разные, иногда даже кардинально разные. Бывает даже, что кто-то ставит за фигуру 8.5 а кто-то 4.0, а кто-то при этом вообще может ноль поставить! Судьи немного по-разному воспринимают углы, дистанции, характер движения самолета. У судей разный опыт, разный стиль судейства.

This is where the Fair Play System attempts to accommodate and compensate for all these variables.

И здесь нас спасает Fair Play System.

Fair Play System

Система справедливого подсчета очков

FPS is a fair scoring system for aerobatic competition. This system modifies the judges’ “raw” grades in order to remove almost any possible subjectivity and motivate judges towards fairness and professional growth.

Эта система модифицирует “сырые” оценки, которые ставят судьи пилотам на пилотажных соревнованиях, чтобы убрать почти любую возможную субъективность и мотивировать судей к справедливости и повышению квалификации.

Here’s how the FPS processes the grades:

Как именно модифицирует:

• Once the raw grades have been entered into the system, the program eliminates the differences in the judging style of different judges.
  For example, a less experienced or more timid judge is unlikely to recognise so many errors and will often award higher marks in a relatively narrow range, and these are likely to influence the result far more than a judge with greater experience who is liable to see more downgrades — and therefore give lower marks and with a broader spread.
  The program “normalizes” (the statistician’s word for re-balancing of the grades), removes the difference in ranges, and each judge gets the same influence on the result!

• После того, как сырые оценки вбиты в систему, программа устраняет разницу в стиле судейства разных судей.
  К примеру, менее опытный или более робкий судья вряд ли определит много ошибок и часто ставит более высокие оценки в относительно узком диапазоне. А более опытный судья склонен видеть больше неточностей и дает более низкие оценки в более широком диапазоне.
  Программа нормализует оценки, убирает разницу в диапазонах, и каждый судья получает одинаковое влияние на результат!

• The program then checks each judge’s grade for plausibility based on the assumption that the opinion of a majority of judges is “correct”. The marks which didn’t pass the confidence test are recognized as erroneous and thrown out, and instead of them, the “corrected” marks calculated by the system are inserted, taking into account the style of judging of a particular judge.

• Далее программа проверяет каждую судейскую оценку на достоверность, исходя из предположения, что мнение большинства судейской бригады является «правильным». Недостоверные оценки признаются ошибочными и выбрасываются, а вместо них ставятся вычисленные системой оценки с учетом стиля судейства конкретного судьи.

• And in the end, the program checks and compares not the grades for individual maneuvers, but the amount of scores that each judge provided the pilot for the flight program. So the system will see if a judge was biased towards the pilot, and mark down or mark up their grades for all maneuvers — this could be due to personal preferences or antipathies, or an attempt to help the team of his country in international competitions. Invalid points are also replaced by those calculated by the system based on the opinion of the majority of the judges. And only then are the scores from all judges averaged.

• И под конец программа проверяет и сравнивает уже не оценки за отдельные фигуры, а сумму очков, которую каждый судья обеспечил пилоту за комплекс. Так программа увидит, если какой-то судья был предвзятым к пилоту и занижал или завышал его/ее оценки за все фигуры — такое может быть из-за личных предпочтений или антипатий, или в попытке помочь команде своей страны на международных соревнованиях. Недостоверные очки также заменяются на вычисленные системой исходя из мнения большинства судейской бригады. И только после этого очки от всех судей усредняются.

What’s also cool:

Что еще круто:

• all corrections of the grades from “raw” to “fair” are as transparent as possible — they can be seen on the page with the results of each pilot!

• все исправления сырых судейских оценок на “справедливые” максимально прозрачны — их можно видеть на странице с результатами каждого пилота!

• The quality of the judges’ work is openly and thoroughly analyzed. You can look at the analysis of the grades of each individual judge, compare his marks with those of his colleagues, see which of the judges most closely match the point of view of the entire judging team, and which is out of step with his colleagues. Valuable feedback for the judges!

• открыто и тщательно анализируется качество работы судейской коллегии. Можно посмотреть анализ оценок каждого отдельного судьи, сравнить его оценки с оценками его коллег, увидеть, оценки какого из судей наиболее близко соответствуют точке зрения всей судейской бригады, а какой идет не в ногу со своими коллегами. Ценная обратная связь для судей!

• The program also calculates the Ranking Index (RI) for each judge — it shows how right or wrong the judge was in the distribution of ranks between pilots. The smaller the index, the better the judge, the closer they are to the pilot’s final ranks calculated by the system. RIs under ten is a sign of a good judging skills.

• А еще программа вычисляет каждому судье “рейтинг” или Индекс распределения по местам (RI) — по большому счету, он показывает, насколько судья угадал или не угадал с распределением пилотов по занятым в итоге местам. Чем меньше индекс — тем круче судья, тем ближе он к местам, вычисленным системой. Значения RI менее 10 — признак хорошего судейства! К примеру, на одном из скриншотов — анализ судейства 2 и 3 лиг в Усмани — у главного судьи RI всего 1.3, что прямо очень круто!

So the judge sees where he can improve and grow, and the organizers of the competition see which judges are better, and therefore most qualified to invite for judging.

Благодаря такому анализу и рейтингу и судьи видят, куда им улучшаться и расти, и организаторы соревнований видят, каких судей лучше пригласить для судейства.

And so it turns out that while the pilots are competing in aerobatics, the judges are competing in their ability to give fair grades! This fascinated me most of all in the judging☺. This, and the fact that pilots need to fly cunningly, seeking perfection in their maneuvers, but at the same time deliberately making them imperfect so that they look perfect from the judges’ point of view in a given wind.

Вот так и получается, что пока пилоты соревнуются в пилотаже, судьи соревнуются в умении ставить справедливые оценки! Это меня восхитило больше всего в судействе. Это, и то, что летать надо хитро, имитируя идеальность фигур, но при этом осознанно делая их неидеальными, чтобы они выглядели идеальными с ракурса судей при данном ветре.

And here my aerobatics educational series are finished!

Всё, авиаликбез новичка-пилотажника закончен)