Как проверяют письменную работу на экзамене по французскому?
Два независимых проверяющих, работа вслепую и согласие 0,71 на 6 569 письменных работах TCF.
Вашу письменную работу читает не один человек. Руководство кандидата TCF, версия от апреля 2026 года, описывает две независимые проверки вслепую. А на материале 6 569 реальных работ исследование, представленное на конференции TALN в июле 2024 года, оценивает согласие между этими двумя проверяющими в 0,71. Вот что это значит для вас.
Кто проверяет письменную работу по французскому и как?
Раздел письменной речи TCF состоит из трёх заданий. Согласно руководству кандидата организации France Éducation international, на них отводится 60 минут в TCF tout public, TCF Québec и TCF Canada и 30 минут в TCF IRN. Ожидаемый объём составляет от 60 до 120 слов в первом задании, от 120 до 150 во втором и от 120 до 180 в третьем; версия IRN требует от 30 до 60 слов, затем от 40 до 90.
Дальше идёт проверка, и здесь руководство высказывается прямо: «Les épreuves d'expression écrite (EE) sont évaluées 2 fois de manière totalement indépendante et en double aveugle», то есть каждая работа оценивается дважды, полностью независимо и вслепую. Каждый проверяющий ставит каждому из трёх заданий уровень от «A1 non atteint», то есть ниже A1, до C2. На одну работу приходится шесть уровней, после чего расчётное правило, учитывающее все шесть, даёт итоговый балл и итоговый уровень. Кандидат получает оценку по 20-балльной шкале, переведённую в уровень CEFR.
Одно практическое следствие замечают немногие: руководство предусматривает уровень «A1 non atteint», если задание написано без требуемого количества слов. Считать слова это не мелочь, а условие. Если вы ещё выбираете между двумя семействами экзаменов, наша статья TCF или DELF сравнивает их назначение, а материал о сроках регистрации называет даты.
Ставят ли два проверяющих одинаковый уровень одной и той же работе?
Этот вопрос почти никто не задаёт, но он измерен. Исследование TCFLE-8, представленное на JEP-TALN-RECITAL в июле 2024 года, объединяет 6 569 письменных работ TCF, то есть 581 333 слова, написанных кандидатами с восемью разными родными языками.
На этом корпусе согласие между двумя проверяющими, измеренное квадратично взвешенной каппой, равно 0,71. Согласие между проверяющими и уровнем, который в итоге закрепляется за работой, поднимается до 0,84. Распределение по уровням показывает, что они читают: 689 работ уровня A1, 1 375 уровня A2, 1 466 уровня B1, 1 427 уровня B2, 1 127 уровня C1 и 485 уровня C2.
Именно эти 0,71 объясняют остальную часть процедуры: при значительном расхождении между двумя проверяющими руководство предписывает систематически проводить третью проверку. Сама по себе эта строка выглядит формальностью; рядом с измеренной цифрой она становится необходимой деталью. Два подготовленных специалиста совпадают часто, но не всегда.
Русский язык это одна из крупнейших групп корпуса: 889 работ из 6 569 написаны кандидатами, указавшими русский как основной язык, сразу после английского (917) и арабского (906). Приведённые цифры, таким образом, не далёкое среднее: они описывают выборку, в которой ваш языковой профиль представлен одним из самых полных.
Может ли машина оценить работу по французскому?
Отчасти, и руководство говорит об этом прямо. Некоторые письменные работы, выполненные на компьютере, могут получить первую проверку инструментом FIDELIA; вторая проверка остаётся человеческой, а кандидат, который от такой оценки отказывается, вправе просить бумажный формат. С октября 2024 года руководство описывает так называемую гибридную двойную проверку, и здесь тоже предусмотрена третья, человеческая, при сильном расхождении.
Цифры исследования показывают, где находятся эти инструменты. Модель CamemBERT достигает 0,88 квадратично взвешенной каппы против 0,93 у людей-экспертов. Но точный уровень она угадывает лишь в 57 % случаев против 76 %. Её смежная точность, то есть доля работ, отнесённых к верному уровню или к соседнему, составляет 0,98 против 0,99. Две другие проверенные модели, XGBoost и логистическая регрессия, остаются на 0,79 и 0,69.
Машина редко ошибается сильно, но часто ошибается немного. Это ровно тот профиль ошибки, который исправляет второе человеческое чтение.
Оценивается ли DELF так же?
Нет, и путаница здесь стоит времени подготовки. Регламент экзаменов DELF и DALF, опубликованный в Bulletin officiel № 31 от 27 августа 2009 года, устанавливает общую оценку из 100 баллов, каждое испытание из 25, а в DALF C2 из 50. Порог успеха составляет 50 из 100, и, что важнее, существует минимальная оценка за испытание: 5 из 25, а в DALF C2 это 10 из 50.
Следствие прямое: на DELF сумма в 50 баллов не спасает, если хотя бы одно испытание опускается ниже 5 из 25. На TCF нет ни порога, ни провала, есть только уровень. А регламент DELF не описывает ни двойной проверки, ни работы вслепую: описанная выше процедура относится к TCF, а не ко всем французским экзаменам. Наши статьи о DELF B1 и о подготовке к DELF B2 разбирают испытания каждого уровня.
Чего эти цифры не говорят?
Четыре оговорки. Первая: 0,71 квадратично взвешенной каппы это сильное согласие, а не разногласие, и ничто здесь не позволяет написать, что оценивание произвольно. Вторая: 6 569 это работы, а не кандидаты, и распределение описывает именно этот корпус, а не всю совокупность сдающих TCF. Третья: один из авторов исследования, Венсан Фольни, работает в France Éducation international, которая издаёт руководство, поэтому два источника не полностью независимы, хотя один из них это рецензированный доклад конференции, а другой официальный документ. Четвёртая: корпус содержит только работы TCF, и 0,71 не переносится на DELF, у которого свои комиссии.
Отсюда три действия. Считайте слова каждого задания до сдачи, потому что задание вне заданных границ стоит «A1 non atteint». Относитесь к трём заданиям как к трём отдельным оценкам, потому что каждый проверяющий ставит три. И на DELF смотрите сначала на самую низкую оценку, а не на сумму, потому что именно она способна вас отсеять.
Посчитать слова и прочитать регламент можно самостоятельно, за несколько минут. А понять, держит ли написанное нужный уровень, помогает тот, кто прочитает текст так, как прочитал бы проверяющий. В Frenchee занятия идут вживую с дипломированными носителями языка, индивидуально или в маленькой группе от 3 до 5 человек, без абонемента, а наш тест уровня даёт первый ориентир.
