フランス語試験の答案はどう採点されるのか
独立した二人の採点者、二重盲検、そしてTCFの答案6,569本で測られた一致度0.71。
あなたの作文答案を読むのは一人ではありません。TCFの受験者マニュアル2026年4月版は、完全に独立した二重盲検方式の二回採点を定めています。そして実際の答案6,569本を対象に、2024年7月のTALNで発表された研究は、この二人の採点者の一致度を0.71と測定しました。これが何を意味するのかを見ていきます。
フランス語の作文答案は誰がどう採点するのか
TCFの文章表現は三つの課題で構成されます。France Éducation internationalの受験者マニュアルによれば、TCF tout public、TCF Québec、TCF Canadaでは60分、TCF IRNでは30分です。要求される語数は課題1が60から120語、課題2が120から150語、課題3が120から180語で、IRN版は30から60語、次いで40から90語です。
次が採点です。マニュアルの文言は明確で、「Les épreuves d'expression écrite (EE) sont évaluées 2 fois de manière totalement indépendante et en double aveugle」、つまり各答案は完全に独立して二度、互いを知らない状態で評価されます。採点者は三つの課題それぞれに、A1未満を示す「A1 non atteint」からC2までの水準を付けます。一枚の答案に六つの水準が記録され、その六つを踏まえた計算規則が最終得点と最終レベルを決めます。受験者は20点満点の得点を受け取り、それがCEFRのレベルに換算されます。
見落とされやすい実務上の帰結があります。課題が要求語数を満たさない場合、マニュアルは「A1 non atteint」を予定しています。語数を数えるのは細かい話ではなく、条件です。二つの試験のどちらにするか迷っている方は、用途を比べたTCFかDELFかと、締切を示した申込時期の記事が参考になります。
二人の採点者は同じ答案に同じレベルを付けるのか
誰も尋ねない問いですが、実際に測定されています。2024年7月のJEP-TALN-RECITALで発表されたTCFLE-8は、TCFの作文答案6,569本、語数にして581,333語を集めたもので、受験者が申告した常用言語は八つに及びます。
このコーパスでは、二次加重カッパで測った二人の採点者の一致度は0.71です。採点者と最終的に確定したレベルとの一致度は0.84まで上がります。レベル別の内訳は、A1が689本、A2が1,375本、B1が1,466本、B2が1,427本、C1が1,127本、C2が485本です。
この0.71が手続の続きを説明します。二人の採点に大きな差がある場合、マニュアルは三人目による採点を例外なく実施すると定めています。単独で読めば形式的な一文ですが、測定値と並べれば必要な部品になります。訓練を受けた専門家二人は、しばしば一致し、常にではないのです。
日本語話者はこのコーパスで最も小さい集団で、6,569本のうち534本です。内訳も特徴的で、A2が135本、B1が171本、B2が170本に対し、C1は48本、C2はわずか2本にとどまります。つまり日本語話者の答案はA2からB2に集中しており、上位レベルの答案が極端に少ない集団だということです。
機械はフランス語の答案を採点できるのか
部分的には可能で、マニュアルも率直に書いています。コンピュータで実施された一部の作文答案は、FIDELIAという支援ツールによる一次採点を受けることがあります。二次採点は人間のままで、この評価を望まない受験者は紙での受験を求められます。2024年10月以降、マニュアルはこれを人間と自動の「ハイブリッド二重採点」と呼び、両者が大きく食い違う場合は三度目の人間による採点を行うとしています。
研究の数字はこれらのツールの位置を正確に示します。CamemBERTは二次加重カッパ0.88に達し、人間の評価者は0.93です。ただし正確なレベルを当てるのは57%にとどまり、人間は76%です。隣接正解率、つまり正しいレベルか一段階違いに収まる割合は0.98、人間は0.99です。他の二つのモデル、XGBoostとロジスティック回帰は0.79と0.69で後れを取ります。
機械は大きく外すことは少なく、小さく外すことが多い。それはまさに、二度目の人間の読みが拾い上げる種類の誤りです。
DELFも同じように採点されるのか
いいえ。混同すると準備の時間を失います。2009年8月27日付Bulletin officiel第31号に掲載されたDELFとDALFの試験規則は、総点100点、各科目25点、DALF C2のみ50点と定めています。合格ラインは100点中50点で、さらに重要なのは各科目に25点中5点という最低点があり、DALF C2では50点中10点になることです。
帰結は明快です。DELFでは一科目でも25点中5点を下回れば、合計50点でも合格になりません。TCFには合格ラインも不合格もなく、レベルだけが出ます。そしてDELFの規則は二重採点にも盲検にも触れていません。上で述べた手続はTCFのものであり、フランス語試験全体の規則ではないのです。DELF B1とDELF B2対策の記事で各レベルの科目を扱っています。
これらの数字が語らないことは何か
留保が四つあります。第一に、二次加重カッパ0.71は強い一致であって不一致ではなく、採点が恣意的だと書ける材料はここにありません。第二に、6,569は答案の数であって受験者の数ではなく、内訳はこのコーパスを描くものでTCF受験者全体ではありません。第三に、研究の著者の一人ヴァンサン・フォルニはマニュアルを刊行するFrance Éducation internationalに所属しており、一方が査読付きの学会論文、他方が公式文書であるとはいえ、二つの出典は完全に独立ではありません。第四に、コーパスはTCFの答案のみで構成されているため、0.71を独自の審査委員会を持つDELFにそのまま移すことはできません。
ここから三つの動作が出てきます。提出前に各課題の語数を数えること。範囲を外れた課題は「A1 non atteint」になるからです。三つの課題を三つの別々の評価として扱うこと。採点者一人が三つ付けるからです。そしてDELFでは合計ではなく最も低い得点をまず見ること。あなたを落とすのはその一つだからです。
語数を数え、試験規則を読むことは一人で、数分でできます。しかし書いたものが目指すレベルに達しているかどうかは、採点者のように読む人がいて初めて分かります。Frencheeでは、有資格のネイティブ講師によるライブ授業を個人または3人から5人の少人数で行っており、サブスクリプションはありません。レベルテストが最初の目安になります。
