【GENIAC第3期成果】日本語の会議要約AI向け評価ベンチマーク「J-MeetEval」をオープンソースで公開。汎用ベンチマークの順位と”議事録タスクでの実力”が一致しないことを実証。

Nishika株式会社（本社：東京都品川区、代表取締役CEO：山下達朗、代表取締役CTO：松田裕之）は、経済産業省・国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する「GENIAC（Generative AI Accelerator Challenge）」プロジェクトの成果として、日本語の会議要約タスクにおける指示追従性を測る評価ベンチマーク「J-MeetEval」を開発し、GitHubおよびHugging Face上でオープンソースとして公開しました。

J-MeetEvalは、3,000〜11,000字の会議文字起こしに対して「数値は全角で統一」「発言順に並べる」「指定のJSON形式で出力」といった実務さながらの形式・制約を複数同時に課し、その遵守可否を0/1の二値で採点します。4B〜9Bクラスの7モデルを評価した結果、汎用ベンチマーク「Nejumi Leaderboard」での総合スコアの順位と、J-MeetEvalでの指示達成率の順位は逆相関（スピアマン順位相関係数 ρ = −0.52）を示し、「汎用性能が高いモデルが、そのまま良い議事録を書けるとは限らない」ことが定量的に確認されました。

開発背景：会議AIの品質は「文章のうまさ」では測れない

AI議事録の導入が進むなかで、現場から返ってくる不満の多くは「日本語がおかしい」ではなく、「指定した形式で出てこない」というものです。全角で揃えてほしい数字が半角で混ざる、発言順に並べてほしい議事録が話題ごとに再構成される、決定事項だけを抜き出してほしいのに親切なToDoリストまで付いてくる——議事録として使えるかどうかは、こうした「指示どおりに出せるか」で決まります。

しかし既存のLLM評価ベンチマークには、この観点を測る枠組みが十分にありませんでした。当社は以下の3点を課題として整理しました。

1. 採点の再現性 LLMが他のLLMの回答を採点する「LLM-as-a-Judge」方式は、同じ評価を繰り返しただけで判定が入れ替わる、長い回答を高く評価してしまう（verbosity bias）、提示順序で評価が変わる（position bias）といった偏りが知られています。

2. 形式・制約の遵守が測定対象に入っていない 実務では文章の巧拙より「指定された形式で出力できるか」が重要ですが、既存ベンチマークではこれが明示的な減点対象になっていません。指示追従性に特化したベンチマーク「IFEval」は英語のみを対象としており、文体・敬語・全角半角・役職の付与といった日本語固有の観点は含まれていません。

3. 出題形式が実務と乖離 既存ベンチマークの多くは短いプロンプトに指示1つという形式です。実務では数千〜1万字の会議文字起こしに複数の指示が同時に与えられます。

J-MeetEvalの設計：3つの課題への対処

データセット構成

• 合成会議トランスクリプト 197件／指示定義 52件（延べ408指示）

• 16カテゴリ・27種類の指示タイプ（分量指定、出力制約、文体・表記、フォーマット、強調規則、匿名化、表形式、ToDoルール など）

• 入力長 3,000〜11,000字（中央値9,072字）。実会議データの文字数分布に合わせて合成

• 採点は既定でgpt-5-miniを使用し、1指示につき3回投票の多数決

出題例として、鉄道業界の商談会議（5,817字）に対し「数値は全角で統一」「重要なキーワードは太字で強調」「Markdown表（論点｜結論｜担当｜期限）で出力」の3指示を同時に課す、といった設問が含まれます。

評価結果①：汎用ベンチマークの順位と一致しない

4B〜9Bクラスの7モデルを評価した結果は以下の通りです。

Nejumi総合スコアが最も高いQwen3.5-4Bが、J-MeetEvalでは最下位。両者の順位相関はρ = −0.52とマイナスでした。 

指示単位で内訳を見ると、差は「議事録として体裁を整える」種類の指示に集中しています。

応答長中央値が776字と短いNemotronは、簡潔さが評価されやすい汎用ベンチマークでは優位に立ちますが、「指定要素を漏らさず指定分量で出す」ことが求められる議事録タスクでは劣後しました。

評価結果②：日本語固有の”つまずき”と、複合指示による性能劣化

表記統一の非対称性

「半角で統一」の達成率は98%（55/56）である一方、「全角で統一」は27%（7/26）にとどまりました。学習データに多い表記方向には従えても、その逆は苦手という非対称性が確認されました。

範囲の限定は難しい

「決定事項とその根拠となる発言のみを抽出」といった範囲限定の指示の達成率は25%（23/91）でした。 

指示を組み合わせると急激に落ちる

「時系列順に並べる」指示は単体を含む全体では69%（318/460）ですが、他の指示と同時に課すと大きく低下しました。

• 匿名化と組み合わせ：29%（4/14）

• 役職付与と組み合わせ：33%（7/21）

• JSON出力と組み合わせ：36%（5/14）

評価結果③：タスク特化学習により、4Bモデルでも8Bクラス相当へ

当社が会議要約向けに開発したモデル `nishika-inc/gemma-3-4b-it-merge` をJ-MeetEvalで評価したところ、ベースモデル（`google/gemma-3-4b-it`）から大幅な改善が確認されました。

改善幅は、指示の数が多いプロンプトほど顕著でした。

カテゴリ別では、強調規則が46.7%→93.3%、文体・表記が50.0%→81.3%、ToDoルールが25.0%→60.7%、発言順が31.8%→54.5%へと改善。一方で表形式は100%→75.0%と低下しており、改善が一様ではないことも併せて公開しています。 この結果、4Bという小型モデルでありながら、8Bクラスの汎用モデルと同等以上の指示達成率（74.3%）を達成しました。オンプレミス環境など計算資源が限られる条件下でも、タスク特化学習によって実用品質に到達しうることを示しています。

公開物・関連リンク

J-MeetEvalは、評価コード・データセット・全スコア・判定根拠のドキュメントを含めて公開しています。

• 評価コード：https://github.com/nishika-inc/jmeeteval 

• データセット：https://huggingface.co/datasets/nishika-inc/jmeeteval 

• 全モデルのスコア：https://github.com/nishika-inc/jmeeteval/blob/main/docs/results.md

• 指示の相互作用・難易度分析：https://github.com/nishika-inc/jmeeteval/blob/main/docs/instruction_interactions.md

• 16カテゴリ・27指示タイプの定義：https://github.com/nishika-inc/jmeeteval/blob/main/docs/instructions.md

• 技術解説記事：https://zenn.dev/team_nishika/articles/2d346fd1151faa

会議・議事録用途でLLMの選定を行う企業や、日本語タスク向けのモデル開発を行う研究者・開発者が、業務適用前の事前検証に利用することを想定しています。データは合成データであり、実際の会議内容は含まれません。

GENIACプロジェクトについて

GENIAC（Generative AI Accelerator Challenge）は、経済産業省と

国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が、日本国内の生成AI基盤モデル開発力の強化を目的として推進するプロジェクトです。当社は本プロジェクトに採択され、会議・議事録ドメインに特化した日本語モデルおよび評価基盤の開発に取り組んでいます。J-MeetEvalはその成果の一つです。

SecureMemo / SecureMemoCloudとは？

オンプレミス型AI議事録サービス「SecureMemo」とは

• セキュリティ重視のオンプレミス設計：外部ネットワークから完全に遮断された環境で、安全に音声データを処理・保存できます。

• 圧倒的な文字起こし精度：特許技術を活用した独自開発の音声認識AI「shirushi」を搭載し、ノイズ混じりや明瞭でない音声でも正確に文字起こしできます。

• オフライン環境での自動要約生成：オンプレミスでの生成AI要約機能を搭載し、決定事項やTODOまで整理した議事録を生成。自社フォーマットのカスタム議事録にも対応します。

• 多言語文字起こしおよび翻訳機能：約100言語の音声文字起こしと翻訳に対応しています。

• 自動話者識別：事前の声紋登録なしで、話者を高精度に識別します。さらに、話者の声紋を事前登録することで、識別精度を一層高めることも可能です。

クラウド型AI議事録サービス「SecureMemoCloud」とは

• 圧倒的な文字起こし精度：2つの特許技術を活用した独自開発の音声認識AI「shirushi」を搭載し、ノイズ混じりや明瞭でない音声でも正確に文字起こし。（※自社調べ）

• 業界特化＆単語登録でさらに高精度：23業界に特化した文字起こしモデルや単語登録機能により、ビジネス現場で使う固有名詞もしっかり認識。使うほど自社の言葉に合った文字起こしへ改善するパーソナライズ校正も搭載します。

• “ほぼ完成”の議事録やカスタム要約で自動生成：タイトル・日時・参加者・決定事項・議事要旨まで整った、実用度の高い議事録をAIが自動作成。また会社独自のフォーマットや用途別のカスタム要約テンプレートにも対応します。

• 蓄積した会議データをAIエージェントで活用：録音から議事録作成まで一気通貫。さらに蓄積した会議データにチャットで質問するだけで、決定事項やタスクなど必要な情報を即座に引き出せ、会議を組織の資産に変えます。

• 約100言語に対応し、翻訳もワンクリック：多言語会議や海外拠点との連携にもスムーズに対応。 中国語・韓国語・英語を含む100言語以上で文字起こし＆翻訳。

Nishikaの目指すところ

Nishikaは「テクノロジーですべての人が誇りを持てる社会を」をビジョンに掲げ、企業の生産性を高める新たなデータ資産創出に取り組んでいます。 中でも、SecureMemo/SecureMemoCloudを通じて「企業の会議を全てデータ化する」ことをプロダクトビジョンとしており、日本のビジネス会議における会話情報を精度高く記録・構造化することで、付加価値の高い情報活用を実現することを目指しています。

お問い合わせ先

Nishika株式会社 広報（担当: 今野）

メール：pr@nishika.com

URL：https://nishika.com/contact/