ChatGPTの答えが毎回違うとき｜自社が出た割合を回答数で読む

同じ質問を ChatGPT にして答えが毎回同じでないのは前提で、困るのは 1 回の結果で決めることです。回答 1 件で自社が出た割合が何ポイント動くかを先に出し、2 回の差は件数に直して読みます。

この記事でわかること
- OpenAI は、文を完成させる妥当な方法が複数あるため応答にはランダム性の要素があり、同じ質問にクエリごとに異なる回答が返される可能性があると説明している
- 無料 AI 検索診断の 1 回は最大 5 つの質問 × 3 つの AI = 最大 15 回答で、自社が出た割合（見つかり率）の分母は有効だった回答の数
- 回答 1 件の重さは 100 ÷ 回答の数で、15 回答なら約 6.7 ポイント、10 回答なら 10.0 ポイント（本記事の計算）
- エリスグリ AIO の登録後の画面は、計測回答数が 10 件未満の見つかり率を「回答数少なめ・参考値」と表示し、前期比を出さない

同じ質問でも答えが変わるのは、OpenAI も可能性を認める前提⁠

同じ質問への答えが毎回同じにならないことは、OpenAI 自身がヘルプで説明しています。

OpenAI のヘルプは、文を完成させる妥当な方法が複数あるため、モデルの応答にはランダム性の要素が内在すると書いています。そのうえで「同じ質問に対して、クエリごとに異なる回答が返される可能性があります」と続けます（OpenAI ヘルプ「ChatGPTと当社の基盤モデルの開発方法」・更新日の表示は「2 months ago」・2026年10月13日取得）。

説明は「可能性があります」までで、毎回必ず違うとも、何回聞けばそろうとも書いていません。対象も、ChatGPT を動かす OpenAI のモデルです。

自社の名前が出たかを確かめる場合、率が動く幅は 1 回に集めた回答の数で決まります。

回答 1 件で何ポイント動くか — 回答の数ごとの計算表⁠

1 件の重さは 100 ÷ 回答の数（N）で、回答が少ない回ほど 1 件で率が大きく動きます。

自社が出た割合は、名前が出た数（M）を N で割って 100 を掛けた値です。1 件の重さは、M が 1 つ増えるか減るかで率が動く幅を表します。

ここでいう「ポイント」は、% で表した率どうしの差です。表の値は本記事の計算で、小数 1 桁に四捨五入しています。

N は聞いた数ではなく、有効だった回答の数です。無料 AI 検索診断では「AI 回答なし」と「取得できず」が分母から外れ、その数え直しはAIO診断を無料で｜AIOチェックでAIに実際に聞いた結果の読み方にあります。

表の 9 件の行のような回には、エリスグリ AIO（AI 検索での自社の見え方〔GEO / AIO〕を計測・改善するツール）の登録後の画面に決まった扱いがあります。その画面は、計測回答数が 10 件未満の見つかり率を「回答数少なめ・参考値」と表示し、前期比を出しません。

2 回の結果の差を件数に直して比べる — 先にそろえる 3 つの条件⁠

2 回を比べる前に条件を 3 つそろえ、差は率ではなく件数と分母の差で書きます。

比べる手順は、次の 3 つを確かめるところから始まります。

• 同じ質問の行どうしか — 無料 AI 検索診断の 5 問は、診断のたびに作り直される候補から選ぶ仕組みです。2 回目と重なった質問だけで、「質問ごとの結果」の AI ごとの表示から M と N を数え直します。「引用つき」「引用なし」はどちらも名前が出た回答で M と N に、「言及なし」は N だけに数えます
• 前の回から 24 時間たっているか — 同じドメインが 24 時間以内に診断されていると、自分以外の診断でも、その結果がそのまま表示されます。質問や競合を変えても反映されず、画面の上に「24 時間以内に診断済み」の案内が出た回は、新しい回に数えません
• 両方の回の N を書いたか — 率だけを控えると、分母が違ったことに後から気づけません

次の作例 A・B の数字は、どちらも仮に置いたものです。

• 作例 A（同じ 5 問・N も同じ） — 1 回目は 15 件のうち 7 件で 46.7%、2 回目は 15 件のうち 9 件で 60.0%。差は 2 件分で、率では 13.3 ポイントです
• 作例 B（同じ 5 問・分母が変わった回） — 1 回目は 15 件のうち 7 件で 46.7%。2 回目は AI による概要が 2 問で表示されず、13 件のうち 8 件で 61.5% です

作例 B の率は約 15 ポイント上がって見えますが、名前が出た回答は 1 件増えただけで、分母は 2 件減っています。1 件の重さも 6.7 ポイントから 7.7 ポイントに変わりました。

記録には、作例 A なら「+2 件・分母 ±0」、作例 B なら「+1 件・分母 −2」と書き、率の差だけを残しません。

自社の 1 回目の N と M は、エリスグリ AIO の無料 AI 検索診断の結果画面で、最上段にある「AI の回答 N 件のうち M 件で「◯◯」が登場」の 1 行の 2 つの数字にあたります。質問は最大 5 つで、3 つの AI の答えを登録なしで集めるので、5 問を選んで全部が有効なら N は 15 です。

分母の N は、その回に有効だった回答の数で、15 に届かない回もあります。

AI のおすすめに、あなたの会社は入っていますか。クレジットカード不要。14 日間、自社と競合の AI 検索での見え方を無料で計測できます。無料で 14 日試す →登録後は無料トライアルも利用できます

検索順位そのものの計測はしません（引用元ページの Google 順位を参考表示するに留めます）。無料診断の結果は 1 回ごとの記録で推移の画面はなく、2 回分を並べるのは手元の控えの上です。

作例のほかの組み合わせも、同じ 3 つの条件で読みます。2 回とも 0 件でも 2 回とも全件でも、差 0 件として同じように行を足します。有効な回答が 1 件も無かった回は、行だけ残して取り直します。

1 回目しかないなら、その回を記録の 1 行目にします。次の回は候補から同じ質問を選び（候補に無ければ、自由に入れられる 1 問に同じ文を入れる手もあります）、重なった質問の行で比べます。手で 1 つの質問を 10 回聞いた結果と診断の 15 回答は、質問も AI も違うので別の列に置きます。

どちらかの回の N が 10 に届かないなら（重なった質問が 3 問以下なら N は 9 以下です）、前節の参考値の扱いにならい、件数だけを記録して率の差は書かずにおきます。

記録を重ねるときの 7 つの列⁠

記録の 1 行には、率と並べて N・M・1 件の重さを書き、施策を打った日は別の欄に置きます。

列は次の 7 つです。

• 日付 — 診断した日
• 質問 — 質問文をそのまま書く。言い回しが変わったら別の行にする
• AI — どの AI の答えか。3 つをまとめた数なら「3 つの合計」と書く
• N（回答の数） — その回に有効だった回答の数
• M（名前が出た数） — 自社の名前が出た回答の数
• 率 — M ÷ N × 100 を小数 1 桁で
• 1 件の重さ — 100 ÷ N

同じ質問の行を回ごとに合わせると N が増え、1 件の重さは小さくなります。15 回答の回を 2 回分合わせれば N は 30 で、1 件は 3.3 ポイントです。

2 回の間にページを直したなら、直した日を別の欄に書き、差をその効果とは書きません。1 回の差からは、施策の効果と答えの変わりやすさを分けられないためです。

1 手ずつ変えて同じ質問で測り直す進め方は、LLMO対策のやり方｜質問を決めて測り、1手打って測り直すにあります。手で聞いて書き残すときの手順と工数は、AI検索の可視性の計測方法｜手動・無料チェッカー・専用ツールが詳しく扱います。

登録後の画面の「変動の内訳」は、見つかり率の増減を、同じ質問・同じエンジンでの「中身の変化」と、質問の追加や停止による「質問セットの変化」に分けて出します。

計測を外に頼むときにも記録を自社に残しておく考え方は、LLMOコンサルティングとは｜任せる範囲と依頼メモの書き方で読めます。

この読み方が向かない場合⁠

答えが変わる理由だけを知りたい場合も、1 回の結果で施策の当否を決めたい場合も、件数で差を残すこの読み方の出番はありません。

用事ごとに分けると、次の 3 つです。

• なぜ答えが違うかだけを知りたい — 最初の節で引いた OpenAI の説明で足り、件数を記録する必要はない
• 1 回の結果で、打った施策の当否を決めたい — この読み方は差を件数で残すところまでで、当否は決めない
• 質問を変えた 2 回を比べたい — 重なる質問の行がなければ、比べる組が作れない

無料 AI 検索診断の側の弱みは 2 つです。同じ 5 問で聞き直せる保証はなく、Copilot・Perplexity・AI モードの答えは件数に入りません。

よくある質問（FAQ）⁠

Q1. 何回聞けば、自社が出たかを判断できますか？⁠

決まった回数を示す説明は、本記事で引いた OpenAI のヘルプにはありません。2 回目以降も同じ質問の行で差を件数に直し、記録の行を足していきます。

Q2. Gemini や AI による概要でも、答えは変わりますか？⁠

変わることがあります。無料 AI 検索診断の画面の注記では「AI の回答は取得した時点・場所・会話の流れによって変わります」としていますが、理由が ChatGPT と同じかは OpenAI のヘルプからは言えません。

まとめ: 次にやること⁠

• 1 回目の回答の数（N）と名前が出た数（M）を書き出す
• 100 ÷ N で 1 件の重さを出し、聞いた質問を控える
• 2 回目は同じ質問の行だけで M と N を数え、差を件数で記録に足す

差を件数で書いた行の下に、次の回も同じ質問の行を 1 本ずつ足していきます。

重なる質問の照らし合わせと N の書き出し、100 ÷ N の割り算は、記録の行と同じ数だけ手で繰り返します。

回答が 10 件に届かない回は件数だけを、10 件以上の回は率も並べ、計測日ごとに積む回は同じ質問の合計で 1 件の重さを小さくしながら読みます。

回答数は、登録後のエリスグリ AIO ではブランド表の「回答数」の列に出て、推移チャートでは 10 件未満の点があるときに参考値の注記が下に付きます。

現在プレローンチ段階のため、導入実績・お客様の声はまだご紹介できません。ベータ招待の準備を進めています。