「博報堂ＤＹグループの株式会社LGBT総合研究所がセクシャルマイノリティの意識調査を実施」に、研究者の考察。

可寝た @tomoyukix

このLGBT総合研究所の調査、消費支出に関する調査結果ってどういう数字なのかなあ…。ひとりあたりの平均支出額だとしたら、ちょっと現実味のない数字な気がする。 hakuhodo.co.jp/archives/newsr… #yahoobrowser

石田　仁 @ishida_hitoshi

調査報告会でも触れたけどウェブモニタ調査はポイント付与が２段階制のため、ポイントゲッターによるスクリーニング設問の不正突破を阻止することがきわめて重要なので、調査画面のタイトルと質問文が、まず知りたい。

石田　仁 @ishida_hitoshi

あと、博報堂は電通より多い1000000票とって、89366票を有効回答数としたということなので11%強の無効票化はウェブ調査でもかなり厳しめの基準だと思う。その基準とはどんな基準なんだろう、とてもきになる。たとえばトラップ設問のsatisfycing回答者を落としたのだろうか。

石田　仁 @ishida_hitoshi

1.「ＬＧＢＴが何％」が、電通・博報堂で言われるようになり、それらの調査で採用されている「ウェブ調査」がこの界隈でも注目されだしたので、以下、留意点を書く。まず、両調査は、それぞれの会社が数万人に独自に聞いているのではなくウェブ調査会社の「モニタ」（登録者）を利用している。

石田　仁 @ishida_hitoshi

2.この「モニタ型ウェブ調査」で、留意すべき重要な点は２つ。１つは、【調査で得られた比率は社会の比率を表すものではない】ということである。ウェブ調査のモニタ（登録者）は、30-40代が多いが、年齢や男女比が会社によってかなり異なり、日本の人口・性別構成比ともかなりの違いがある。

石田　仁 @ishida_hitoshi

3.今回の博報堂調査（20-59歳）でLGBTが８％と出たので、つい今の人口1億2696万人中の20-59歳の5477万人に８％をかけて「LGBT人口は438万人いる！」とやってしまいたくなるが、【元々のモニタが日本の人口構成の縮図になっていないからそういう計算は誤り】である。

石田　仁 @ishida_hitoshi

4.そもそもモニタが社会の縮図になっている保証がないから（というか縮図になっているかどうかウェブ調査会社はどこも公表してくれないから）、「日本の社会で８％いる」のではなく、「博報堂が依頼した、とあるウェブ調査会社のモニタでそう回答した人が８％いた」にすぎない。

石田　仁 @ishida_hitoshi

5.社会学系の研究者は、モニタ型ウェブ調査のデータにはサンプルの代表性がないことをよく知っているから、そうした調査から人口構成や社会意識がこうである！と言ってしまうことがどれほど危険かよくわかっている。対して、心理系やマーケット系はサンプルの代表性に社会学ほどは気を配らない。

石田　仁 @ishida_hitoshi

6.心理系が留意するのは、その回答者が調査の間、一貫した気持ちで答えてくれたかである。マーケ系は、群と群を比較して、購買の行動や額などをみるから、より頓着しない。そして、現在ウェブ調査が大流行しているのは心理／マーケ系であり、その手法がよく検討されずにLGBTに持ち込まれている。

石田　仁 @ishida_hitoshi

7.したがって電通や博報堂調査の主目的は、（LGBTが金ヅルであることを証明したいという意図が前面に出すぎて見えづらくなっているが）LGBT人口ではなくて、群間比較にある。確かにLGBT数百人、シスヘテロ数百人で行う比較は、マーケ系ならばサンプルに難があっても一定程度の理がある。

石田　仁 @ishida_hitoshi

8.二つ目の留意点は、謝礼システムである。調査会社に登録している「モニタ」は回答をすると調査会社からポイントがもらえる。ウェブ調査の場合、通常、回答は先着順で締め切る（そうでない場合もあるが、まれ）。このため、調査実施の発信がされるとモニタ（のうちの一部）は急いで回答行動をする。

石田　仁 @ishida_hitoshi

9.もちろん、モニタのポイントゲッター的な行動に対しては、調査会社も（研究者からクレームがくることが）よくわかっているので、「早すぎる回答データは納品からはじいてます」と言う。たいていは先着１％を省いているが、最近は「その程度では品質の維持ができない」とする研究結果が増えている。

石田　仁 @ishida_hitoshi

10.これと絡むが、【モニタはどうやって選別（スクリーニング）質問を通過したのか】は勝るとも劣らない第２の留意点である。ウェブ調査は通常、２段階になっていて、対象者を絞り込む選別質問と、それを通過した者のみにたずねる本質問がある。ポイントも２段階制で、その差はかなりある。

石田　仁 @ishida_hitoshi

11.このとき、調査実施側がもっとも注意しなければならないのは、「調査タイトル」と「選別質問文」である。仮に、タイトルに「電車通勤の調査」と銘打って、第一問目に「あなたの通勤は次のうちどれですか？」と答えたら、多くのモニタがポイント欲しさに「電車」を選択するだろう。

石田　仁 @ishida_hitoshi

12.したがって、まずは分からないように「ライフスタイルの調査」などとする必要がある。できれば、選別質問も複数設けて、どんな条件の者を本質問へと通過させたいのかの意図もモニタに分からないようにしないといけない。というのもモニタの一部は一週間に何十と回答している猛者であるからだ。

石田　仁 @ishida_hitoshi

13.また、たとえば該当者（ウェブ調査会社は「出現率」という）の少なそうな（まさにLGBT調査のような場合）となると、例えば関東だけに対象者を絞ると十分な集票が望めないので、全国が対象となるし、それでも不安があるときは、自社のモニタだけでなく料金を払って他社のモニタを利用する。

石田　仁 @ishida_hitoshi

14.しかし問題なのは、回答のセミプロといわれている一部のモニタは、各調査会社に登録しているという事実である。３社の「連携モニタ」を用いて得た「３票」が、実は同一の「１票」の可能性がある。また、それぞれの票の同一性・非同一性を検査できないところが「連携モニタ」の泣き所だ。

石田　仁 @ishida_hitoshi

15.なお「LGBT」と「それ以外」（その定義も疑問が呈されているが）の群間比較ができるように、電通は７万人、博報堂は10万人を選別設問の対象とした（＝一次ポイントをモニタに付与した）。これはウェブ調査としてはかなり大がかりであり、連携モニタを用いた可能性が高いと個人的には思う。

石田　仁 @ishida_hitoshi

16.以上から、「LGBT人口」をウェブ調査で得ようとしても、最低限、次の６つが明らかにならないとそもそもデータとして意味がない。それは【利用したウェブ調査会社名】【その調査会社のモニタのかたより】【回答者のかたより】【調査タイトル】【選別設問文】【連携モニタ利用の有無】である。

石田　仁 @ishida_hitoshi

17.実は、上記の点については昨年、電通にメールで問合せをした。しかし、「モニタ利用の調査」という事実を除き、調査会社、調査名、選別設問文、連携モニタの有無のすべては、非公表という返事だった。博報堂/LGBT総合研究所は上記の事項について聞いたらきっと回答してくれると期待したい。

石田　仁 @ishida_hitoshi

18.なお、私が博報堂調査で一部期待しているのは、10万人の回答のうち有効回答を約8万9千3百人とし、無効回答率を１割もとったところである。ウェブ調査にしては非常にこの高い数値は、採ったデータに問題があることを公表以前に認め、かなり捨てたことになる。この理由も知りたい所である／了

三橋順子 @MJunko0523

電通も博報堂も広告代理店なわけで、仕事は「広告（プロパガンダ）」。 つまり、学術的な正確な調査をすることが仕事ではなく、バイアスをかけてある方向に人々を誘導することが仕事。