タグ: 調査

評価

　先日読んだ「『社会調査』のウソ」に、アメリカには「サイテーション・インデックス」というものがあり、論文がいつ誰に引用されたかが分かるようになっていて、それにより論文の質的評価がなされるとあった。

　こういう下地があってこそのトラックバックなのかもしれない。そして、googleが被リンクをページのランク付けに使うのかという理由も分かった気がした。

　日本の学会の問題は、それだけにとどまらないだろう。誰も読まないような大学の論文集に提出するだけで仕事したことになってしまうから論文のレベルが上がらないし研究のレベルも上がらないのだろう。また、いいアイデアの論文があっても埋もれてしまうのかもしれない。そして、学者自身がそのくだらなさを意識しているので、国内の論文なんて評価していないのだろう。

　逆に、ナショナルジオグラフィックとかサイエンティフィックアメリカンなどに取り上げられると大騒ぎなのではないか。これは、外国で評価されない限り国内の学会から才能を発掘できない日本の社会の構図かもしれない。極端な例がノーベル賞をう受賞した田中氏だ。ノーベル賞を受けなかったら未だに彼は企業の一研究員だろう。ノーベル賞を受賞したとたんに役員待遇って・・・自社の評価を全否定しているようなものだ。他の分野でも、「大リーグで活躍した・・・」「アメリカで評価された・・・」「グラミー賞で・・・」「カンヌ映画祭で・・・」。全て同じだ。

　Nishizawaというメーカーが作った革新的スキー板TACTICSも受け入れられずに消えた。それは、SALOMONが出たときにフランスナショナルチームが率先してテスト・使用をしたこととは正反対に見える。

　　これと同じことは身近にもあるし、偏見は俺たち自身にもあるかもしれない。ザウルスを電子手帳と蔑んでpalmを選んだのは、どこかに日本製品を卑下する偏見があったのかもしれない。macはどうだったか・・・自分では合理的な判断基準に沿ったつもりだが・・・

　こんな社会の中で長く生きた企業人たる組織の幹部や管理職が能力評価などまともに出来るはずが無いだろうなぁ

「社会調査」のウソ

「社会調査」のウソ―リサーチ・リテラシーのすすめ　リサーチ・リテラシーのすすめ　谷岡一郎　文春新書（古本で200円）

　俺がしつこく突っ込んでいるいい加減な、あるいは恣意的な悪意のある調査について鋭く突っ込んだ本。実際にマスコミでばらまかれた調査結果や分析を提示し、謎解きの仕方を示してくれる。俺の突っ込みなんかはまだまだ甘かったと思った。これを糧に精進してゆきたい。

　これは、定価で買ってもいいと思う。

　ところで、せっかくなので、俺からも出題したい。俺の身近なところで行われた調査とその結果についてだ。

  1. 舞台は、WANを使った電子掲示板を導入して数ヶ月後の某企業の総務部。総務部長に呼ばれたナニな中間管理職（以後ナニ）に、「今度導入した電子掲示板のコスト削減効果について調査せよ」との命令があった。上司の命令は、自分の部署の仕事をすべて棚上げにしても最優先することで有名なナニは調査を開始した。

  2. 対象は、電子掲示板を管理している他事業所の担当部署（３カ所）。本社との会議は本社でつかめるので、他事業所同士で行った遠隔会議の回数と参加者の記録を集めた。

  3. 利用者の評判をナニが聞き取り調査

  4. 上で集めた回数をもとに効果を測定し、「コスト削減効果があった」という報告書を作成。その根拠。

    • 電子会議の回数はXX回と活用されている。

    • コスト削減効果は「会議の回数×（参加人数の60%×一人当たりの出張に伴う費用）」。なお、参加人数の60%としたのは、通常の出張では同行しない人物の参加を求めることがあることを勘案したため。

    • 参加者の評判（好意的なものが多かった）

  • 報告書を受けた幹部会では何の異論もなく承認。

    • 　さて、この調査（というのに値するのかどうかは置いておいて）に問題はあるか。あるとすれば何か。そして、そこから導かれた「コスト削減効果有り」という結論は正しいか正しくないか。コメントでもトラックバックでも書いてほしい。

    　答えは、気が向いたらそのうちに。なお、俺の記憶の甘さのために抜け落ちていることも多いと思われることはあらかじめお断りしておく。

    調査結果の解釈

    　TidBITS-jp-734に面白いアンケート結果が載っていた。

    先週愛用のメールソフトを尋ねる投票を行ったが、(非科学的であるにしろ)面白い結果が出た。Apple Mailが、2600以上の票のうち41%を獲得してトップとなった。4年半前の同じテーマの投票では、デフォルトのメールソフトはOutlook Expressだったが12%の票しか獲得しなかった。MailはOutlook Expressが前回の投票でそうだったよりも全般的に良い出来で、Apple製のバンドルプログラムは他のメーカーのバンドルアプリケーションに勝つ傾向にあると思わせる。(残念ながら、前回のCyberdogとクラリスメールへの集団投票により、比率を正確に比べることができない。)しかしながら、Mailの健闘は驚きではなかった。

    http://db.tidbits.com/getbits.acgi?tbpoll=83
    http://db.tidbits.com/getbits.acgi?tbart=07704
    http://db.tidbits.com/getbits.acgi?tbpoll=16
    http://db.tidbits.com/getbits.acgi?tbart=05664

    2位に終わったが、票の28%を獲得した(前回の37%からはダウン)Qualcomm社のEudoraは明らかに今でも多く使われている－－おそらくTidBITS読者には特に多く使われているのだろう。Eudoraはメールを多く受信する人のための最高のメールソフトだという長く培われた評判があり、実際TidBITS読者はこれに当てはまることが多いので、Eudoraがこの投票で未だ根強いのもうなずける。

    Entourageの3位(13%)という結果にはいささか驚いた。Entourageは間違いなくトップを争うメールソフトであり、Microsoft Officeに含まれているということは、何百万のMacユーザが所有しているはずだということだ。Entourageはマーケット全体ではもっとシェアが大きいと思う。そういう意味では、TidBITSの読者は全体の傾向を反映していないのかもしれない。

    トップ3の後は、得票数がガクンと少なくなる。PowerMailが5%で続き、さらにMailsmithとNetscape/Mozilla/Thunderbird troikaが3%で続いた。もしこれが賭けなら、私はPowerMailよりも、色々いじれるMailsmithの方がTidBITS読者に人気と予想しただろう。しかし一方、Mozilla発祥のメールソフトがそれらほど人気がないのには驚かない。より良いMacインタフェースを提供する、もっとパワフルなプログラムが相手だからだ。

    下位の方では、クラリスメールがメーリングリストでの呼びかけに助けられて2%を獲得。Outlook ExpressやWebベースメールはやっと1%、QuickMailとAOLは1%の壁を破れなかった。その他のソフト、GyazMail、Mulberry、Nisus Email、Magellanは合わせて3%となった。Mac OS 9のみで動くメールソフトが振るわないのは予想通りのことだ。現在もMac OS 9に頼っているユーザはわざわざTidBITSのような、もはやMac OS 9関連ニュースがほとんど無い情報源を読んでいないだろうからだ。Webベースのメールインターネットユーザのかなりの割合に使われているはずだが、たった22人(前回の4人よりは上昇)しか使われていないという事実は、TidBITSの読者が典型的なユーザを代表していないということをまたしても表す結果になった。

    この投票が統計学的に有意だと言い張る気はないが、投票結果のおおまかな全体像を拾うのは面白い。ご参加ありがとう!

    　母集団の特殊性と、その特殊性から生まれるバイアス、そして、この調査が統計学的に有意とは言いがたいことを繰り返し述べている。このような分析はめったに見ない。これが正しい態度だと思う。

    　4000件ものサンプルが集まったら、マーケティング会社やマスコミはマックユーザー像を捏造したり、そのまんま一般化してしまったりするところだろう。fomaユーザーの平均利用パケット数がpdcユーザーの平均パケット数より多いことを、サービス向上のためだと誤解釈して失笑を買ったdocomoの社長みたいに。彼の場合は、誤った（意識的に歪曲した）解釈の問題だろうが。

    　実際問題として、こういう調査で実態を調査することは不可能に近い。みんなが、自分の本当の姿ではなく、自分の志向にあう姿を答えることが多いからだ。メーラーの調査をしても、パワーユーザーで名高いTidBITS読者がフリーのwebメールを使っているとは、実際には併用していても、そうは答えない場合が多いと思われるからだ。俺も、使用時間はwinマシンのほうが長いが、「メインはmac」だからな。

    条件反射：いい加減なアンケートに釣られる

    Japan.internet.com Webマーケティング – Blog 作りで重視する機能「作成が簡単」――72.8％ 【第1回 Blog に関する調査（後編）】

    　話題にしたい気持ちは分からないではない。新しいサービスで需要をあおりたいのだろう。悪気もないんだろう・・・しかし、何でもかんでも%で分析した気持ちになってもダメだって。

    　「調査対象は、全国の10代から50代のインターネットユーザー1,044人。」とそこそこの数字だ。年代もネットユーザーの分布に近いようだ。しかし、問題なのはその次。「 Blog を作成したことが『ある』と答えた人（5.4％）に、現在作成している Blog のカテゴリについて聞いたところ」と、これ以下の回答はこのたった56名が母集団となっている。つまり、一人の投票が約2%に相当するということだ。こんな大雑把ないい加減な調査ではblogユーザーの動向や志向を推し量ることは絶対に無理だ。

    　小数点以下まで表示しているのは、数字に信憑性を持たせたいからだろうか・・・母集団が50名程度では無意味だ。

    　ここに示されたデータで言えることは、「blogをしている人間は、ネットユーザーの中でもわずか5%に過ぎない。」ということだけだろう。

    　この数字を見ていると、blogはキャムズを越えるどころか、アーリーアドプターすら惹きつけていないということじゃないのか。これまでも、日記やテキストサイトがその中にいる人たちにとってのみ大きな盛り上がりをしていたのと同じ程度の盛り上がりなんじゃないだろうか。少なくとも2004年4月は。

    需要予測・・・コミュニケーター

    　Treo600が需要予測を上回る好調で部品不足。iPodminiはHDの供給不足でアジア・ヨーロッパ市場への投入延期。期待機会損失はあったかもしれないが、代替物がなければ、失う需要はそう多くない。それに、予想はクリアできるのだから予想利益を下回ることはない。無理な増産をして不良在庫を積み上げるような間抜けなことは絶対したくないというのが、両社とパーツ供給メーカーの共通した思いだろう。

    　IDCのアナリストは書いていないが、この業界が悩まされているのは、部品不足より過剰供給による不良在庫と製品価格下落だろう。肥大化した製品ラインは需要が衰えた後もメーカーの首を絞め続けるのだ。需要一巡後の過剰設備が企業の重荷になった例は多い。Treo600やiPodminiの需要に応えるために生産ラインを増やす気は、少なくとも供給メーカーにはないだろう。

    パームの春は「嬉しさも中くらい」–大人気のTreo 600、部品不足に泣く – CNET Japan

    　供給不足の問題は、ハイテク製品市場では珍しいことではない。スクリーンやメモリといった限られた数の部品を求めて、多数のメーカーが常に争奪戦を繰り広げている。そのため、予期せぬ消費者の需要に不意を付かれても、それに対応してすぐに増産を行うことは難しい。

    　調査会社IDCのアナリストKevin Burdenは、「この業界は常に部品不足に悩まされている。需要と供給がピッタリ一致させるため、みんな四苦八苦している」と語った。

    　「不意を付かれて」じゃなく、「不意を突[衝]かれて」？？

    　ところで、株主でも従業員でもないのに、発売の延期によって損害を被ったようなヒステリックな反応を示す人がいる。イラクで人質となった人の家族にいたずら電話をかけるのと同レベルの反応だと思う。
    ————–
    　Treo600がここにきてそんなに盛り上がっているというのは、日本にいてはまったく分からない。16万台というのがPDA市場でどれくらいのものなのかは分からないが、一機種の台数としてはそこそこのものと思われる。参考として、発売数量の分かる記事を引用する。

    auの「A5503SA」「A5403CA」に不具合、約32万人に影響

    　KDDIは、三洋電機製の「A5503SA」およびカシオ計算機製の「A5403CA」に不具合が確認されたと発表した。対象ユーザーは、「A5503SA」が25万8,000人で、「A5403CA」が6万6,500人。現在発売されている商品については、不具合対策済みとなっている。

    　両端末とも記事後数量を伸ばしているとは思うが、Treo600はA5503SAの半分、A5403CAの倍以上が売れたということだ。auの中の人も京セラの中の人も良く考えるべきだ。QUALCOMMのチップを使ったPalmOSコミュニケーターは既にある。これを日本市場に投入することは、技術的には難しくないと、素人考えだが、思う。

    　一番の問題は政治的なものだろう。閉鎖的なBREW（BREWが閉鎖的なのではなく、BREWの開発を制限したauが閉鎖的という意味だが）に統一を図っているケータイ端末に、自由にアプリケーションをインストールできるpalmOSがなじまないだろうことは想像に難くない。A5502KのプリインストールBREWアプリですら、端末に元からあるソフト（アドレス帳やメール編集）と互換性が不十分という始末だ。このような閉鎖的なauの姿勢から考えると、palmOS機の採用は難しいか・・・

    立場による違い（情報流出）

    　加入者情報の漏洩に対するユーザー意識の調査があって面白い結果が出ていた。

    ソフトバンクの顧客情報漏えい，調査で見えたユーザーの“本音” : IT Pro 記者の眼

    あなたがYahoo! BBユーザーだったとしたら，今回の情報漏えいを機に解約しますか」と問いかけた。全回答者（Yahoo! BBユーザー，他のADSLサービスのユーザー，ADSLを利用していない回答者，を含む）の意見をまとめると，「解約する」が28.1％に上った。「解約しない」という答えも同程度の24.5％だった

    　一方，Yahoo! BBユーザーの回答に絞って見ると，結果は大きく変わってくる（図2）。「解約する」は図1（全回答）の4分の1程度の7.2％となる。逆に「解約しない」は，図1よりも大幅に多い46.9％になった。Yahoo! BBのユーザーは，個人情報漏えいをそれほど深刻に受け止めていないのだろうか。

    　この質問の母集団に注意が必要。上の問いにはY!BBユーザーも含まれている。ということは、下の問いの割合から考え、非Y!BBユーザーはもっと多くが「解約する」を選んでいるということだろう。非ユーザーは元々Y!BBを選ばなかった（選ばれなかった）人たちで、否定的な意見を持っていると思われる。が、同時に、自分がユーザーでないからこそ「そんなとこやめちまえ」と答えられるのだとも読める。それは、全体で「そう簡単に解約できない」が最も多いからだ。ADSLが固定電話と同じような性格を持っていることが改めて分かる。Y!BBがただのISPだったらもっと多くのY!BB加入者が解約したに違いない。

    　今回の調査結果には納得できる点が多い。俺もやめないし、プライバシーの漏出については、諦めが大きい。今、ISPや回線業者を代えたって、スパムがとまるわけではないし、コストもかかる。だったら、今のままでもいいやという感じだ。IDを変えたいというのも実感がこもっている。

    　珍しく、アンケートについて肯定的なエントリになった。前にも書いたが、Y!BBの有料会員が300万回線に届いおらず、今でも必死な加入者獲得キャンペーンをやっている理由がここからも読み取れる。「加入させてしまえばこっちのもの」と思っているんだろう。

    主婦の値ごろ感調査・いんちき財布

    Nikkei BP Network | BizTech | 「家族との外食代」で妥当価格が急上昇、主婦の値ごろ感調査

    　調査全体では、「家族との外食費」に代表されるように、家族で楽しんだりするような「替えのきかない」サービスや商品の値ごろ感が上昇している。一方、「クリーニング代」などのように「自分でできること」に対する値ごろ感は下落。「締めるところは締め、メリハリをつけて楽しむ」スタイルが定着しつつあるようだ。

    　衛星デジタルテレビ、ＦＯＭＡ、ナンバーポータビリティ、地上波デジタル・・・恣意的な調査について散々叩いてきたつもりだが、この調査には肯定的だ。継続性があることと調査項目の見直しを行っていることは大きい。対象の偏りも少なそうだ。

    　妥当な調査をすれば出てくる結果は平凡になる。高級品指向（高額・ブランド商品）と100円ショップの台頭が象徴する二極分化は何年か前から言われてきたことだ。

    　それと同時に、安くなりすぎたものへの警戒感も現れ始めたのではないだろうか。100円均一寿司より、ネタにより価格の違う回転すしのほうが信頼を置けるだろうし、多少でも品質もいいことが多い。また、安すぎるものへの警戒感もあるのかもしれない。

    　ただ、消費者が品質と価格のバランスについてシビアになったとは思えないところは残念だ。ブランドという中身のない品質を伴わないものへの批判ができていないからだ。ま、買う人間が満足すればそれでいいだけどね。壷だろうが、財布だろうが、役に立たないエステだろうが、動作クロック3GHzのCPUだろうが・・・・

    　そういえば、風水財布の広告が公正取引委員会に摘発（厳密には、摘発じゃなくて勧告とかだったと思う）されたらしい。いろんなblogでコメントされている。

    浮世の沙汰も功夫次第
    でも、これがだめなら、
    ２週間で○○kg痩せた
    身長がグングン伸びる
    このペンダントで異性にモテモテ
    とか、「札束風呂」とかどうなるんでしょうね。
    でも、「開運印鑑」とかの広告は普通に新聞に載ってますよ？

    ■創作体験談とおいしい話■おいらのWeblog
    よくエッチな雑誌とかギャンブル雑誌なんかの”欲望ギラギラ系メディア”で「宝くじに大当たり」とか「何故か昇進」とか「意中のあの子とウハウハ」なんてヴァカな体験談付き広告があるけどさ、みんなネタだと思ってるよねぇ。まさか、信じてる人いるのかな？

    　次は、上の報道とは関係が無いが、風水財布について鋭く切り捨てたお母さんのエピソード。

    1×8 Weblog 〜 イ チ カ バ チ カ 〜: この母親にしてこの子あり

    先日実家に帰ったときの会話。
    私「あぁ、お金の溜まる黄色い財布が欲しいよぉ」
    母「あんなの持ってるのはね、お金がないって言ってるようなもんでしょ。あんな財布恥ずかしいから持ちたいとか思うもんじゃないよ。」

    　こちらは、占いそのものに否定的指摘を加えている。

    DIARY: 風水も占いもでたらめ

    どうして風水師（要するに占いと同じだよね）には何月が開運月だとか、今年のラッキーカラーは何色だとかわかるのでしょうか。神様のお告げでもあるのでしょうか。占い師や風水師に共通するのは口がうまいということです。

    　占いに対する考え方は俺もまったく一緒だ。風しかし、開運とか、「これをもつだけで運が開く」というのはいんちきだと信じている。

    　ただ、これも考えようで。「この財布を持っていれば必ずいつか宝くじが当たる」と死ぬまで信じて、当たったときのお金の使い道を考えて日々楽しく暮らせれば、それはそれで安い買い物（この財布は15000円くらいだからね）ともいえる。また、口のうまい占い師がある人たちにとってカウンセラーのようになっていることもあるらしいから、対価が不当なものでなければ、害はないと言えるかもしれない。

    　ここまで行っちゃうと宗教を避けては通れなくなるが・・・

    No news is Good news: 間違いない。
    どうせなら、「自走式ご利益獲得サイフ　御利当（ゴリアテ）」ぐらいのものを作っていただきたい。もうこれだったら、「ジャンボ宝くじ」だの「競馬」だのでケチ臭く儲けなくても、賞金額が数十億円にもなるテキサス州の宝くじでもバッチリっすよ。間違いない。高周波なんて目じゃないっすよ。電磁波から超音波、果てはスカラー波まで、もう無制限に出まくりです。間違いない。

    的外れ開発と市場調査会社の「調査」

    ビタミンX: 携帯で風呂や冷暖房をリモート操作　東ガスが来春からというエントリから、リビング＋：携帯で風呂や冷暖房をリモート操作　東ガスが来春からという記事を読んだ。

    　こういうサービスを見ていつも思うのは、使う人間の視点がないということだ。ネット電子レンジ、ネット冷蔵庫とか・・・使いにくいって。使い物になるのは、ビデオ予約、エアコン、鍵くらいじゃないのか。

    　風呂を自動的に沸かすためには、出かける前に掃除をしてフタと栓をしておかなくてはならない。風呂上りに必ず浴槽の掃除を済ませるような家庭なら問題はないかもしれないが、俺の家のように、お湯を張る前に洗うという生活パターンでは使い物にならない。実験レベルで試す分には楽しいが、日常的に受け入れられるかどうかは別だ。

    　だって、どこの家でも「買ってみたものの、不便で使わなくなったもの」がいっぱいあるだろう。画期的健康器具はもちろん、あっという間にＸＸができる調理器具とか、中途半端なデジタル機器とか（これはヲタだけか）。使うのは便利だったり効果があったりしても、片づけが面倒だったり収納が不便だったりしたら使われなくなってしまう。

    　企業の研究室やPC上で企画している人間には、こういう生活感覚が足りないと思う。もちろん、調査会社を使って情報収集をしてはいるが、それらの調査の多くが、俺がしつこく書いているように、結果を導くための調査でしかない。衛星デジタル放送、FOMA、地上デジタル放送・・・・地上デジタルの結果はこれからだが、衛星デジタルやFOMAの普及が事前調査の数分の一でしかなかった。

    　これと同じミスをメーカーは繰り返している。調査機関はメーカーの都合のよい結果を導き出す調査票を作っている。こんなものは、希望的観測を補強するだけだ。「外から、携帯電話で家の給湯設備をコントロールして、家に帰ったらすぐに風呂の準備ができていればいいと思いますか?」と聞かれて「そうおもう」にマークしない人間がいるか？こんな設問をしておいて、「携帯電話で給湯をコントロールことに対する需要が盛り上がっている」というのが調査会社だ。そして、その結果をプレゼンで「調査の結果、携帯電話での給湯コントロール開発を進めたい」と言っているのだろう。メーカーの開発部門の中の人は。

    　しかし、売り出してみてからわかる。そんなことのために何十万も払う人間は一握りでしかないことを。先のアンケートで「そうおもう」にマークした人間の大半がそんなものを買いはしない。外から帰ってすぐに風呂に入りたいシチュエーションなんか年に数回しかないということに気付くから。そして、その機能のために必要な費用を知ったら絶対やめるね。

    平均の取り方

    　あるサイトでテニスを統計的に分析するという試みをやっていた。１プレイ当たりのストローク数を男女で比較していた。そして、男子の方が平均ストロークが少ないとして、女子の方がストローク戦が多いと結論付けていた。

    しかし、そうか？

    　プロの男子テニスの場合、ストローク戦になるまえにサービスエースで終わるケースが女子より多いだろう。それを加えたまま、男子はストローク戦は短いと判断してはいけないと思う。

    　ストローク戦の戦術を練るならストローク戦の平均ストローク数を平均しないとと思う。何故ならサービスエースには戦術的分析は意味がないから。純粋に強烈なサービスをラインぎりぎりに決められたら返せない。勘があたるかスーパーショットがでるかしないと返せないようなものは戦術論ではどうしようもない。また、強烈サービスの延長として、サービス＆ボレーで決まる比率も高い。これも、力づくプレーで、作戦の出番ではないだろう。

    　サービスとリターン、サービス＆ボレーは技術と体力で頑張り、戦術的分析は3ストローク目からしかないだろう。

    　それに対して、女子の場合はサービスの威力が少ないケースが多い（ともいいにくいケースが増えてるが）のでリターンから戦術が活かせるかもしれない。

    　ただ、これは戦略について批判しているのではない。戦略について面白そうだったが、URLが分からんようになってもた(^^;….

    　それから、俺自体は試合どころかテニスコートで打ったことすらない、戦術とか戦略なんて関係ないということさえおこがましいド素人だ。