Each day is a little life: every waking and rising a little birth, every fresh morning a little youth, every going to rest and sleep a little death. - Arthur Schopenhauer
ラベル 統計学 の投稿を表示しています。 すべての投稿を表示
ラベル 統計学 の投稿を表示しています。 すべての投稿を表示

2014年2月6日木曜日

読書『統計学が最強の学問である』西内啓著


「ビッグデータ」という言葉をメディアで目にしない日がない。
どうも礼賛の向きが強くて、内実が見えてこないというか、虚実が字面の上だけで踊り狂っている印象が強かったのですが、この本でもその点について紙面が割かれています。


そもそもビジネスにおいてデータを使うならば、次の3つの問が明確になっている必要がある。すなわち、

①何かの要因が変化すれば利益は向上するのか?
②そうした変化を起こすような行動は実際に可能なのか?
③変化を起こす行動が可能だとしてそのコストは利益を上回るのか?

⇒以上3つが明らかになった時点で、統計解析の便益の見通しがはじめて立つというものであって、これらをなくしてデータをこねくり回しても何も出てこない。
(逆にいうと、最適な手法で、的確に用いられれば、強力な武器になるということです。以前こんな記事を書きました⇒「ビッグデータ解析と競馬」)



もちろん、「回帰分析」「カイ二乗検定」「p値」などじっさいに統計解析を行うにあたっての基本的な用語説明、方法なども記述がありますが、そういった実践的知識についてはほか多数の市販の統計学入門のテキストに譲り、(たとえば『完全独習 統計学入門』)この本では統計学という裾野の広がった学問を鳥瞰的に把握することを目的にすべきであると感じました。
完全独習 統計学入門完全独習 統計学入門
小島 寛之

ダイヤモンド社
売り上げランキング : 1762

Amazonで詳しく見る
一口に「統計学」と言っても、


①実態把握を行う社会調査法
②原因究明のための疫学・生物統計学
③抽象的なものを測定する心理統計学
④機会分類のためのデータマイニング
⑤自然言語処理のためのテキストマイニング
⑥演繹に関心をよせる計量経済学

など多数の分野にまたがり、交差してしまっているのが現状だということです。

「演繹」の計量経済学と「帰納」の統計学>や<ベイズ派と頻度論派の確率をめぐる対立>など章の見出しをみると、読者にそうした分野間の乱れに起因する混乱をきたさないようにする筆者の配慮がうかがえます。

統計学が最強の学問である統計学が最強の学問である
西内 啓

ダイヤモンド社
売り上げランキング : 426

Amazonで詳しく見る

2013年7月8日月曜日

ビッグデータ解析と競馬


約2ヶ月前に大阪地裁で興味深い裁判がありました。
一介のサラリーマンが07~09年の間に競馬で28億7千万円分投資し、30億1千万回収していた。
裁判の中身としては、大きく言って"脱税"なのですが、ハズレ馬券も経費として計上することが認められたことで、支払額は大幅に減額。
メディアでもこの「ハズレ馬券が経費として計上されうるのか?」に焦点が置かれていましたが、僕としてはなぜ一個人、それもサラリーマンがゆうに億を超えるお金を転がしながら、競馬に投資できたのかについて興味が湧きました。
(なぜにハズレ馬券が経費になりうるのかについてはこのまとめが有益かと。「競馬で30億円配当に巨額の追徴課税の件を解説してみた」)

日経新聞の記事によると、元手100万円から賭博をスタートさせたと。
そこからなぜ、20~30億もの大金に膨れ上がっていったのか。
市販のソフトを独自に改良し、中央競馬(JRA)の週末開催レースのほぼすべてに賭けていた。

ギャンブルの種類別の控除率の比較
(グラフ転載元

宝くじの控除率の高さは「ジャンボ宝くじ1等当選確率=交通事故で450回死ぬ確率」などと言われるようにべらぼうに高いわけですが、競馬もバカラなどのカジノ・ギャンブルに比べると相当高い。
ただ、たとえばパチンコやパチスロの場合、たしかに競馬より控除率は低いものの、時間対効果は良くない。常に体は台に縛り付けられるわけで、時間を価値としてみるなら、相当な時間を喰われると。その分、競馬は競馬場に行かない限りは馬券を買い、あとはレースを観る。(最近はIPATなどでネットやスマートフォンからも買えるのでどんどん利便性が増している)あとはパチンコ、スロットでは万枚が出て十万円単位の勝ちはあっても、競馬の三連単やWIN5のような爆発的なリターンは見込めない。
いずれにせよ、楽しい!ワクワクなど、プライスレスな気持ちうんぬんは抜きにして、現実問題「いくら勝てるんだ?」となると、大部分が負けるわけです。勝ち、負け、勝ち、負け、負けという風に。
自動的にオッズが変動するということは、JRAが損することはほとんどないと。(ただ、JRAの売上は下がり続けているそうです。基本的に賭博は日本の景気そのものと連動しているらしく)

話を大阪地裁の被告男性に戻しましょう。
以上のようなギャンブル一般の話を鑑みても彼の業績は目を見張るものがあるわけです。
もちろん、元手資本から億単位のお金に変位するまでに、僥倖はあったのでしょうが、一度億単位の(普通の市民が持ち得ない単位のお金)の段階まで達すると、投資全般・ギャンブル全般に言えることだと思うんですが、負けにくくなる。
というのも、講じることのできる策、手元の戦略カードが増えるからです。
ポーカーでいえば、持ってるチップが多ければ多いほど、力の論理でブラフの効力が増す。
競馬で言っても、劇団ひとりが「陰日向に咲く」でいうような馬券戦術をきっかり、冷静にやるためにはかなりの元手(pool)がないと厳しい。
大体において、一部の上層が大部分の下層を食いつぶすというのは常で。それは最近読んでブログでも書いたでも同じように、アメリカでも1%の富裕層が残りの99%を搾取するという構造。まあ競馬はゼロサムゲームですし。
だから逆に言えば、使える額の幅が増えれば、相当有利になる。
この男性の場合でいえば、潤沢に増えた資金を自己改良版のソフトに流して、あとは機械が自動的に買いながら回していたのだと思います。回収率は100~105%くらいでしょうが、元手が大きければその分、取り分も大きいので。
このケースですごいのは当の改良版ソフトですよね。


新聞の広告欄でもよく目にするような競馬予想サイトや競馬予想ソフト、(競馬場にいる予想屋も然りですね)は基本的に眉唾ものだと思っているのですが、(だって本当に機能するなら誰にも教えずに自分達だけでやったほうが断然トクですよね。リスクヘッジのためと言うとは思いますが)それを自己改良して、本当に必勝のプログラムを作り出したのだとすれば、これは凄い。
ホリエモンも学生時代に競馬に明け暮れて、小銭を稼いでいたそうですが、たしかに頭の良い人が本気を出してこれだけに打ち込めば可能なのかなーとなんとなく思ってしまいます。

たとえば東大の数学科。
数学科なんて出て、どこに就職するのかと思いきや、金融/保険が多いらしく、金融商品の設計をするらしいです。いわゆる「クオンツ」ですね。
クオンツとは野村證券のサイトによれば、
有価証券投資において高度な数学的テクニック(コンピューター)を使って分析すること、もしくは分析する人のことをいう。Quantitative(数量的)という英語から派生した言葉である。 たとえば日経225に連動するポートフォリオを20銘柄で作成するにはどうしたら良いか、といった課題に対する回答を求めるためには、過去の様々な銘柄の動きを分析し、業種分散なども配慮の上、最もブレの少ない銘柄の組合わせを選ぶ必要がある。 こうしたことを理論的に算出するための金融テクニック全般をクオンツと称している。
複雑に派生しすぎたデリバティブ、あまりに流動性の高くなったグローバル資本の元凶として槍玉にあげられることも多く、「金融爆弾」と揶揄されることもありますが、おそらくそういった金融商品を設計している人は本当に頭の切れる人たちなのでしょう。 

そういった高度な統計知識、数理計算ができてかつ、競馬の構造にも知悉していれば、あとはビッグデータを駆使したアルゴリズムを導き出せれば、ほぼ勝てると。
ただし、上述したようにある程度のまとまったお金は必要になる。
個人ベースでビッグデータを扱えるようなデータ環境が整っていけば、それこそ競馬だけじゃなくて株式・為替も長期データに基づいたデータマイニングができるようになるのか。その辺は確実に断言できるわけじゃないですが、、諸々の規制というか、それを封じる動きも出てくると思うので。

さいきん、活気づいている「統計学」



統計学を修め、ビッグデータの扱い方にも通暁したならば、あとは「何を」分析するのか。武器を手にしたら、どこに向かうのか。武器を手にすること以上に大事なポイントはここなんじゃないかと。
ちなみにマッキンゼーの発表だと、2018年までにアメリカではビッグデータの解析など高度なアナリティクス・スキルを持つ人材が14~19万人不足する見込みとのこと。