自由度調整済み決定係数が小さくなるから、カテゴリー変数はダミー変数化しないほうがいい?


最近、Rについてのエントリーが多いことからも察している人も多いと思いますが、最近は仕事でRばっかり使ってます。ある製品群の値段予測システムという社長の案があって、自分はRを用いてその予測価格の算出方法をいろいろ考えているところです。そのデータ自体はデータベースに大量にあるので、それを有効活用しようというわけです。
前々から社長はその案を画策していたそうで、社長から渡された多変量解析の参考書籍には2011年に購入したであろうと思われる栞がはさんでありました。確かあちこちにメモ書きもあったと思うので、社長もよく勉強してるんだと思います。

ところで、解析の対象の項目には、順序があるわけではない、あるカテゴリー変数がありました。隠すことではないのと思うで言ってしまうと、製品の『色』です。ただ、だいたいの人気色というのは予想がつくので、自身でそれぞれの色に数値を割り当てていって精度をあげてほしいということでした。

試しに、下記のニコニコ動画から取得したデータを用いてやってみようと思います。
nico
この場合、ニコ動のカテゴリーがまんまカテゴリー変数ということなります(ややこしいですが)。まずは試しに、再生数とカテゴリーをboxplotで出力してみる。

すると、下記のような図となりました(y軸の制限をなくすと縦に長くなりすぎてわかりづらいので、箱が分かる範囲にしています)。
カテゴリーと再生数のボックスプロット
項目名が書いてないところが多いので分かりにくいですが、左から『R-18』『VOCALOID』『アイドルマスター』『アニメ』『エンターテイメント』『ゲーム』『スポーツ』『その他』『ニコニコインディーズ』『ニコニコ技術部』『ニコニコ手芸部』『ニコニコ動画講座』『ラジオ』『演奏してみた』『音楽』『科学』『歌ってみた』『作ってみた』『自然』『車載動画』『政治』『東方』『動物』『日記』『描いてみた』『踊ってみた』『旅行』『料理』『例のアレ』『歴史』 となっています(項目名を縦にして表示したいのですが、調べても分かりませんでした。改行を入れて対処するという方法もあるんですが、図とかぶってしまうので・・・)。
では、これを参考に数値化しています。とりあえず中心点を基準に上のほうにあるものを大きい数値、下の方にあるものを小さい数値であらわしてみます。

とりあえず下記のような感じにしてみました。

これで重回帰分析できます。試してみましょう。

決定係数(Multiple R-squared)が0.7105、自由度調整済み決定係数(Adjusted R-squared)が0.7104となっています。悪くなさそうです。もう少し微調整したらもっとよくなるかもしれません。

ところで、その時(一ヶ月ほど前ですが)は自分も統計に関しては全くもって無知で「確かに、数値化しないと計算できないしね。なるほどなるほど」なんて思ってやっていたのですが、いろいろ調べてみるとダミー変数化するという方法があるということを知りました。例えば、黒という変数を用意して、黒い製品には1、他は0。また、白という変数を用意して、白色なら1、ほかは0。という具合に、それぞれのカテゴリーごとに変数を作るというものです。これならわざわざ自分で順序を考えなくてもいいですし、楽ができそうです。

ということを社長に話してみると、こう言われました。
「変数が増えると補正R2が小さくなるからそれはやらないほうがいい」(補正R2とは、自由度調整済み決定係数のこと。Excelではこう記される。初めてExcelで調査してたのでこの言葉が社内では一般的)
なんとも腑に落ちない感じがしたのですが、自分も統計学に関しては初心者だったのでなんとも言えませんでした。
確かに、自由度調整済み決定係数は、決定係数や標本数の数が変わらない状況な場合、変数だけ増えると下がる傾向にあります。
ちなみに、変数の数をp、標本数の数をn、決定係数をR2とすると、自由度調整済み決定係数は下記のようになります。

参考:自由度調整済決定係数
上記の重回帰分析の結果を例にもとめてみると、((9000-1)*0.7105-3)/(9000-1-3)となり、確かに結果は0.7104となりました。

ではここで、標本数が20、R2が0.7、変数の数が9と10の場合を考えてみようと思います。
まず、変数の数が9の場合は((20-1)*0.7-10)/(20-1-10)となり、これは0.43になります。10の場合は0.3666666…となりました。確かに変数の数が増えると自由度調整済み決定件数は減るようです(確かあの時社長は、「分母が大きくなるから小さくなる」みたいなことを言っていたような気がするのですが・・・。記憶違いかもしれない。さすがに自分より一年以上も多く統計の勉強をしていた社長がそんな間違いをするとは思えないし)。

なお、上記のニコ動の例をダミー変数化すると下記のような結果に(指数表記をなくしてます)。

自由度調整済み決定係数が、増えてるという・・・。

さて、例がものすっごい悪かったのですが、実は業務で使っていた解析では数値を調整することにより、自由度調整済み決定係数がダミー変数化する場合より大きくなりました。
ところで、ダミー変数を使うということは変数の値は1か0かということになります。ということは、ダミー変数を使って出てきた係数を使って数値化し、1という数値のほうを係数と考えてもいいんじゃないか。と思ったわけです。
例えば、以下の様な感じ。

思った通り、係数は1となり、自由度調整済みも大きくなりました。もし、自由度調整済み係数をもとめられているけれども、ダミー変数化すると自由度調整済み係数が下がってしまう場合は、上記のようにして求めた自由度調整済み係数を報告すればいいかもしれませんね(自分はそうしてます)。

ということはですよ。ということは、今、上記の解析では『コメントの係数*コメント数+マイリストの係数*マイリスト数+ダミー変数の係数+切片』という式になっているわけですが、そもそも『コメントの係数*コメント数+マイリストの係数*マイリスト数+ダミー変数の係数』の部分を一つの変数と考えたらいいんじゃね? と。そしたら、変数の数は1つだけになり、自由度調整済み決定係数の値も大きくなるはず。
やってみましょう。

はい。確かに自由度調整済み決定係数が大きくなり、表示の上では決定係数と同じになりました(計算してみたら分かりますが、全く同じではありません。決定係数よりは小さくなります)。

自由度調整済み決定係数は違いますが、上記3つ(決定係数が0.7591となってる解析)は、どれも同じ予測値を算出します。だからといって参考にならないかというとそういうわけではないのですが、あまりアテにするのもよくないような気がします。少なくとも、サンプル数がかなり多ければ(別にどれぐらいの数以上かを想定してるわけではないです)、決定係数だけを見てもいいんじゃないかと。まあ、変数を一つ増やすか増やさないかの参考なら使えるかもしれませんが。

最後にもう一度言っておきますが、自分は統計学を勉強して1ヶ月程度しかたってない初心者の中の初心者です。もしかしたら盛大な勘違いをしているかもしれません。もし、おかしなことを書いてるなら指摘してください。

コメントを残す

メールアドレスが公開されることはありません。