前回：

の続き．というかこっちを先にするべきだった． 引き続きlivedoorニュースコーパスを使う． クラス数は9で総文書数は7356件． 今回の対象はタイトルと全文． なので各文書がある程度長いことを想定 （次回はここをタイトルのみにして短い文書に対する分類結果も出してみる）．

前回はword2vecを使ったが， 今回は普通にBag-of-WordsモデルとそれにTFIDFで重み付けをしたものを比較してみる． 実験の設定は前回と同じなので，前回の結果とも比較できる． 各文書がある程度長いのでBOWでもいい結果が出るだろうと予測したが，どうなんだろうか．

結果は以下のようになった．

BOW+TF BOW+TFIDF w2v
0.95 (0.004) 0.95 (0.004) 0.85 (0.007)

検定はしていないが，おそらくBOW (+ TFIDF)はword2vecを使ったモデルよりも性能が良いと言っていいだろう． 以下の要因が考えられる．

  • 十分な数のトレーニングデータが与えられているため
  • 文書がある程度長く，多くの単語を含むため

次回からは，このあたりを制限していって，結果がどう変わるかを見ていこうと思う． あと，word2vecをこのコーパスでトレーニングしてもいいかも．