折りたたみを展開する

おぼえ書き、まとめ、発表など

メモ: 2020-04-16

英語の勉強をしている。 やっているのは以下の3冊

ENGLISH EX

ENGLISH EX

【音声アプリ対応】英検1級でる順パス単 (旺文社英検書)

【音声アプリ対応】英検1級でる順パス単 (旺文社英検書)

  • 発売日: 2012/03/16
  • メディア: 単行本(ソフトカバー)

Distinction I

https://www.atsueigo.shop/items/12914669

とても楽しい。

メモ: 2020-04-14

バイアスの評価で、候補のモデルの推定で使ったパラメタをつかって平均対数尤度も推定してしまうのでバイアスがかかってしまうという下り。

結局は、対数尤度でパラメタ  \theta を推定するので、KLダイバージェンスの右辺第2項の)平均対数尤度とは乖離があるという理解をした。対数尤度でパラメタ  \theta を推定するということは、必ず)平均対数尤度よりも大きいか同じになるということなので。

メモ: 2020-04-13

時系列分析の勉強

K-L情報量で真のモデルが返す分布と候補のモデルの分布の差を調べたい。 真のモデルはわからないけど、候補のモデルの分布は調べられるのでモデルの候補の中からK−L情報量で調べた良いモデルは選べる。下の式の右辺が候補のモデル。

I ( g ; f ) = E Y log g E Y log f

で、候補のモデルのパラメタ  \theta の推定をする必要がある。それは、対数尤度 を使うことで計算できる。 1 n i = 1 n log f ( X i )

大数の法則によって、対数尤度に1/nしたものが大数平均尤度に収束する。

ただ、候補のモデルの推定で使ったパラメタをつかって平均対数尤度も推定してしまうのでバイアスがかかってしまう。 このバイアスを評価して補正する指標としてAIC(An Information Criterion)が出てくるのだった...

メモ: これがよくわからん... →候補のモデルの推定で使ったパラメタをつかって平均対数尤度も推定してしまうのでバイアスがかかってしまう

メモ: 2020-04-12

引き続きLDAの勉強。ギブスサンプリングはなにをサンプリングしているかよくわからなかった。 というか、サンプリング式とか言われても?という感じだったのだが、文章の語彙を一つずつ見ていってサンプリング式をつかってどのトピックに属しているかを調べるという操作をサンプリングと読んでいるようだ。

Dynamic Topic Modelの勉強に以降....

メモ: 2020-04-10

LDAについて勉強している(n回目)

実装したいと思い、色々と推定方法について勉強している。

LDAに使われているパラメタの推定方法のひとつ、ギブスサンプリングについて勉強している。

ギブスサンプリングというのはどういう手法かというと、ギブスさんが考案したサンプリング手法だということだ。*1 (終)

参考資料

machine-learning.hatenablog.com

勉強予告

久しぶりに毎日更新に挑戦したいと思います。

以下予定している内容

  • ライティング覚書は今月中に完成します

以下の勉強のメモを開始します

あとは英語の勉強メモも残します。 数式はめんどくさいから残さないと思います。