統計学習モデル

ニューラルネットワークのように与えられた例題に基づき内部のパラメタを変化させる学習システムを学習機械と呼びます．一つ一つの学習機械は与えられた例題をできるだけ上手く表現するようにそのパラメタを更新していきますが，例題としては与えられてはいない未知の入力に対してどのように振舞うのかは一般に保証されません． 例題として与えられた情報を敷衍して例題として与えられていない情報を推測する能力を汎化能力と呼びます．学習機械においてはこの汎化能力が重要な力となります．こうした汎化能力を統計的な手法，すなわち学習機械の集団の振舞いを調べることにより，学習機械が環境に適応する能力とその限界を探ることができます． 本研究室では，幾何学的な観点から統計的な解析を行い，モデル選択の方法，外れ値に対するロバスト性の解析，アルゴリズムの評価と改善などに取り組んでいます． また，さまざまなデータに対して，その背後にある特徴に適合したデータ生成機構のモデル化を試みています．

カーネル法

複雑で非線形なデータが与えられ，それを解析したいとします．この時，そのデータに沿って非線形なモデルを直接組み立てるというやり方がまず考えられますが， その場合計算が複雑になり，データが大規模な時に対応できなくなります．
カーネル法では，データを一度入力空間から高次元の特徴空間上に写像することで解析しやすいデータに変換し，その特徴空間上で線形なモデルを組み立てて，問題を解きます．このとき，特徴空間上での内積をカーネル関数を用いて計算することによって，計算量を抑えることができるのです．
カーネル法の大きな特長の一つは，どんな種類のデータでも扱えること．もとの入力空間でのデータは，実数ベクトルである必要はなく，文字列やグラフ構造など複雑なデータ構造を持っていても，実数と同じように処理できます．
注意しなければいけないのは，カーネル法が一つの分析手法を指しているわけではなく，カーネル関数を使うデータ解析手法はすべてカーネル法と呼ぶことができるということです．カーネル法と組み合わせて使うことのできるアルゴリズムとして，サポートベクターマシン，Fisherの線形判別分析，主成分分析，クラスタリング，正準相関分析，リッジ回帰，独立成分分析など，多岐に渡ります．

クラスタリング

クラスタ(cluster)は英語で「房」という意味で，同種の物の集合を表します． クラスタリングでは，データ同士の類似度を見る際に適切な尺度を決め，データを複数のクラスタに分類することを目的としています．

どちらのクラスタリングの場合も，データ同士の距離，データとクラスタの距離，クラスタ同士の距離を適切に決めてあげる必要があります．例えばデータ間の距離の場合，有名な距離としてユークリッド距離がありますが，その他にもマンハッタン距離やミンコフスキー距離などがあり，解析したいデータに応じて使い分ける必要があります．また，クラスタ同士の距離としては，2つのクラスタに属する対象のうち最も近い対象間の距離をみる最短距離法や，2つのクラスタに属する対象間の全ての組み合わせの距離を求め,その平均値をクラスタ間の距離とする群平均法などがあります．

階層的クラスタリングの場合，データを逐次的にクラスタに結合していくことで，系統樹と呼ばれる図を書くことが出来ます．以下に，様々な動物の頭と身体の重さの情報からクラスタリングし，作った系統樹を示します．

図の左の方には，馬(Horse)とシマウマ(Giraffe)と牛(Cow)が，右端にはアジアゾウ(Asian elephant)とアフリカゾウ(Affrican elephant)が分類されていて，同じ種類の動物同士のクラスタが形成されていることが分かると思います．

集団学習

判別問題とは，情報(入力)が与えられたときに，その情報を基に判断(出力)をさせるような問題です．最初に，入出力関係を判別機に知識として与えて(学習)おくことで，その知識を基に，未知の入力に対する出力(予測)を行うことができるようになります．

このような判別機を実際に作るときには，精度が良くなければなりません．間違って判別するような判別機では困るからです．しかし，精度の良い判別機を作ることは一般に難しく，複雑になってしまいます．また，計算時間も多くかかってしまいます．

そこで，そこそこ良い正答率を出す判別機をいくつも用意して，それらの多数決により最終的な予測を行います．これが，ブースティングと呼ばれるアルゴリズムの基本的な考え方です．つまり，「三人寄れば文殊の知恵」を実践させているのです．

例えば，試験問題を解くときに，95点や100点を取れるように勉強するのは大変ですが，70点や80点くらいなら何とかなると思われます．この7～80点の者同士が集まって話し合いをすることで，90点以上の点数を望めるのではないだろうか，ということです．

ただ，課題もあります．船頭多くして船山へ上る，というように，多数決に参加する判別機が多くなると適切な判別ができなくなってしまい，精度が落ちてきてしまいます(過学習)．本研究では，このような課題を克服しつつ，より良い判別機を作ることを目標としています．

グラフィカルモデル

様々な事象が相互に関連しあった問題において，いくつかの情報が手に入ったとき，観測されなかった情報を推測しなくてはならないといった状況はしばしばあります．例えば，いくつかの簡便なテストを行って機械の故障箇所，あるいは人間の病気を診断するなどといった問題があります．
グラフィカルモデル(ベイジアンネット)は，確率変数の間の依存関係をグラフ構造と条件付き確率で記述する確率モデルです．一見複雑に見えるグラフ構造でも，ベイズの定理に従ってグラフを順に遡ることによって，未観測の変数の確率法則を比較的簡単に計算することができます．

本研究室では，音楽生成系のモデルとして用いたり，迷惑メールなどの判別，DNA配列の推定などの問題に利用しています．

ニューラルネットワーク

脳内では，複数の神経細胞がつながって，電気信号の多数決をすることで情報処理を行っています．この現象を数学でモデル化したのがニューラルネットワークです．ニューラルネットワークの一種として，3層パーセプトロンなどがあります．

3層パーセプトロンは，データを与えて，各神経細胞が持つパラメータを調整（学習）することで，任意の入出力関係を真似る能力があり，例えば顔画像認識や株価予測に応用されています．

強化学習

学習の問題では，与えられた入力に対して望ましい出力があらかじめ教師から与えられている教師あり学習という枠組がありますが，例えば迷路を解くといったように，途中で出口に近づいたり，遠ざかったりを繰り返しながら，最終的に出口に辿り付いて始めて自分の取った道筋が正しかったかどうかがわかるといった問題があります．オセロゲームのように途中で自分の色が少なくなるような手を打った方が後々逆転しやすいとか，倒れそうになるような不安定な姿勢を取った方がロボットは速く歩けるなど，途中経過に重要な意味があり，単純には最適解が求められません．

こうした問題で活躍する学習方法の一つに強化学習があります．強化学習は動的計画法と呼ばれる最適化の評価関数を学習によって獲得していくという枠組で理解することができますが，ロボットなどの非線形の制御問題やゲームのように評価関数を人間が設計することが難しい問題を解く有効な手法として近年注目を浴びています．

学習に際して試行錯誤的な探索が必要ですが，問題が複雑になると非常に大きな状態空間を探索しなくてはならないため，状態空間を表現するモデルとその探索方法を工夫する必要があります．本研究室では，主にゲームを対象とした離散空間の問題と，RoboCupを対象とした連続空間の問題に取り組んでいます．

独立成分分析

独立成分分析(Independent Component Analysis;ICA)とは多変量解析の手法の1つであり， 名前の通り信号を独立性という基準から分析する方法です．
1つ実例を取り上げると，複数人が同時に喋っているときに，この複数人の喋る声は独立であると仮定できます． これをマイクを使って観測すると，複数人の声が混ざり合った音声が観測できます． この複数人の声が混ざり合った音声から，それぞれの人が喋った内容へと音声を分離することが 独立成分分析の応用の1つとして挙げられます．

上の図を見てもわかる通り混合された音声から元の原信号の波形が高い精度で分離できていることがわかります． 但し，順序の任意性のため，出力と入力で図の上下の位置が逆になっています． この他にも応用として脳波などの生体信号，画像，レーダ・ソナーなどの信号の分離などに使用されています．
一口に独立成分分析といっても様々な種類があり，信号の間の独立性の計算方法， 最適化の方法，独立成分分析を行う領域（時間領域，周波数領域）などで 様々なバリエーションがあります．

グラフマイニング

コンピュータネットワーク、鉄道路線、道路交通網、神経回路などが形作る、幾つかの頂点（ノード）を結ぶ網の目状の構造を、グラフ構造と呼びます。例示から分かるように、この構造を持ったデータは多岐に渡り、なおかつそのネットワークの経路の最適化や構造推定、変化点の検出は、我々の生活基盤を大きく改善する可能性があります。信号の切り替えのタイミングが改善されれば、渋滞は緩和されるでしょうし、送電網が最適化されれば送電ロスが軽減され、電気料金は値下げされるでしょう。
グラフマイニングとは、上記のような目標を達成するために、グラフ構造が持つ性質を調べる事を指します。そのため得たい情報に対応する様々な手法が存在します。簡単な一例としては、ノードのグループ分けが考えられます。

上図では、ひとつのグラフを、特につながりの強い3つの部分グラフに分割しています。このようなグループ分けは、ソーシャル・ネットワーキング・サービス（SNS）での友達紹介などに利用されます。上図のような簡単な事例ならば、人が目で見て分類する事もできるのですが、実際のデータは数十万のノード（SNSでいうならばユーザ）から成り立っているので、合理的にノードを分類する手法を考案する必要があります。