About me

I am a Researcher at RIKEN AIP who specializes in Machine Learning, Neural Network. I have earned a Ph.D. under the supervision of Dr. Noboru Murata. Currently I am pursuing Deep Learning and investigating on their Integral Representation, which is a way of mathematical interpretation how neural networks deal with information. The theory is constructive, and I have proposed some implementation algorithms, and applied them to real problems.

I am also interested in applications of machine learning techniques to Real World data. If you are looking for a data analyst, please feel free for contact. Let me help it!


  • 2006-2010 Undergrad: School of Science and Engineering, Waseda Univ.
  • 2010-2012 Ms.Eng.: Grad. School of Advanced Science and Engineering, Waseda Univ.
  • 2012-2013 worked at Automotive & Industrial Systems Company, Panasonic Corporation.
  • 2013-2016 Dr.Eng.: Grad. School of Advanced Science and Engineering, Waseda Univ.
  • 2015-2016 DC2: JSPS's Research Fellowships for Young Scientists
  • 2017-xxxx Research Associate: School of Science and Engineering, Waseda Univ.

My Works


  • S.Sonoda, N.Murata, "Decoding Stacked Denoising Autoencoders", arXiv:1605.02832, (2016). (pdf)
  • Journal Paper

  • S.Sonoda, N.Murata, "Neural Network with Unbounded Activation Functions is Universal Approximator", Applied and Computational Harmonic Analysis, 43(2):233-268, (2017). (pdf) (arXiv)
  • S.Sonoda, N.Murata, H.Hino, H.Kitada, M.Kano, "A Statistical Model for Predicting the Liquid Steel Temperature in Ladle and Tundish by Bootstrap Filter", ISIJ Int'l., 52(6):1086-1091, (2012). (pdf)
  • International Conference/Workshop

  • S.Sonoda, N.Murata, "Transportation analysis of denoising autoencoders: a novel method for analyzing deep neural networks", NIPS 2017 Workshop on Optimal Transport & Machine Learning (OTML), Long Beach, California, USA, December 4-9, 2017. (pdf)
  • (poster, refereed)
  • S.Sonoda, N.Murata, "Double Continuum Limit of Deep Neural Networks", ICML 2017 Workshop on Principled Approaches to Deep Learning (PADL), Sydney, Australia, August 6-11, 2017. (pdf)
  • (poster, refereed)
  • S.Sonoda, N.Murata, "Ridgelet Analysis of ReLU Network", The 29th Machine Learning Summer School (MLSS2015), Kyoto, Japan, August 23 - September 4, 2015. (poster, refereed)
  • S.Sonoda, N.Murata, "Sampling Hidden Parameters from Oracle Distribution", The 24th International Conference on Artificial Neural Networks (ICANN2014), Hamburg, Germany, September 15-19, 2014. (pdf)
  • (poster, refereed)
  • N.Murata, S.Sonoda, H.Hino, H.Kitada, M.Kano, "Sensitivity Analysis for Controlling Molten Steel Temperature in Tundish", 2012 IFAC Workshop on Automation in the Mining, Mineral and Metal Industries, MMM 2012, Gifu, Japan, September 10 - 12, 2012. (paper)
  • Domestic Conference/Workshop

  • 園田翔, "ニューラルネットの数理モデル", 理研AIP数学系合同セミナー, 伊豆山, 2018年3月.
  • 園田翔, 村田昇, "深層学習の Wasserstein 幾何学的解析にむけた取組み", 2017年度 科学研究費シンポジウム「大規模複雑データの理論と方法,及び,関連分野への応用」, 筑波, 2017年12月. (pdf)
  • "一般の雑音分布によるデノイジング・オートエンコーダーの解析", 第20回 情報論的学習理論ワークショップ(IBIS2017), 東京, 2017年11月. (poster)
  • 松原拓央, 園田翔, 村田昇, "積分表現とKernel HerdingによるNeural Networkの学習", 第28回IBISML研究会, 東工大, 2017年3月. (oral)
  • 園田翔, 村田昇, "深層デノイジング・オートエンコーダーの輸送理論解釈", 第19回 情報論的学習理論ワークショップ(IBIS2016), 京都, 2016年11月. (poster, best presentation award)
  • 嶋田達之介, 園田翔, 村田昇, 加藤真平, "Saliency Mapを用いたCNNブレーキシーン判別器の解析", 第19回 情報論的学習理論ワークショップ(IBIS2016), 京都, 2016年11月. (poster)
  • 嶋田達之介, 松原拓央, 園田翔, 村田昇, パトリシアオー タル, 加藤真平, "LiDAR深度データを用いたCNNブレーキシーン認識", 第18回 情報論的学習理論ワークショップ(IBIS2015), 筑波, 2015年11月. (poster)
  • 園田翔, 村田昇, "ReLU ネットワークの積分表現理論", 2015年度 科学研究費シンポジウム「大規模複雑データの理論と方法論:最前線の動向」, 筑波, 2015年11月.
  • 園田翔, "深層学習のリッジレット解析にむけた取組み", 2015 RIMS 共同研究 「ウェーブレット解析と信号処理」, 京都, 2015年11月.
  • 園田翔, 村田昇, "オラクル分布を用いたサンプリング学習アルゴリズム", 第18回 IBISML研究会, 筑波, 2014年9月. (oral)
  • 金田有紀, 園田翔, 日野英逸, 村田昇, "複数粒子フィルタとモデル選択を用いたEEGデータの電流ダイポール推定", 第17回 IBISML研究会, 沖縄, 2014年6月. (oral)
  • 園田翔, 村田昇, 日野英逸, 進藤史裕, 北田宏, 加納学, "ブートストラップフィルタによる溶鋼温度分布の予測と制御", 日本鉄鋼協会 第162回 秋季講演大会, 大阪, 2011年9月. (oral)
  • Invited Talk/Lecture

  • Sho Sonoda, "Transport Analysis of Denoising Autoencoder", Tokyo Deep Learning Workshop (TDLW2018), Deep Learning: Theory, Algorithms, and Applications, Tokyo, March 19-22 2018.
  • 園田翔, "[招待講演]輸送理論から見た深層ニューラルネット", 第??回 PRMU研究会, 東京, 2017年9月.
  • 園田翔, "深層ニューラルネットの積分表現理論", 第29回 科研費新学術領域「多元計算解剖学」セミナー, 東京, 2016年11月.
  • 園田翔, "ニューラルネットの積分表現理論", 第2回 産総研人工知能セミナー 「機械学習の理論的側面」, 台場, 2015年11月. (pdf@aist)
  • Dissertation

  • 園田翔, "深層ニューラルネットの積分表現理論", ("Integral Representation Theory of Deep Neural Networks",) 2017年2月. (pdf@waseda.repo)
  • Award

  • 第2回WIRPワークショップ 最優秀賞, "深層ニューラルネットの輸送解釈とWasserstein幾何学的解析", 園田翔, 2017年4月.
  • IBIS2016 学生最優秀プレゼンテーション賞, "無限層デノイジング・オートエンコーダーの輸送理論解釈", 園田翔, 村田昇, 2016年11月.
  • 日本鉄鋼協会 計測・制御・システム研究賞, "物理・統計的モデリングによる取鍋内溶鋼温度の高度予測技術", 園田翔, 大倉才昇, 村田昇, 日野英逸, 加納学, 北田宏, 2012年3月.


  • Most productive with: R, C++ (with GSL/STL), Ruby, Mathematica, VBA for Excel
  • Working knowledge of: C (for embedded systems), Java, Ruby on Rails, Python, CUDA
  • Qualification: 英検2級, 普通自動車免許, 柔道初段, 書道六段

My Passion

In 2012-2013, I was making a small part of some cars in a company. I saw that the company was a giant. Japanese manufacturing industry prides the premium quality of their products, and it was/is real. People inside are closely united and quite rational. As usual, problems arise everyday, and a vast number of mechanisms to assure high quality outputs is constructed and improved day after day. Konosuke Matsushita, the founder of Panasonic, made such a mature organization.

I have also noticed that best selling and eye-catching novelty are different. A successful business would be as common as tap water, or light bulbs, cars, mobiles, the Internet, schools, etc. Successful science and technology should also be wide-spreading. I like functional analysis and differential geometry, because they can model and solve wide range of phenomena/problems. Today, statistics and information technology are attaining revolutionary development. I am expecting statistical literacy and stochastic concept become more common, as classical dynamics. And I hope to be an accomplice of this revolution. That's why I am here.

  • mycar
sho.sonoda [AT] riken.jp

Radon Transform

Transportation by Denoising Autoencoders