cai_b
我这有些导师发的资料,感兴趣可以先看看这个计算物理:流模型视角一小时视频,然后文章可以读Generative Models for Physicists,也可以去看 EquivariantDL,另外之所以感慨,是因为这个假期一直在看两个比较前沿的深度学习领域:Geometry Deep Learning和Generative Model,前者是在思考如何将对称性/规范不变性加入神经网络,后者是如何对复杂高维的流形进行采样。你会看到许多工作的目的就是为了解决物理化学生物问题(以复杂多体问题为主:分子动力学,量子化学,格点场论,大分子结构性质预测…),很多重要方法都有物理背景(朗之万方程,蒙特卡洛,平均场,扩散,薛定谔桥,量子计算,张量网络…),很多研究者也是物理背景(至少本科是,比如ImagNet的创建人李飞飞)。之前听一位字节跳动AI Lab Research Scientist的组会,他感慨DL前沿进展有许多理论物理的东西,他(自动控制专业背景,南大AI Lab)作为engineer也觉得要学一学。
有些方法的代码和思路很简单,但是效果远超以前复杂的模型,所以有人评价“a few lines of correct math derivation is much better than models with millions of parameter”(大意)。
另外说句题外话:你猜为什么深度学习很火?
一个重要原因是,在很多领域(比如模式识别,蛋白质结构预测)每年增长0.1%就很不错的情况下,深度学习模型直接把效果翻了个倍,甚至远超人类顶级高手。
另一个原因是,这样一个work well的模型,至今没有很好的解释说明为什么能work(我们有所谓Universal Approximation Theorem,证明可以收敛到所需解,但是没弄清楚能收敛得多快多好),这是一个有极大理论价值的领域,已经引起了来自博弈论、最优输运、概率论等传统数学领域的兴趣。
第三个原因是,计算技术的蓬勃发展,让业界也需要有个可以“炒作”的东西,来加大投资,建设基础设施。深度学习就被炒作的很热,因此很可能不久就会成为泡沫冷下去,但是技术将会继续演进,背后的核心技术“Differential Programming”“Just In Time Compilation”“Tensor Processor Unit”“High Performance Computing”等会在新的领域继续发挥作用。
让我兴奋的其实不是深度学习,也不是理论物理,而是不同学科在触及复杂性问题时,在底层惊人的共同之处,正如老师所说:“在进入这个领域之前,我无法想象居然能有机会和来自完全不同行业的人一起探讨重要的问题。”
“我们生活在一个很幸运的时代”。