2022年8月10日
8月11日(今日已健康上报)
8月12日(今日已健康上报)
8月13日(已健康上报)
今天计划阅读Generative Models
昨天浏览了一篇Physics Based Machine Learning 的工作,是国防科大的Dong Bing课题组做的PDE-Net,能从数据中学习系统的偏微分方程,从而可以用于广泛的动力学系统、自动控制领域。其基于的核心定理是卷积算符可以近似差分算符,因此可以用一类卷积网络$D_{ij}$代替$a_{ij}(x,y)\partial x^i \partial y^j$,含时的线性微分方程可以写$\partial_t u = \sum_{i,j}D_{ij}u$,然后用这个去学习高精度数值解的结果。然后作者以某种方式保证了误差随着时间保持在一个可控的水平(不会随着时间指数积累),比之前的Frozen-Net效果好很多。神经网络在这里的好处有几个:1.对有大量数据但缺乏原理的系统,相当于我们拟合了一个微分方程;2. 在同样的精度下,网络的计算效率高于传统的数值方法 (并不绝对)
$a_{ij}(x,y)\partial x^i \partial y^j$
$\partial_t u = \sum_{i,j}D_{ij}u$
个人感觉,对于低维、原理比较完备的动力系统,这样的替换没啥意义(而且还有灌水嫌疑),但是作者显然更关注该模型的泛化能力。我觉得网络真正的应用价值,应该在高维且解析困难的场景(比如学习一下股价在一段时间的动力学规律etc)
github 预览markdown的公式似乎效果不佳 下载了一个mathjax的公式插件,但似乎没啥用,恼 刚才又读了一下自己的note,满篇都是 we can, we may, we could,是否搞错了什么,还是不习惯英文写作吗
实际上,又改了一下午代码😥写了很多test,捉出来不少bug,TDD(Test Driven Development)确实好。
健康上报系统似乎抽风了,我填报几次没有记录😇难道是因为我曾经删除过这个功能,现在不能用了?
叠加态 (已健康上报)绷不住了
IridiumLINCH-SK 提高政治站位之举罢了()
8月14日(已健康上报)
8月15日(已健康上报,未做核酸)
8月16日(已健康上报)
cai_b 发错位置了吧
8月17日🤓🎂🐸🕝(已健康上报,未做核酸)
8月18日(已健康上报,已做核酸)
8月19日(已健康上报)
(如果顺利的话)今天是在家最后一天
昨天查PageRank的资料,发现居然还是受李彦宏研发的RankDex算法启发才设计出来的,而且李彦宏团队还为此逆向工程过谷歌的算法,并验证了其没有抄袭RankDex,同时指出PageRank存在的缺点(即content farm之类的缺陷)。令人唏嘘的是,有着更好算法的百度,居然目前市值只有谷歌的1/10不到,而且在国内臭名昭著。 不过也由此看出了百度的技术基因,难怪现在百度All in AI了
被要求给初中的小同学准备一个科普报告,想来想去,居然没有一个物理相关的orz
不过这几个都是自己曾经hands on 的一些小东西,简单的算法和简单的娱乐。说来感慨,在本科试图做一些有趣的实验,但被老师们批为“浪费时间做这些不如去跟着老师做科研”,现在回过头来,个人感觉还不如去做那些探索性的小实验,比如这种
可惜我四年级应该没时间,不然真想在学校推广这个项目,目前的一个想法,就是和zhl老师商量商量,改革一下物理实验。
无,和同学聚会,明天回北京。 希望不要到了之后弹窗😇 如果那样的话,就告诉老师,希望能平安到达 另外,作为一所新学校缺乏track的问题,在升学的时候凸显了出来,不过又无可奈何,只能自己继续探索了
8月20日(已健康上报)
Generative Model
Diffusion Model
哈哈,只看了一小时Generative和一小时Diffusion,数学没了解多少,走马观花被科普扫盲了一下
之前玩DALLE的时候没有细看论文,一直以为是用GAN(Generative Adversial Network)对抗生成网络做的,结果今天才知道用的Diffusion Model,里面本质上是马尔可夫过程,和一些神经网络。
不过还是有收获,了解了业界在普通神经网络的基础上进行魔改的诸多方法:一些normalization,一些attention,一些batch,residual之类的
下午去我哥(某厂程序员)家里吃饭,看他改业务代码,初步理解了被猪队友的屎山支配的感觉。
和朋友在四川音乐学院旁边的酒吧街转了一晚上,同学前几天刚从中金公司(那个据说员工平均年入百万的)参加活动回来,跟我讲了很多金融的东西,也聊了许多别的,感觉也是一种收获
夜里聊完,骑着摩托车回家,路灯闪烁,夜风吹扬,心情畅快。一想到回北京只能坐牢,没有生活可言,便又恨不得弹窗多来他十天半个月,如此,以后做数字游民的想法又强了一些。
8月21日(已健康上报)
8月22日
看了missing semister的两节课,惊觉shell和bash用起来如此方便。之前跑一个DFT的计算,写的脚本又臭又长,现在看来有很多可以提升的地方。
今天看到ICML2015的一篇文章:Deep Unsupervised Learning using Nonequilibrium Thermodynamics,利用非平衡热力学的深度无监督学习,惊讶于物理概念在ML中的无处不在,能量模型、朗之万方程、扩散过程……
MIT有一门课叫Introduction to Computational Thinking,非常有意思,真希望我能早点知道有这门课。这门课使用的语言是Julia,一个面向科学计算的高性能语言,之前就有打算想要学习一下,这门课应该是个好的开始。
copilot实在太强了,很多coding的问题,注释写清楚了之后代码基本无错误,微调一下就能run
昨天重读Page Rank的教材Google's PageRank and beyond,看到在书最后一节,作者引用了《悉达多》里悉达多给自己的朋友说的一段话:
When someone is seeking, it happens quite easily that he sees only the thing that he is seeking; that he is unable to find anything, unable to absorb anything, because he is only thinking of the thing he is seeking, because he has a goal, because he is obsessed with his goal. Seeking means: to have a goal; but finding means: to be free, to be receptive, to have no goal. You, O worthy one, are perhaps indeed a seeker, for in striving towards your goal, you don't see many things that are under your nose. Siddhartha
这本书,题目虽然是介绍一个算法,但是作者在卷首申明了,这是一本为本科生准备的,学习线性代数的书,并且也包含了足够“有趣”的内容,以至于数学基础偏少的读者也可领会要意。我个人十分推荐这本书作为线代的课后参考,看看一个可以商用的算法是如何用我们熟悉的线性代数导出的,看看各种概念如何应用于实际,我想对本科生来说很有启发。 而这段话,我没有领会到太多,为何作者要在这本精心撰写的书的最后,突兀地留下这段呢? 也许是要告诉我们,与其strive to seek and be obsessed with your goal, 不如be receptive, be open and find things that is hidden under your nose. 作为自然科学的本科生,回家有时候感觉会受到亲戚们的打量,毕竟我的所学无法直接帮到他们(不像医生和律师),而未入社会的我看起来对许多生活技能又不熟悉,远远不够成熟。在他们看来,我应该就是obsessed with my own goal的类型吧 读到这里有些思考,或许相比于沉浸在个人的世界里追逐所谓规律和真理,试着更多的介入和体验周遭的世界,体验不一样的视角和生活更能对我的成长有意义?
叠加态 表示讲脚本那个老师的口音重得我真的听不懂,只能自己去看notes😇
楼主是如何做到每日保持极大的学习热情的?我现在陷入了每隔一段时间就摆烂的情况, 譬如一天内可能看论文写代码突然集中精神了一两个小时, 然后就会摆烂同等时间.
Hiloxiko 恰恰相反,我其实没法做到每天保持极大热情,我的解决方案是在摆烂的时间做/学一些别的有意思的事情,这样就不觉得是在摆烂了😎No time is wasted.
Hiloxiko 讲道理,如果一个学者可以把一半的时间投入工作的话,那他确实已经打败绝大多数人了。