fragment
今天忙,没时间log太多内容,不过可以log几个关键点:
玩儿tensor flow的人一般都接触过mle和map,但是很多人都没有真正做到把它们掰扯开了理解透彻,毕竟对咱搞应用的来说,能出结果就好。
还记得我调侃过的似然函数那个英文吗?likelyhood function那里,mle中的l就是likelyhood。
简单来说,mle是频率学派的,map是贝叶斯学派的。这俩学派在世界观上截然不同,嘿嘿,跟我最近log的这个系列高度相关。
今天log的第一个点:频率学派和贝叶斯学派的争论,如果抛开实际应用场景来说,在我看来贝叶斯学派是显然更加靠谱的。涉及到理论深层和本质性的问题上,频率学派那帮子人就是脑子没想清楚,不过any way,尽管我绝对地站贝叶斯学派,但在实际弄深度网络的时候也是偶尔会用mle的。
当然频率学派和贝叶斯学派到今天学术界都还没争论定下来,这就奇葩,虽然贝叶斯学派也有贝叶斯学派的问题,但至少比频率学派不知道高到哪里去了……
今天log的第二个点:跟之前我发的那本儿书有关,最大熵原理,这个东西真的是yyds,它是Jaynes在20世纪50年代就搞出来的东西,但是奇葩的是Jaynes在国内甚至还没有一个正式的译名……妈的这老头人家90年代都挂了……真是可惜。之前我发的那本儿书就是Jaynes写的,非常的神(然而我至今还是没有沉下心完整地认真地读完,都是零碎想起来又去翻翻,每次都有牛逼的点子冒出来,而麻烦就麻烦在它特么是英文的……读书的过程中我必须在写代码用的英文脑和做深度思考的中文脑各种切换,非常恼火,这条估计也没人能看懂——嘿嘿,就是你的思考和你思考所用的语言有强相关的)