写论文的日子(二)
以前学统计,一直没学好。试验设计和建模这两件事儿,我一直是割裂看待的。认为试验设计仅仅是收集数据的前导性工作,并不涉及数据。而更令我感兴趣的,则是对数据进行统计建模。我自己的缘故,在学习的过程中割裂了试验设计和建模,是非常错误的。
事实上,设计一个试验的目的,是更好的估计模型的参数。这就把试验设计和建模联系了起来。
从模型的角度入手,进行试验设计,对于理解各种设计,是有益的。
我接触到的传统的统计模型,可以分为两大类。一类是处理定量因子的,一类是处理定性因子的。对于定性因子的模型,一般最常见的是方差分析模型,这种模型所对应的设计就是非常传统的因析设计。这种设计是由Fisher提出来的,配合Fisher的显著性检验,对试验数据进行分析。因析设计所达到的是某种均衡性,因子水平组合的均衡性。达到这种均衡性之后,所做的试验,得到的信息是相对比较多的。对于这种数据的建模和分析,往往就是看因子的效应,包括效应图,以及具体的方差分析。但是因析设计如果要做的全面,试验数会随着因子水平数指数增长,因此就要考虑到部分因析设计,部分因析设计就要涉及到效应混杂,因此需要考虑一些选择设计的准则,包括MA准则,GMC准则等等。
另一类,则是处理定量数据的,常用的模型是各种回归模型,包括最简单的线性回归和各种非参数回归模型。对于模型已知,只需要估计模型参数的情况,我们一般考虑最优设计,即将模型的准则,比如E准则啊,C准则之类的考虑到试验的设计中来,对于在这些准则之下最优的估计参数来设计试验。对于模型未知的情况,则往往就要使用非参数回归的模型,比如多项式回归啊,样条回归,基函数回归等等,对于这样的模型,我们要选择空间填充设计,使得选取的试验点尽量均匀的分布在试验区域内,包括均匀设计等等。
在建模过程中,则要考虑到没有任何一种模型是最好的,也没有任何一种设计是最好的。建模的过程是一个不断探索改造的过程,因此,提出了序贯试验的策略,通过初步设计,对真实的情况有一个简单的了解,然后在进一步设计试验,探索更多的本质。统计学的整个过程,大致上也就是这些了。
此外,要进行好的试验设计,提高估计参数的精度,我们应该学习一些统计模拟中关于提高估计精度的内容,比如我在研究生阶段主要攻读的论文拉丁超立方体设计,其本质就是通过对偶变量法和分层抽样法这两种改进估计精度的方法来进行试验设计。学习的过程,需要探索事物的本质结构,我们不能只看到一个设计的表面,更要看到激发产生这种设计的思想来源。我觉得,或许只有这样,才能够提出一些创新的想法,而不是简单的模仿。当然,能模仿好也是很好的事儿。
事实上,设计一个试验的目的,是更好的估计模型的参数。这就把试验设计和建模联系了起来。
从模型的角度入手,进行试验设计,对于理解各种设计,是有益的。
我接触到的传统的统计模型,可以分为两大类。一类是处理定量因子的,一类是处理定性因子的。对于定性因子的模型,一般最常见的是方差分析模型,这种模型所对应的设计就是非常传统的因析设计。这种设计是由Fisher提出来的,配合Fisher的显著性检验,对试验数据进行分析。因析设计所达到的是某种均衡性,因子水平组合的均衡性。达到这种均衡性之后,所做的试验,得到的信息是相对比较多的。对于这种数据的建模和分析,往往就是看因子的效应,包括效应图,以及具体的方差分析。但是因析设计如果要做的全面,试验数会随着因子水平数指数增长,因此就要考虑到部分因析设计,部分因析设计就要涉及到效应混杂,因此需要考虑一些选择设计的准则,包括MA准则,GMC准则等等。
另一类,则是处理定量数据的,常用的模型是各种回归模型,包括最简单的线性回归和各种非参数回归模型。对于模型已知,只需要估计模型参数的情况,我们一般考虑最优设计,即将模型的准则,比如E准则啊,C准则之类的考虑到试验的设计中来,对于在这些准则之下最优的估计参数来设计试验。对于模型未知的情况,则往往就要使用非参数回归的模型,比如多项式回归啊,样条回归,基函数回归等等,对于这样的模型,我们要选择空间填充设计,使得选取的试验点尽量均匀的分布在试验区域内,包括均匀设计等等。
在建模过程中,则要考虑到没有任何一种模型是最好的,也没有任何一种设计是最好的。建模的过程是一个不断探索改造的过程,因此,提出了序贯试验的策略,通过初步设计,对真实的情况有一个简单的了解,然后在进一步设计试验,探索更多的本质。统计学的整个过程,大致上也就是这些了。
此外,要进行好的试验设计,提高估计参数的精度,我们应该学习一些统计模拟中关于提高估计精度的内容,比如我在研究生阶段主要攻读的论文拉丁超立方体设计,其本质就是通过对偶变量法和分层抽样法这两种改进估计精度的方法来进行试验设计。学习的过程,需要探索事物的本质结构,我们不能只看到一个设计的表面,更要看到激发产生这种设计的思想来源。我觉得,或许只有这样,才能够提出一些创新的想法,而不是简单的模仿。当然,能模仿好也是很好的事儿。