В статье предлагается формальное правило, основанное на минимизации информационной метрики Кульбака-Лейблера, для определения априорного распределения при наличии информации, полученной из предыдущих наблюдений. В отличие от обычных предположений в эмпирическом байесовском анализе, в данной работе не требуется независимость параметров, рассматриваемых как случайные величины, соответствующие различным наблюдениям. Показано, что в случае, когда наблюдения, зависящие от параметра, и сам параметр распределены по нормальному закону, предлагаемое правило приводит к ML-II априорному распределению. Однако в случае регрессионного уравнения коэффициенты регрессии, полученные методом минимизации метрики Кульбака-Лейблера, отличаются от оценок, полученных при ML-II подходе. Также показано, что для нормальных распределений метрика Кульбака-Лейблера достигает асимптотически единственного минимума на истинном априорном распределении.

A formal rule for selection of a prior probability distribution based on minimization of the KullbackLeibler divergence, when data obtained from previous observations are available, is suggested. Contrary to a usual requirement in empirical Bayesian analysis, parameters for different observations are not assumed to be independent. In the case when both observations and parameters are normal, the procedure is equivalent to the ML-II approach. However regression coefficients obtained by minimization of the Kullback-Leibler divergence are different from the ML-II estimates. Finally, it is shown that in the case of normal distributions Kullback-Leibler divergence achieves asymptotically its only minimum at the true prior distribution.