Рассмотрены недостатки дифференциальной энтропии Шеннона, предложена альтернативная мера информации, которая не обладает указанными недостатками, количественно выражается через интеграл Лебега Стилтьеса и существует для математических моделей как непрерывных случайных величин (НСВ), так и для дискретных случайных величин (ДСВ) количество информации Q. Приведено ее математическое описание, обоснованы преимущества предложенной меры информации перед энтропией Шеннона. Под задачей идентификации закона распределения случайной величины, как правило, понимают задачу выбора такой параметрической модели закона распределения вероятностей, которая наилучшим образом соответствует результатам экспериментальных наблюдений. Погрешности измерений как величины являются следствием влияния множества факторов, случайного и неслучайного характера, действующих постоянно или эпизодически. Однако истинный закон распределения, описывающий погрешности конкретной измерительной системы, останется неизвестным, несмотря на все попытки его идентифицировать. На основании данных измерений и теоретических соображений можно только подобрать вероятностную модель, которая в некотором смысле наилучшим образом приближает этот истинный закон. Если построенная модель адекватна, т. е. применяемые критерии не дают оснований для ее отклонения, то на основе данной модели можно вычислить все интересующие нас вероятностные характеристики случайной составляющей погрешности измерительного средства, которые будут отличаться от истинных значений только за счет неисключенной систематической (ненаблюдаемой или нерегистрируемой) составляющей погрешности измерений. Количество информации позволяет минимизировать погрешности при решении задач идентификации экспериментальных законов распределения ДСВ или НСВ. Введенная мера не зависит от числовых характеристик ДСВ или НСВ математического ожидания, дисперсии, корреляционных моментов, эксцессов, вариации и т. п. Приведены результаты расчетов количества информации для различных законов распределения ДСВ и НСВ. В качестве примера рассмотрен расчет количества информации для дискретного закона Пуассона.

The article discusses the shortcomings of the differential Shannon entropy and proposes an alternative measure of information, which does not have these disadvantages, quantitatively expressed through the integral Lebesgue Stieltjes and exists for mathematical models as continuous random variables (CRV) and for discrete random variables (DRV) the amount of information Q. Its mathematical description is given, potential advantages of the proposed measures information before the Shannon entropy are justified. Under the identification problem of the distribution law of a random variable, as a rule, the task of choosing a parametric model of the probability distribution, which best fits to the experimental results, is understood. Measurement errors as values are influenced by many factors, random and non-random origin acting continuously or episodically. However, the true distribution law describing the uncertainty of the particular measurement system remain unknown, in spite of all the attempts to identify it. On the basis of the measured data and theoretical considerations you can just pick up a probabilistic model, which in some sense makes this law best approximated. If the designed model is adequate, that is the used criteria do not give grounds for its rejection, on the basis of this model, we can calculate all the probabilistic characteristics of the random component of the error measuring device, which will differ from the true values only at the expense of non-excluded systematic (unobserved or unrecorded) component of the measurement error. The amount of information minimizes the error in the solution of the problems of identification of the experimental distribution laws DRV or CRV. The proposed measure does not depend on numerical characteristics of DRV or CRV mathematical expectation, variance, correlation moments, incidents, variations, etc. The results of the calculations of the amount of information for different distribution laws DRV and CRV are given. As an example, the calculation of the amount of information for the discrete Poisson law is considered.