A complex system composed of two interacting subsystems is considered. It is assumed that one of subsystems is described by the vector Lienard equation and possesses the asymptotically stable zero solution. Such complex system can be obtained under stability analysis in the critical case of several zero roots or in the critical case of several pure imaginary roots. It can also describe interaction of two mechanical systems one of which is exposed essentially nonlinear dissipative and potential forces. By the use of Lyapunov vector functions method the sufficient conditions of asymptotic stability with respect to a part of variables for zero solution of a complex system are determined. The result obtained is an extension of the Lyapunov-Malkin theorem on the case of essentially nonlinear subsystems. Furthermore, the conditions of asymptotic stability of zero solution with respect to all variables are studied. At first, the family of Lyapunov functions for the complex system is constructed. After that the problem of choosing an optimal function from the family constructed is solved. This optimal Lyapunov function gives us the largest asymptotic stability region in the space of parameters of the system considered. Moreover, using a differential inequalities method, the estimates of transient processes time in the complex system are obtained.

Рассматривается сложная система, состоящая из двух взаимодействующих подсистем. Предполагается, что одна из подсистем описывается векторным уравнением Льенара и имеет асимптотически устойчивое нулевое решение. Сложная система такого рода может быть получена при анализе устойчивости в критическом случае нескольких нулевых корней или в критическом случае нескольких чисто мнимых корней. Она также может описывать взаимодействие двух механических систем, одна из которых находится под действием существенно нелинейных диссипативных и потенциальных сил. С помощью метода векторных функций Ляпунова найдены достаточные условия асимптотической устойчивости нулевого решения сложной системы относительно части переменных. Полученный результат представляет собой распространение теоремы Ляпунова-Малкина на случай существенно нелинейных подсистем. Далее изучаются условия асимптотической устойчивости нулевого решения по отношению ко всем переменным. Сначала для сложной системы строится семейство функций Ляпунова. Затем решается проблема выбора оптимальной функции Ляпунова из построенного семейства, которая задает наибольшую область асимптотической устойчивости в пространстве параметров рассматриваемой системы. Кроме того, с помощью метода дифференциальных неравенств получены оценки времени переходных процессов в сложной системе.