En esta tesis se propone un sistema de seguimiento de objetos basados en un nuevo método de representación y localización del objetivo. Se trata de realizar el seguimiento de objetos no rígidos en tiempo real, sin utilizar ningún modelo previo de los objetos a seguir. Para conseguir esto, se propone un nuevo modelo para caracterizar la apariencia del objeto basado en una máscara o template. Este modelo utiliza una nueva estructura piramidal, denominada Bounded Irregular Pyramid (BIP), para representar el target y el template, así como para realizar el proceso de localización del objeto o template matching de forma jerárquica, reduciendo su coste computacional. El sistema de seguimiento propuesto permite realizar el seguimiento de objetos rígidos y no rígidos utilizando una máscara que se actualiza de forma dinámica. Esta máscara incluye información de las máscaras previas, solucionando dos de las causas de fallo más importante se los sistemas de seguimiento: cambios en la apariencia del objetivo y oclusiones del mismo. Además, el sistema permite seguir varios objetos simultáneamente sin un incremento excesivo del coste computacional. Las características previamente comentadas del sistema propuesto lo hacen muy adecuado para su utilización en aplicaciones visuales más complejas, que requieren una respuesta en tiempo real.