O Campo de Radiação Neuronal (NeRF) é uma estratégia de aprendizagem profunda (deep-learning) recente e promissora para sintetização de imagem e reconstrução tridimensional, que utiliza redes neurais profundas para codificar o ambiente tridimensional. Para além disso, as NeRFs têm demonstrado melhorias drásticas quando comparadas com técnicas de visão por computador e computação gráfica que utilizam geometria ou ferramentas tradicionais de aprendizagem de máquina (machine learning). Apesar da sua eficiência e potencial, ainda existe pouca literatura sobre a utilização das NeRFs em aplicações médicas. Nesta dissertação, estamos interessados em utilizar as NeRFs para procedimentos ortopédicos, focando-nos, especificamente, em vídeo artroscópico. Este foco é impulsionado pelas desafiantes condições únicas apresentadas pelo ambiente artroscópico que é, normalmente, composto por estruturas com pouca textura (por exemplo, ossos e tecidos moles), grandes mudanças de ponto de vista, oclusões devido a instrumentos cirúrgicos à frente das anatomias, especularidades, detritos flutuantes e sangue. Todos estes fatores complicam a sintetização de imagem e a reconstrução tridimensional em ambientes artroscópicos e, de momento, não existe nenhum algoritmo que desempenhe estas tarefas com precisão. O objetivo desta tese é explorar a possibilidade de superar as dificuldades descritas anteriormente utilizando NeRFs e de executar sintetização de imagem e reconstrução tridimensional em ambientes artroscópicos de forma precisa e robusta.

Neural Radiance Field (NeRF) is a recent and promising deep-learning framework for view synthesis and three-dimensional (3D) reconstruction that uses deep neural networks for encoding the three-dimensional environment. Furthermore, Neural Radiance Fields have demonstrated dramatic improvements when compared to computer vision and computer graphics techniques using geometry or traditional machine learning tools. Despite the remarkable efficiency and potential of Neural Radiance Fields, there remains a notable scarcity of literature and research that explores the application of these techniques to the field of medical applications. In this thesis, we are interested in using Neural Radiance Fields for orthopedic procedures, specially focusing in arthroscopic video. This focus is driven by the unique challenges posed by the arthroscopic environment that is usually composed of low-textured structures (e.g., bones and soft tissues), large viewpoint changes, occlusions due to surgical instruments in front of the anatomies, specularities, floating debris and blood. All these concerns complicate view synthesis and three-dimensional reconstruction in arthroscopic environments, and there is presently no algorithm that performs these tasks accurately. The objective of this thesis is to explore the possibility of overcoming the above described difficulties using Neural Radiance Fields, and to perform view synthesis and three-dimensional reconstruction in arthroscopic environments in an accurate and robust manner.

Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia