La operación de convolución es el componente más crítico en el reciente aumento de la investigación de aprendizaje profundo. La convolución 2D convencional necesita representar parámetros O(C2K2), donde C es el tamaño del canal y K es el tamaño del núcleo. La cantidad de parámetros se ha vuelto realmente costosa teniendo en cuenta que estos parámetros aumentaron enormemente recientemente para satisfacer las necesidades de aplicaciones exigentes. Entre varias implementaciones de la convolución, se ha demostrado que la convolución separable es más eficiente para reducir el tamaño del modelo. Por ejemplo, la convolución separable por profundidad reduce la complejidad a O(C⋅(C+K2)), mientras que la convolución separable espacial reduce la complejidad a O(C2K). Sin embargo, estos se consideran diseños ad hoc que no pueden garantizar que en general puedan lograr una separación óptima. En esta investigación, proponemos un operador novedoso y basado en principios llamado convolución separable optimizada mediante un diseño óptimo para el número interno de grupos y los tamaños de núcleo para que las convoluciones separables generales puedan alcanzar la complejidad de O(C32K). Cuando se puede levantar la restricción en el número de circunvoluciones separadas, se puede lograr una complejidad aún menor en O(C⋅log(CK2)). Los resultados experimentales demuestran que la convolución separable optimizada propuesta es capaz de lograr un rendimiento mejorado en términos de precisión: compensaciones de parámetros sobre las convoluciones separables convencionales, de profundidad y de profundidad/espaciales.

L'opération de convolution est l'élément le plus critique dans la récente vague de recherche en apprentissage profond. La convolution 2D conventionnelle nécessite des paramètres O(C2K2) à représenter, où C est la taille du canal et K est la taille du noyau. La quantité de paramètres est devenue vraiment coûteuse étant donné que ces paramètres ont énormément augmenté récemment pour répondre aux besoins des applications exigeantes. Parmi les diverses implémentations de la convolution, la convolution séparable s'est avérée plus efficace pour réduire la taille du modèle. Par exemple, la convolution séparable en profondeur réduit la complexité à O(C⋅(C+K2)) tandis que la convolution séparable spatiale réduit la complexité à O(C2K). Cependant, ceux-ci sont considérés comme des conceptions ad hoc qui ne peuvent pas garantir qu'ils peuvent en général atteindre une séparation optimale. Dans cette recherche, nous proposons un opérateur nouveau et fondé sur des principes appelé convolution séparable optimisée par conception optimale pour le nombre interne de groupes et les tailles de noyau pour les convolutions séparables générales peuvent atteindre la complexité de O(C32K). Lorsque la restriction du nombre de convolutions séparées peut être levée, une complexité encore plus faible en O(C⋅log(CK2)) peut être atteinte. Les résultats expérimentaux démontrent que la convolution séparable optimisée proposée est capable d'obtenir une performance améliorée en termes de précision - les compromis #Params par rapport aux convolutions séparables conventionnelles, en profondeur et en profondeur/spatiale.

The convolution operation is the most critical component in recent surge of deep learning research. Conventional 2D convolution needs O(C2K2) parameters to represent, where C is the channel size and K is the kernel size. The amount of parameters has become really costly considering that these parameters increased tremendously recently to meet the needs of demanding applications. Among various implementations of the convolution, separable convolution has been proven to be more efficient in reducing the model size. For example, depth separable convolution reduces the complexity to O(C⋅(C+K2)) while spatial separable convolution reduces the complexity to O(C2K). However, these are considered ad hoc designs which cannot ensure that they can in general achieve optimal separation. In this research, we propose a novel and principled operator called optimized separable convolution by optimal design for the internal number of groups and kernel sizes for general separable convolutions can achieve the complexity of O(C32K). When the restriction in the number of separated convolutions can be lifted, an even lower complexity at O(C⋅log(CK2)) can be achieved. Experimental results demonstrate that the proposed optimized separable convolution is able to achieve an improved performance in terms of accuracy-#Params trade-offs over both conventional, depth-wise, and depth/spatial separable convolutions.

عملية الالتفاف هي العنصر الأكثر أهمية في الموجة الأخيرة من أبحاث التعلم العميق. يحتاج الالتفاف ثنائي الأبعاد التقليدي إلى معلمات O(C2K2) لتمثيلها، حيث C هو حجم القناة و K هو حجم النواة. أصبح مقدار المعلمات مكلفًا حقًا بالنظر إلى أن هذه المعلمات زادت بشكل كبير مؤخرًا لتلبية احتياجات التطبيقات الصعبة. من بين التطبيقات المختلفة للالتفاف، ثبت أن الالتفاف القابل للفصل أكثر كفاءة في تقليل حجم النموذج. على سبيل المثال، يقلل التفاف العمق القابل للفصل من التعقيد إلى O(C⋅(C+ K2)) بينما يقلل الالتفاف المكاني القابل للفصل من التعقيد إلى O(C2K). ومع ذلك، تعتبر هذه تصاميم مخصصة لا يمكن أن تضمن قدرتها بشكل عام على تحقيق الفصل الأمثل. في هذا البحث، نقترح مشغلًا جديدًا ومبدئيًا يسمى الالتفاف القابل للفصل الأمثل من خلال التصميم الأمثل للعدد الداخلي للمجموعات وأحجام النواة للالتفافات العامة القابلة للفصل يمكن أن يحقق تعقيد O(C32K). عندما يمكن رفع القيود المفروضة على عدد الالتفافات المنفصلة، يمكن تحقيق تعقيد أقل عند O(C⋅log(CK2)). تُظهر النتائج التجريبية أن الالتفاف القابل للفصل الأمثل المقترح قادر على تحقيق أداء أفضل من حيث الدقة - # مقايضات المعلمات على كل من الالتفافات التقليدية والحكيمة للعمق والعمق/المكانية القابلة للفصل.