Bahasa isyarat berperan penting sebagai media komunikasi bagi tuna rungu dan tuna wicara. Namun, keterbatasan pemahaman masyarakat umum terhadap bahasa isyarat menjadi hambatan dalam interaksi dengan mereka. Untuk mengatasi masalah ini, dirancang suatu sistem pengenalan bahasa isyarat yang dapat membantu masyarakat umum berkomunikasi dengan mudah. Sistem ini mengenali alfabet Bahasa Isyarat Indonesia (BISINDO) dengan menggabungkan algoritma Scale Invariant Feature Transform (SIFT) dan Convolutional Neural Network (CNN). Pendekatan ini dipilih karena SIFT digunakan untuk ekstraksi fitur awal, sementara CNN untuk mengenali pola yang kompleks, meningkatkan kekuatan model terhadap variasi gerakan dan pencahayaan dalam bahasa isyarat. Dengan menggunakan algoritma SIFT dan CNN gerakan tangan Bahasa isyarat indonesia dapat diperoleh, dicocokkan, dikenali, diautentikasi dan kinerja pencocokannya disimulasikan menggunakan library tersorflow dan OpenCV. Dalam penelitian, beberapa gerakan memerlukan percobaan berulang untuk deteksi yang akurat, mengingat kemiripan dengan gerakan bahasa isyarat lain. Meskipun demikian, akurasi tertinggi tercapai pada model dengan nilai epoch 55, mencapai 99.78%. Dengan demikian, integrasi algoritma SIFT dan CNN dalam sistem pengenalan bahasa isyarat dapat menjadi solusi efektif untuk mengatasi hambatan komunikasi antara tuna rungu, tuna wicara, dan masyarakat umum.