وللمسجد أهمية دينية كبيرة عند المسلمين، حيث يعتقد أن النبي إبراهيم (إبراهيم) وابنه النبي إسماعيل (إسماعيل) بناه قبل أكثر من 4000 عام. أعيد بناء المسجد عدة مرات عبر التاريخ، كان آخرها في القرن العشرين. وفي حديث متتبع عن ابن عباس رضي الله عنهما أن النبي محمد صلى الله عليه وسلم قال: «صلى في مسجد الخيف سبعون نبياً». المسجد هو المكان الذي أحرم فيه النبي صلى الله عليه وسلم بعد عودته من غزوة حنين.