يقع في حارة النصارى إلى الجنوب من كنيسة القيامة مطلاً على ساحتها تحديداً. وذلك وسط حيز حيوي يزدحم بالزوار المسيحيين والمسلمين والمحال التجارية المتخصصة ببيع التحف وأزياء الشعبية. ويعد هذا المسجد أبرز رمز إسلامي وخير شاهد على تسامح العرب المسلمين، وتعايشهم مع سواهم من أصحاب الديانات والمذاهب الأخرى. وهو يقوم في الموضع الذي صلى فيه الخليفة عمر بن الخطاب_رضي الله عنه_ عندما زار القدس إثر فتحها ومنح وثيقة التسامح الشهيرة لأهلها من النصارى عام (16هـ/ 638م). لذا نسب إليه منذ تأسيس الملك الأفضل له في سنة (589هـ/ 1193م). وقد اعتنى المسلمون في هذا المسجد عبر تاريخهم الطويل ففي سنة (870هـ/ 1465م) تم تأسيس مئذنته المربعة الشكل والجميلة التكوين. ووصف بناؤه بالمتانة في القرن العاشر الهجري/ السادس عشر الميلادي. ثم يرجح أنه أضيف إليه مدخل تذكاري محفور.
وبصورة عامة، تحفل سجلات محكمة القدس الشرعية بإشارات حوله، حيث تفيد تحديد موقعه وتولي العائلات المقدسية لوظائفه.
أما اليوم فيتوصل إليه على إحدى عشر عتبة تقُد الزائر إلى ساحة مكشوفة ومزروعة بالورد والكروم. أما بيت الصلاة فتغلب البساطة على شكله، وهو مغطى بأقبية متقاطعة تشكل جملونأً يقوم على ثلاثة أعمدة من الداخل. ويشغل مساحة متوسطة مقارنة مع المساجد الأخرى. ويبلغ أقصى ارتفاع له نحو أربعة أمتار تقريباً من الوسط. وقد فتح في واجهته الجنوبية محراب يتكون من حنية يعلوها نقش تذكاري حجري، يعود للبناء الذي يعلو المسجد. وقد جرى في سبعينيات القرن العشرين الماضي، تبليط جدرانه من الداخل بحجر المنشار لمنع الرطوبة، وأضيف إليه لاحقاً مكتبة لا بأس بها، ودورة مياه حديثة.