يقع في منتصف سور القدس من جهة الشرق الذي يشتركمع جدار الحرم الشريف من هذه الجهة. يرجح أن تأسيس هذا الباب يعود إلى عصر هيرودس الأدومي الكبير (4- 39) ق.م. لكن ما بقي منه ربما لا يزيد عن هيكله العام، إذ دمره الفرس خلال احتلالهم القدس في الفترة
(628- 614م)، وأعيد بناؤه قبيل زيارة الإمبراطور البيزنطي هيراكليوس للقدس سنة 629م. ويبدو أن آخر تجديد فيه كان في الفترة الأموية التي شهدت القدس فيها حركة بناء واستصلاح واسعة وجذرية جسدت هوية المدينة وأعادت صياغتها مادياً بعد النجاح في صياغتها فكرياً وثقافياً. ذلك أن تصميمه ونمطه المعماري يشبه إلى حد كبير أبواباً صممت في الجدار الشمالي للحرم الشريف خلال هذه الفترة.
ويتألف هذا الباب من بابين قديمين يعرفان باسم باب الرحمة وباب التوبة. وقد أغلقا عملاً بتوجيهات ثاني الخلفاء الراشدين فاتح مدينة القدس الخليفة عمر بن الخطاب الذي أمر بإغلاقهما
لضرورات أمنية. وقد وصف ابن فضل الله العمري (743هـ/ 1333م) هذا الباب، وذكر أنه كان يقوم فوقه مسجد يدعى باب الرحمة حيث كان يصلي فيه إمام مفرد. كما ذكر فوقه زاوية أقام بها الإمام الغزالي حينما نزل القدس. ويتميز هذا الباب بالقوسين اللتين تعلوه، ما يضفي عليه جمالاً ورونقاً. كما أنه يؤدي إلى باحة مسقوفة بعقود ترتكز على أقواس قائمة فوق أعمدة ضخمه ذات تيجان على شكل أوراق نباتية تعرف بالطراز الكورنثي. ولا تزال دائرة الأوقاف في القدس تحرص على إغلاقه خشية تسلل المستوطنين المتطرفين إلى الحرم الشريف عبره.
