ذكر القرآن" إِنَّ أَوَّلَ بَيْتٍ وُضِعَ لِلنَّاسِ لَلَّذِي بِبَكَّةَ مُبَارَكًا وَهُدًى لِّلْعَالَمِينَ" (آل عمران آية 96) والمسجد الحرام هو أول المساجد الثلاثة التي تشد إليها الرحال. فقد قال نبي الإسلام محمد:"لا تُشَدُّ الرِّحَال إلاَّ إلى ثلاثة مساجد: المسجد الحرام، ومسجدي هذا، والمسجد الأقصى". حسب الإعتقاد الإسلامي، يرجع بناء الكعبة إلى عهد آدم إلا أنها دمرت عبر السنين ولم يبق مكانها شيء إلى أن أوحى الله إلى إبراهيم بمكان البيت. ذكر القرآن: "وإذ بوأنا لإبراهيم مكان البيت أن لا تشرك بي شيئاً وطهر بيتي للطائفين والقائمين والركع السجود". وهكذا أمر الله إبراهيم ببناء البيت الحرام، وذكر القرآن الكريم بناء إبراهيم وابنه اسماعيل للكعبة. ولقد جاءه جبريل بالحجر الأسود ولم يكن في بادئ الأمر أسود بل كان أبيضاً يتلألأ من شدة البياض وذلك لقول الرسول محمد:"الحجر الأسود من الجنة وكان أشد بياضا من الثلج حتى سودته خطايا أهل الشرك". ثم أعيد بناء الكعبة في عهد قريش بعد عام الفيل بحوالي ثلاثين عاماً بعد أن حدث حريق كبير بالكعبة نتج عن محاولة امرأة من قريش تبخير الكعبة فاشتعلت النار وضعف البناء ثم جاء سيل حطم أجزاء الكعبة فأعادت قريش بناء الكعبة. عصر الرسول محمد صلى الله عليه وسلم بعد أن فتح الرسول محمد مكة أزال ما كان على الكعبة من أصنام، ولكنه لم يقم بعمل تعديل على عمارة الكعبة وما حولها، كما لم يرجع الكعبة إلى سابق عهدها في أيام إبراهيم. وبقي المسجد الحرام على حاله طوال خلافة أبو بكر ثم العام السّابع الهجري، شعر عمر بن الخطاب بحاجة المسلمين إلى توسعة المسجد الحرام بعد أن زاد عدد الحجاج إلى المسجد الحرام سنوياً فاشترى البيوت المجاورة للمسجد، ووسّع بها ساحة المطاف وجعل لها أبوابًا يدخل الحجّاج والمعتمرون منها للطّواف حول الكعبة المشرفة. وكان عمر هو أول من أخر مقام إبراهيم عن جدار الكعبة فقد كان ملاصقاً فيها وذلك ليسهل الطواف وحماية لمقام إبراهيم . ثم في عهد عثمان بن عفان سنة 26 ه، قام عثمان بتوسعة المسجد مرة أخرى كما بنى للمسجد أروقة وكان أول من بنى للمسجد الحرام أروقة. أبواب الحرم كان أول باب للمسجد الحرام هو باب بني شيبة وهو منسوب إلى شيبة بن عثمان الحجبي سادن الكعبة المشرفة لأنه كان بجوار بيته، ويقال لهذا الباب: باب السلام. وقد كان النبي محمد يدخل من هذا الباب لأنه مواجه للكعبة أمام مقام إبراهيم. يبلغ عدد أبواب المسجد الحرام حالياً (79 باباً) منها أربعة أبواب رئيسية هي:باب الملك عبد العزيز، باب الملك فهد، باب الفتح، باب العمرة، وأبواب فرعية منها :باب أجياد، وبلال، وحنين، وإسماعيل، والصفا، وبني هاشم، وعلي، والعباس، وباب النبي، والسلام، وبني شيبة، والحجون، والمعلاة، والمدعى، والمروة، والمحصب، وعرفة، ومنى، والقرارة، والفتح، وباب عمر، والندوة، والشامية، والقدس، والمدينة، والحديبية. وقد تولت رئاسة الحرمين الشريفين وقوى أمن الحرم الإشراف على هذه الأبواب ومتابعتها وتنظيم الحركة حال الدخول والخروج. وتخصص المملكة العربية السعودية سنويا أموالا كبيرة لإبقاء الحرام أعظم مسجد وأجمل منارة إسلامية، ويرعاه شخصيا خادم الحرمين الشريفين. يؤمن المسلمون أن المسجد الحرام هو المكان الذي عرج بالنبي منه إلى المسجد الأقصى كما جاء في آية الاسراء في القرآن:"سُبْحَانَ الَّذِي أَسْرَى بِعَبْدِهِ لَيْلاً مِنْ الْمَسْجِدِ الْحَرَامِ إِلَى الْمَسْجِدِ الأَقْصَى الَّذِي بَارَكْنَا حَوْلَهُ لِنُرِيَهُ مِنْ آيَاتِنَا إِنَّه هُوَ السَّمِيعُ الْبَصِيرُ".
