Resul-i Ekrem Efendimiz (s.a.v) Hicretle Medine’ye geldikten sonra (622) devesinin çöktüğü alana bir Mescid inşa etmeye karar verdi. Medinelilerin hurma kuruttuğu bu arsayı satın almak istediğinde sahipleri, karşılıksız olarak vermek istediler. Ancak Resul-i Ekrem Efendimiz (s.a.v) bunu kabul etmedi. Arsanın değeri olan on dinarı Hazreti Ebu Bekir ödedi ve inşaata, arsanın tesviyesi ile başlandı. Burada bulunan hurma ağaçları kesildi, mezarlar başka yere nakledildi ve tümsekler düzeltildi. Binanın temelinde ve alt kısmında taş, üst kısımlarında ise kerpiç kullanıldı. Arsa üzerinde eskiden mevcut olan hurma ağaçları sütun olarak Mescid’in kıblesine dizildi ve bunların üzerine, hurma dal ve yapraklarından bir çatı yapıldı. Mescid’in yapımında başta Resul-i Ekrem Efendimiz (s.a.v) olmak üzere Muhacirler ve Ensar fiili olarak çalıştılar. Başlangıçta kıblesi Kudüs’e doğru olan Mescid-i Nebevi’nin üç kapısı vardı. Birinci kapı güneyde, bugünkü kıble duvarında bulunuyordu (Babü’s-Selam). İkinci kapı doğu tarafında idi (Babü-Cibril). Resul-i Ekrem Efendimiz (s.a.v) bu kapıyı kullanırdı. Üçüncü kapı ise batı yönünde bulunuyordu (Babü-Atike). Güney duvarı boyunca Suffe denilen bir revak veya gölgelik bulunmaktaydı. Kıble, Kudüs’ten Kabe’ye çevrilince güney yönünde bulunan kapı kapatılarak kuzey yönünde aynı adla yeni bir kapı açıldı. Diğer kapılarda herhangi bir değişiklik yapılmadı. Suffe ise güneyden kuzeye nakledildi. Yeni plana göre harim, güneyde iki sıra halinde yerleştirilen hurma kütükleri üzerine uzatılan hurma dallarının toprakla kapatılmasıyla elde edilen bir damla örtülmüştü. Tavan, bir insanın elinin yetişeceği kadar basıktı. İlk zamanlarda camide yere ince kum döşenmişti.
