1923 yılında İslam Yüksek Konseyi tarafından kurulan İslam Müzesi, önceden günümüzdeki yerinin tam karşısında Ribat el-Mansuri'nin yakınında, İslam vakıflar Müdürlüğü'nün karşısında, Nâzır Kapısı'nın yakınında yer almaktadır.
1929 yılında şimdiki merkezi olan Mescid-i Aksa'nın güneybatı kısmındaki Megaribe Kapısı'nın yakın bir alanına taşınmıştır. Müze köşeli olan iki ayrı salondan oluşmaktadır.
Batı salonu Mağribliler Mescidi olarak isimlendirildi ve güney salonu ise Kadınlar Mescidi'nin bir parçası olarak kullanılıyordu. İslam Müzesi içerisinde sergilenen eserler İslam tarihinin en değerli ve nadir görülen eserlerindendir. Müzede bulunan eserler Hz. Ömer zamanında getirilmiştir.