Berkeliaran di sekitar wilayah Atlas Tengah berarti berlari ke kota-kota pedesaan yang menawan setiap beberapa kilometer. Sefrou adalah salah satunya, namun yang membedakannya dari yang lain adalah reputasinya sebagai salah satu tempat paling berhantu di Maroko.
Klaim ketenaran Sefrou disebabkan oleh banyaknya populasi Yahudi yang biasa menyebut tempat ini sebagai rumahnya. Bukti pertama kedatangan orang Yahudi di Sefrou setidaknya berasal dari 2.000 tahun yang lalu. Setibanya mereka di sana, terjadi perpindahan agama secara luas ke Yudaisme, dan jumlah orang Yahudi di kota tersebut membengkak hingga lebih dari separuh populasinya. Pada abad kedelapan, Idris I dari Maroko mempelopori gelombang masuk Islam, dan sebagian besar penduduk Sefrou menjadi Muslim. Satu abad kemudian, lebih banyak orang Yahudi yang datang dari Aljazair. Keturunan kelompok ini tetap tinggal di Sefrou hingga tahun 1967, ketika sebagian besar memutuskan untuk pindah ke Israel.
Pada puncaknya, populasi Yahudi yang tinggal di Sefrou mencapai 8.000 jiwa. Saat ini, masih ada beberapa orang Yahudi yang tinggal di sini, tetapi jumlah pastinya belum ada. Yang pasti, mereka yang hijrah meninggalkan banyak bangunan kosong di sana Mellah (Lingkungan Yahudi di Madinah). Meskipun beberapa bangunan telah direklamasi, namun ada beberapa orang yang enggan untuk pindah ke bangunan tersebut, karena konon bangunan tersebut dihantui oleh hantu orang-orang Yahudi yang pernah tinggal dan meninggal di sana.
Selain bangunan tempat tinggal orang-orang, infrastruktur Yahudi yang masih berdiri antara lain tembok luar di sepanjang sungai Oued Aggai, gedung sekolah, dan kuburan yang tercemar di pinggiran kota. Mungkin masih ada bangunan terbengkalai di mana panti asuhan berada, namun tidak jelas apakah memang demikian. Sinagoga, sebaliknya, telah dibongkar, dan hanya tersisa beberapa pilar dan dinding yang menyatu dengan bangunan di sekitarnya.
Lorong-lorong sempit di seluruh Madinah (termasuk Mellah) sekarang sibuk dengan pedagang, pengantar barang, dan pembeli, namun di atas permukaan tanah, sebagian besar bangunan ditutup, dalam keadaan rusak, atau keduanya. Tulisan dalam tiga bahasa yang sesekali ada di dinding merupakan pengingat menyedihkan akan masa lalu multietnis kota ini.
