Yapı, Ali Said Paşa’ya ait bir eğitim yapısı iken “Hadikayı Maarif” adıyla özel okul olarak kullanılmış; daha sonra At Pazarı’ndaki Kız Rüştiyesi bu binaya taşınmış ve okul “Fatih İnas Numune” adıyla öğretime devam etmiştir.
1929’da Millî Eğitim Müdürlüğü, yapıyı yıktırmış; yerine beton bina yaptırmış ve yapı “15. İlkokul” adıyla 1930’da eğitim-öğretime açılmıştır.
1949-1950 eğitim öğretim yılında okul adı “Yavuz Selim İlkokulu” olmuştur.
Binada oluşan çatlaklar nedeniyle yapı yıkılmış; bugünkü ana bina 1960’ta faaliyete geçmiştir.
1995-1996 öğretim yılında okul adı “Yavuz Selim İlköğretim Okulu” olarak değiştirilmiş; aynı dönemde “Muallim Yahya İlkokulu” okul bünyesine bağlanmıştır.