Atlamataşı'nda 1781 tarihinde inşa edilmiştir. Selamiali Caddesi üzerinde bulunan kütüphanenin avlu kapısı üstünde Yesar Mehmed Es'ad Efendi'nin nefis yazısı ile yazılmış bir kitabe bulunmaktadır. Kitabeye göre Selim Ağa kütüphaneyi yaptırdığı zaman, padişah sarayının matbah(mutfak) emini idi. Kütüphane ile beraber bitişiğinde bir de mektep yapılmıştır. Sonradan yıktırılan mektep yerine modern tarzda bir okul inşa edilmiştir. Kütüphane avlusunun sonu sonradan buraya kabirler nakledilerek hazire haline getirilmiştir. Hacı Selim Ağa'nın mezarı buradadır. Kütüphanede üç ayrı kitaplık yerleştirilmiştir.