Nama awal kampung Keramat adalah kampung, la I lun, awalnya kawasan ini merupakan kebun orang Pangkalpinang dan sekitarnya. Perubahan penamaan dari la I lun menjadi kampung Keramat ini terjadi pada sekitar tahun 1907. Pada waktu itu ada dua orang yang setelah meninggal dunia dimakamkan dikawasan ini dan kedua orang tersebut kuburnya dikeramatkan oleh masyarakat setempat. Dua makam atau kuburan tersebut yaitu kuburan dimana yang mana ia berasal dari Madura dan setelah meninggal dunia ia dikuburkan dikelurahan keramat didekat lokasi took milik bapak Haji Dahri Oskandar. Yang sekarang terletak dijalan Depati Amir Rt.004 Rw.002 disimpang Jalan Dewi Sartika kelurahan Keramat kemudian yang satunya lagi adalah kuburan Muhammad Syarif yang terletak dikuburan jalan Depati Amir (dahulunya jalan Mentok). Adapun batas wilayah kelurahan Keramat sebagai berikut sebelah Utara berbatasan dengan kolong retensi Kacang Pedang, sebelah selatan berbatasan dengan kelurahan Asam dan desa Mangkol Kabupaten Bangka Tengah, sebelah Timur berbatasan dengan kelurahan Pintu Air dan Kelurahan Gajah Mada, sebelah Barat berbatasan dengan desa Kace Timur Kabupaten Bangka.

Dari awal berdirinya sampai sekarang Kelurahan Keramat di pimpin oleh Lurah-lurah yaitu :

1. BAHARUDIN LATIF
2. HUSNUL FUAD
3. AHMAD
4. MASIR SIDIN
5. NURAILI
6. JATI PULU
7. RAUDAH
8. NISFU QOMAR,S.STP
9. YUSHARZAL
10. JONI BADRI
11. JONSORY LAVIKO, SKM

Secara geografis Kelurahan Keramat terletak dibagian utara wilayah Kecamatan Rangkui dengan jangkauan pelayanan skala lingkungan dalam wilayah yang strategis. Dengan social penduduk yang memiliki tingkat integrasi dan toleransi yang tinggi sehingga mudah menerima ide-ide pembangunan dan berbagai perubahan yang mengarah pada kesejahteraan penduduk.