Tarihsel kaynaklara göre Harput Kalesi, MÖ 8’inci yüzyılda Urartu Krallığı tarafından kurulmuştur. MÖ 6’ncı yüzyıldan itibaren Persler’in hâkimiyeti altına girmiştir. MÖ 1’inci yüzyıl ile MS 11.’inci yüzyıl arasında Part, Roma, Sasani, Bizans ve Abbasiler arasında büyük mücadelelere sahne olmuş, 11. yüzyılın sonuna kadar Bizans hâkimiyeti altında devam etmiştir. Bu süre zarfında Ziata Castellum ve Kharpete, Arapça’da Hısn-ı Ziyad adıyla anılan kale, 1085 yılında Çubukoğulları, 1112 yılında Artukoğulları, 1234 yılında Selçuklular’ın egemenliği altında kalmıştır. Kale, Çubuk Bey’in, Artuklu Beyi Belek Gazi’nin ve Selçuklu Beyi Alaeddin Keykubad’ın hükümet merkezi olmuş, 1366 yılında Dulkadiroğulları ve Akkoyunlu devletleri arasında sık sık el değiştirmiştir. Kale, 1465 yılında Akkoyunlu Hükümdarı Hasan Bahadır Han (Uzun Hasan) tarafından ele geçirilerek Akkoyunlu idaresine alınmıştır. Harput Bölgesi ve Kalesi, 1515 yılında Yavuz Sultan Selim zamanında Osmanlı İmparatorluğu’nun idaresine geçmiştir.
Harput Kalesi hakkında çeşitli efsaneler anlatılmaktadır. Bir rivayete göre kalenin yapımı sırasında yaşanan su kıtlığı nedeniyle, zamanın hükümdarının emriyle harcın hazırlanmasında su yerine süt kullanıldığı, bu yüzden de kaleye “Süt Kalesi” dendiği söylenmektedir.
İç kale ve dış surlar olmak üzere iki bölümden meydana gelen Harput Kalesi’nin özgün bir yapı olarak günümüze kadar korunabilmesinde Artuklu Dönemi’nde yapılan onarımların katkısı büyüktür. Kale daha sonra Dulkadiroğulları, Akkoyunlular ve Osmanlı Dönemi’nde de onarımlar görmüştür. Kalesinin dış surları tamamen yıkılmıştır. Yalçın kayalar üzerinde inşa edilen ve kuşatılması oldukça zor olan kale, içerisinde hastane, tahıl ambarı, darphane, su sarnıcı, cephanelik, cami ve çok sayıda sivil yapının bulunduğu büyük bir mahalledir.