Крепость была возведена в VI веке и предназначалась для защиты с севера главного города византийцев в Таврике — Херсонеса. Она также служила и укрытием для местного населения от набегов кочевников. Тогда твердыня состояла из четырёх башен. Вероятно, из-за появления хазар в Крыму крепость прекращает существование.

В XIV-XV вв. принадлежала христианскому княжеству Феодоро, столица которого располагалась в Мангуп-кале. Название «Каламита» впервые стало известно из морских карт генуэзцев XIV-XV веков. В 1427 году мангупский князь Алексей восстановил крепость, которая должна была защищать порт княжества Феодоро — Авлиту. На территории крепости была найдена закладная плита с надписью на греческом языке:

«Построен этот храм с благословенной крепостью, которая ныне зрится, в дни господина Алексея, владыки города Феодоро и Поморья и ктитора святых славных, боговенчанных, великих царей и равноапостольных Константина и Елены в месяце октябре, индикта шестого, лета 6936».

Генуэзцы считали Каламиту опасным конкурентом для собственного порта, расположенного в Чембало (нынешняя Балаклава). Они неоднократно нападали на крепость феодоритов и даже захватили и сожгли её в 1434 году. Феодоро отбило и восстановило Каламиту, но в 1475 году крепость захватили турки и переименовали в Инкерман. Новое название — Инкерман («пещерная крепость») крепость получила за большое количество пещер, расположенных вокруг, образованных в результате добычи белого камня.

В конце XVI — начале XVII веков турки перестроили крепость приспособив её для  огнестрельного оружия. Стены были сделаны вдвое толще (с внешней стороны), полубашни также усилили и закрыли с тыльной стороны, вырубили сухой ров, построили барбакан. Над тоннелем ворот был построен артиллерийский каземат.

В XVII веке через Каламитский порт происходит оживленная торговля, о чём известно из сообщения священника Иакова, который был в Крыму 1634—1635 годах в составе русского посольства. Он писал, что в Инкермане живут люди многих национальностей и что к городку с моря приходят корабли из разных стран.

В середине XVIII века крепость и порт Каламита потеряли военное и торговое значение.

В начале XX век на вершине Монастырской скалы, рядом с крепостью Каламита, была сооружена церковь святого Николая, Чудотворца Мирликийского. Храм был построен в память о Крымской войне. До настоящего времени не сохранился.