El castillo de Barletta es el resultado arquitectónico de varias estratificaciones debidas a la sucesión de diferentes dinastías gobernantes desde el siglo XI hasta el siglo XVIII
( Normandos, Suevos, Angevinos, Aragoneses, Españoles). Sin embargo, el gran interés y amor mostrado por Federico II de Suabia por Barletta y Apulia en general, hacen que el castillo sea llamado Suevo por antonomasia.
Entre la belleza y la majestuosidad arquitectónica del Castillo se encuentran: el Museo Cívico, el único busto existente de Federico II (que data del siglo XIII), el Sarcófago de los Apóstoles, un alto relieve de piedra (que data del periodo entre los siglos III y IV) y la Biblioteca Municipal en la que se conservan unos 90.000 volúmenes accesibles al público.