Das Schloss von Barletta ist das architektonische Ergebnis verschiedener Schichtungen, die auf die Abfolge verschiedener Herrscherhäuser vom 11. bis zum 18. Jahrhundert zurückzuführen sind (Normannen, Schwaben, Anjou, Aragonier, Spanier). Das große Interesse und die Liebe, die Friedrich II. von Schwaben für Barletta und Apulien im Allgemeinen zeigte, führten jedoch dazu, dass das Schloss als schwäbisch schlechthin bezeichnet wurde.
Inmitten der Schönheit und architektonischen Majestät des Schlosses befinden sich: das Stadtmuseum, die einzige erhaltene Büste Friedrichs II. (aus dem 13. Jahrhundert), der Sarkophag der Apostel, ein Hochrelief aus Stein (aus dem 3. bis 4. Jahrhundert) und die Stadtbibliothek, in der rund 90.000 Bände aufbewahrt werden und der Öffentlichkeit zugänglich sind.