La terraza del Castillo de Carlos V era visita obligada para los turistas de finales del siglo XIX y principios del siglo XX. Las vistas que desde allí tenían eran impresionantes, como lo atestiguan las postales y testimonios de la época. Todavía tiene su encanto, aunque los terrenos ganados al mar y los nuevos edificios construidos le han borrado aquel esplendor.
Irónicamente, el imponente Castillo, actual Parador de Turismo, fue durante generaciones la morada de los sintecho. Abandonado por los ejércitos a falta de guerras, se convirtió en refugio de no pocas familias que carecían de otros recursos y que entre sus gruesos muros se cobijaban.
Narra M.E. Dussault en un recomendable artículo, publicado en 1875 en la revista ‘Le Tour du Monde. Nouveau Journal de Voyages’ que lleva por título ‘Fuenterrabia’, y está ilustrado por Grandshire: ‘Grupos de mendigos y de comediantes han tomado plena posesión de toda la parte habitable y viven ahí sin que la autoridad tenga la intención de desalojarlos. Vimos flacas ancianas medio desnudas, niños en harapos y cubiertos de miseria pasar y volver a pasar por esas amplias salas aún tan majestuosas. El contraste de esta miseria contemporánea con el antiguo y grandioso palacio que la sirve de albergue es como símbolo y resumen de la historia de la desgraciada España’.