Kilmarnock est une ancienne forteresse, de plan carré, avec quatre tours d'angle, trois rondes et une rectangulaire. Les trois tours rondes ont été rasées, ainsi que les remparts qui les reliaient. Il ne reste de l'ancienne forteresse que la tour carrée, inhabitée, et un seul côté de rempart, transformé en château de plaisance dans les siècles suivants. L'ensemble surplombe la mer, à peu de distance du bord de la falaise.