伊贺上野城是由筑城名家藤堂高虎所建。

如今仍保留着当时的内堀、石墙，以及于昭和10年（1935年）建造的天守阁。该石墙的高度在日本也是数一数二（约30米）。
如今的天守阁是1935年由川崎克重新修建的，但木造的建筑物内完全保留了战国时代的氛围。城内共有三层，展示有武器、盔甲等与藤堂家有关的各种物品。顶层的天花板上装饰着横山大观等46幅彩纸，从那里俯瞰城下町一带的景色也别有一番风味。