白旗城跡の遺構は、東西約560m、南北約400mにわたって残っています。尾根筋には、本丸や二の丸、三の丸、馬場丸、櫛橋丸、侍屋敷などの主要な遺構が残り、南の谷筋に大手郭などの平坦地が見られます。また、城跡の各所に堀切や石積、土塁などの防御施設が残り、戦乱に耐えた強固な山城であることを彷彿とさせます。「落ちない城」の絵馬を上郡駅前の観光案内所、赤松公民館で販売。山頂と山麓、智頭急行河野原円心駅に絵馬掛所がある。山麓には自動販売機もある（100円玉5枚専用）。