播磨灘から内陸に引っ込んだ湾になっている坂越浦は天然の良港としての地理的条件を備えており、その坂越浦に面する坂越は港町として古くから発展した。赤穂城周辺の市街地よりも、町の歴史はむしろ古い。
その名の通り、駅から坂を越えて歩いた先に坂越の町はある。規模はさほど大きくはないものの、古い建物がかなりまとまって残っており、質は高い。町並みをさらにまっすぐ歩いていくと、海に突き当たる。
大避神社の高台から見下ろすと、昔ながらの町並みの向こうに坂越浦の風景が一望できる。湾の真ん中に浮かぶ無人島、生島は大避神社の神地として開発が禁じられている。