岩谷山は、鬱蒼と生い茂る森に包まれた、隠れた岩峰です。

言い伝えでは、中国から帰国した弘法大師が修行の地を探し、四国を訪れました。
その際、先にこの岩谷山に立ち寄りました。
けれど訳あって久万の岩屋に移ったそうです。
それがこのお山を古岩屋山と呼ぶ由来になったと言われています。

久万の岩屋山と同じ地層の久万層群に属し、規模は小さいながら、同様な礫岩の岩峰を有しています。
屹立する岩壁に開いた大きな岩窟には祠が祀られ、鎖禅定やハシゴ登攀など、ミニ岩屋山といった風情です。
古岩屋山と呼ばれたのもうなづける岩山です。
外観的には、木木がおう盛に育ったお山は麓から見る限りはまったく岩山には見えません。
森の中に立ち入り登ってようやく気が付くほど、豊かな広葉樹に包まれています。

南斜面の森の中にはミニ四国八十八ヶ所の巡拝路が輪を描き、石仏が立ち並んでいます。
岩窟には奥の院や、せり出した岩天井をそのまま屋根にした毘沙門堂などが見られます。
毘沙門堂の岩屋の真上は展望台になっていて、南にある遠ヶ森や水梨山、障子山を眺めることができます。
東側の尾根に立てば、国道33号線の塩ヶ森トンネル手前、近年拡幅された辺りを間近に見られます。
岩尾根の先には、亀裂部分に橋が架けられていたり、低いお山ですけど、面白い山歩きが楽しめます。

岩谷山のすぐ手前には、“岩谷さん”と呼ばれるお寺、香石山霊岩寺があります。
大正時代、こちらの住職がミニ四国八十八ヶ所を設けられました。
中庭には「茶碗桜”という古木があります。
薬師堂には県指定文化財、室町時代作の厨子と須弥壇（江戸初期作）があり、薬師如来像が納められています。

国道沿いには衝上断層という、中央構造線が河原に露頭した珍しい地形を見ることができます。
一帯が国の天然記念物に指定され、周囲は公園になっています。