この祖母島駅も行政区は渋川市になります。県道から少し距離を置いており、駅周囲には田んぼが広がっています。行き違い設備がないホーム一本のみの棒駅。コンクリートブロック積みの簡易な待合室がホーム上にあるのみです。
市の重要文化財に指定されている千手観音立像(鰐口観音)は駅より西に500mほど行った所の自治会館に保存されています。また、この近くには駅名とも同名の祖母島神社と呼ばれる武内神社があります。
開業以来無人駅。入場券はありません。