改札口を入り長い跨線橋を渡って、島式のホームへ辿りつきます。現在は撤去されていますが、この跨線橋の下には何本かの線路が敷かれていました。かつて、この山北駅は御殿場線内の要衝で、この先御殿場までの間の急勾配に備えるために、補助の蒸気機関車の連結が行われたりしました。その関係で、構内は広く線路も多数敷かれていましたが、現在では往時の活気も無く、規模も縮小されています。
この駅周辺が山北町の中心部。町役場は駅から東へ徒歩3分ほどです。
民営化後も硬入あり。