飯森駅は片面ホーム使用の無人駅。古くは駅の前を走る道路が国道148号線だったのですが、現在は新しく駅北側を立体交差で越えるルートに変えられており、駅周辺はひっそりとしています。周囲に民家もあまり見られず乗降客数も少なめです。白馬五竜スキー場の飯森ゲレンデが駅から西へ2Kmほどの所にあり、冬はそちらへの利用客も散見されます。
駅開業時は北安曇郡神城村。現在は白馬村の所属に変わっています。
開業以来無人駅。入場券はありません。