Stuffer startete für den WSV Samerberg. 1983 und 1985 wurde er Deutscher Meister im Riesenslalom. Im Weltcup-Super-G von Garmisch-Partenkirchen konnte er 1985 den dritten Rang belegen. 1986 war er Zweiter im Riesenslalom beim Weltcup in Hemsedal/Norwegen.
Bei den Weltmeisterschaften 1987 in Crans-Montana kam Stuffer auf den fünften Rang im Riesenslalom und auf Platz 17 im Super-G. Bei den Weltmeisterschaften 1989 in Vail/Colorado wurde er Fünfzehnter im Super-G. Im Jahre 1991 musste Stuffer wegen ständiger Verletzungen seine Karriere beenden.