Fisher erlernte das Skifahren im Alter von drei Jahren. 2004 wurde er als Nachwuchsläufer in den US-amerikanischen Skiverband aufgenommen, seit 2006 gehört er dem B-Kader an. Seine ersten FIS-Rennen bestritt Fisher im Dezember 2001. Im Nor-Am Cup startete er erstmals im Februar 2003, der erste Sieg folgte am 9. Dezember 2005 in der Abfahrt von Lake Louise. Bisher gewann Fisher insgesamt acht Rennen im Nor-Am Cup, womit er in den Jahren 2006 und 2007 den zweiten Rang in der Gesamtwertung erreichte und jeweils zweimal die Super-G-Wertung sowie die Abfahrtswertung für sich entschied. Im Jahr 2005 erreichte er bei den Juniorenweltmeisterschaften den dritten Platz in der Abfahrt.
Sein Debüt im Weltcup hatte Fisher im November 2005. Nachdem er aufgrund einer Kreuzband-Verletzung fast die gesamte Saison 2007/08 keine Rennen bestreiten konnte, dauerte es bis zum 5. Dezember 2008, bis er in der Abfahrt von Beaver Creek mit Rang 28 erstmals Weltcuppunkte gewann. Nur zwei Wochen später fuhr Fisher am 20. Dezember in der Abfahrt von Gröden auf Platz 7 – sein bisher bestes Resultat. Ähnlich erfolgreich war er in der Abfahrt von Kitzbühel am 24. Januar 2009, wo er Platz 11 belegte. Bei den Weltmeisterschaften 2009 in Val-d’Isère fiel er in der Abfahrt aus, in der Super-Kombination verzichtete er nach dem 28. Rang in der Abfahrt auf einen Start im Slalom.
An die Weltcupergebnisse der Saison 2008/09 konnte Fisher zunächst nicht anschließen. In der Saison 2009/10 fuhr er zweimal unter die besten 20; im Winter 2010/11 nur zweimal unter die schnellsten 30. Einen Start bei den Olympischen Winterspielen 2010 verhinderte eine Handverletzung; für die Weltmeisterschaften 2011 wurde er vom US-Verband nicht nominiert. Im Nor-Am Cup erreichte Fisher in der Saison 2010/11 zwei Podestplätze in der Abfahrt und damit den sechsten Rang in der Disziplinenwertung. Am 6. Dezember 2011 gewann Fisher den Nor-Am-Super-G von Nakiska und im Februar 2012 erreichte er mit zwei 12. Plätzen in den Abfahrten von Chamonix seine besten Weltcupergebnisse seit drei Jahren. Im März 2012 war die Saison für ihn vorzeitig zu Ende. Nach Stürzen in den Abfahrten von Sotschi und Kvitfjell musste er sich einer Kreuzbandoperation unterziehen.
In der Saison 2013/14 fuhr Fisher wieder im Weltcup. Er erreichte als bestes Resultat einen 13. Platz in der Abfahrt von Gröden und beendete am Ende der Saison seine Karriere.
Vereinigte Staaten
