Elsa Fermbäck wuchs im Dorf Vemhån in der Gemeinde Härjedalen auf. Nach der Grundschule besuchte sie das Gymnasium im Nachbarort Hede. Sie startet für den Skiverein Vemdalen, den sie als erste Athletin bei Weltmeisterschaften vertrat.[1]
Am 17. November 2018 gab Fermbäck im Slalom von Levi ihr Weltcup-Debüt. Der erste Punktgewinn glückte ihr im Januar 2021 mit Platz 21 beim Nachtslalom in Flachau. Aufgrund ihrer guten Europacup-Resultate gelangte sie ins schwedische Aufgebot für die Weltmeisterschaften in Cortina d’Ampezzo, wo sie Slalomrang 16 belegte. Am Ende der Saison schaffte sie mit Platz 14 in Åre ihr vorläufig bestes Weltcup-Ergebnis.