James Norris zog mit seiner Familie zu Beginn des Zweiten Weltkriegs nach El Segundo, wo er die El Segundo High School (ESHS) besuchte. 1948 wurde er Präsident der Studentenschaft und Spieler des Wasserballteams. 1951 gewann das US-amerikanische Team um Norris bei den Panamerikanischen Spielen in Buenos Aires die Bronzemedaille. Bei den Olympischen Spielen 1952 im finnischen Helsinki belegte das Team um Mannschaftskapitän Norris den vierten Platz. Auf der ESHS lernte Norris Lynne Oldmen kennen, die er am 26. April 1951 heiratete und mit der er vier Kinder hatte.
Norris erhielt ein vierjähriges Navy ROTC-Stipendium an der University of Southern California, wo er Zoologie studierte. Nach seinem Bachelor-Abschluss diente er drei Jahre bei der United States Army, wo er unter anderem im Koreakrieg kämpfte. Nach seinem Militärdienst erhielt Norris seine Lehrberechtigung an der University of California, Los Angeles, unterrichtete an mehreren High Schools und machte schließlich an der UCLA seinen Master in Counseling. Fortan war er Berater am El Camino College in Torrance und regelmäßiger LA County Lifeguard. Er lebte 35 Jahre in Manhattan Beach, ehe er später ins Santa Ynez Valley zog und dort als Lokalhistoriker über den Pelzhandel forschte. 2008 zog Norris nach Jackson, wo er 2021 im Alter von 98 Jahren verstarb.