Yldefonso wurde 1903 in Piddig, Ilocos Norte, geboren und legte den Grundstein für seine Schwimmkarriere am nahegelegenen Guisit River, wo er sich selbst das Schwimmen beibrachte.
Laut seinem Profil in der International Swimming Hall of Fame trat Yldefonso um 1920 dem 57. Infanterieregiment der Philippine Scouts bei und nahm an internationalen Wettkämpfen teil, darunter auch an den Far Eastern Games.
Yldefonso gewann bei vier der Fernöstlichen Spiele Gold im 200-Meter-Brustschwimmen der Männer und war 1923 in Osaka (Japan), 1927 in Shanghai (China), 1930 in Tokio (Japan) und 1934 in Manila (Philippinen) der unangefochtene Sieger.
Sein olympisches Debüt gab er bei den Olympischen Spielen 1928 in Amsterdam in den Niederlanden, wo er zusammen mit seinem Schwimmkollegen Tuburan Tamse, dem Hochspringer Simeon Toribio und dem Sprinter Anselmo Gonzaga die Nationalfarben vertrat.
Yldefonso nahm an seiner Lieblingsdisziplin, dem 200-m-Brustschwimmen, teil und holte hinter dem Japaner Yoshiyuki Tsuruta (Gold) und dem Deutschen Erich Rademacher (Silber) die Bronzemedaille. Damit war er der erste Philippiner und Südostasiate, der eine olympische Medaille gewann.
Bei den Olympischen Spielen 1932 in Los Angeles (USA) sicherte sich Yldefonso erneut einen Olympiaplatz: Er gewann die Bronzemedaille über 200 m Brust und war damit der erste Philippiner, der mehrere olympische Medaillen gewann.
Fast 90 Jahre lang war Yldefonso der einzige Filipino, der mehrere olympische Medaillen gewann.
Yldefonso, ein Leutnant der philippinischen Pfadfinder, kämpfte im Krieg gegen die Japaner. Als Bataan im April 1942 fiel, war er einer von über 70.000 philippinischen und amerikanischen Soldaten, die den Todesmarsch antreten mussten.
Yldefonso überlebte zwar den höllischen Marsch, der Tausende das Leben kostete, starb jedoch Monate später im Juni 1942 im Alter von 38 Jahren im Camp O’Donnell in Capas, Tarlac.
Der Journalist und Diplomat Felipe Buencamino III., der ebenfalls in Bataan kämpfte, schrieb in sein Tagebuch, dass Yldefonso von den Japanern die Medikamente zur Behandlung seiner Wundbrandwunde vorenthalten wurden und er später mit anderen Leichen begraben wurde.
Seine sterblichen Überreste wurden nie geborgen. Yldefonsos Andenken lebt in seiner Heimatstadt Piddig weiter, wo seit 2006 ein Gedenkstein zu seinen Ehren steht.