袁天纲年少时孤苦贫寒，但他爱读书，好学问，精通技艺，对相术深有研究，隋朝时赴洛阳任资官令。袁天纲初到洛阳时，在清化坊安顿下来，此时他以相术预测已是赫赫有名，许多人都来家里找。当时，杜淹、王珪、韦挺三个人来见袁天纲，请他给看相。袁天纲预言杜淹将以文章显贵而名扬天下；王珪不出十年将官至五品；韦挺面相如虎，将出任武官。并预言三人为官后都要遭贬谴，届时大家还会见面。果然在唐高祖武德年间，杜淹以侍御史入选天策学士；由太子李建成举荐王珪当上五品太子中允，韦挺出任武官左卫率。三人正当仕途一帆风顺时，没想到受宫廷政变牵连一起被贬隽州，果然在这里又遇到了袁天纲。袁天纲再次相面预测“公等终且贵”，最后都要官至三品，三人前程及结局后来验证都不出其所料。

大业末年，天下大乱，袁天纲返回故乡，依然卖卦为生。初唐重臣窦轨曾于这段时间客游德阳，此时他还很潦倒，而袁天纲恰好也在德阳，窦轨便请托袁天纲给自己看相，袁天纲说：“你前额到发际骨骼隆起，一直连到脑后的玉枕处，你的下巴浑圆肥大，下巴右侧隆起，而且明洁光亮，必定在梁州、益州大树功业。”窦轨说：“如果真如所说，能成就功业，我定不忘您指点过我的大恩大德。”

武德初年，窦轨果然发迹，他跟随唐高祖起兵反隋，因此立有战功，任为益州行台仆射，为不忘旧恩，于是向蜀道使詹俊赤举荐了袁天纲，并且很礼待他，遂被任为蜀郡火井县县令。袁天纲又对窦轨说：“您的骨法仍旧，和以前判断的一样。然而眼睛色红连着瞳仁，一说话就因浮躁而面色赤红，做了武将怕是要杀很多人啊，但愿你要时刻警戒自己。”不久，窦轨跟唐太宗征讨王世充、出击吐谷浑，他果然开始大开杀戒，对部下也很严苛，稍不满意便处斩，甚至连自己的外甥都没放过。武德九年（626年），窦轨因此事被撤职召回，将赴京城时，又来找袁天纲，问袁天纲说：“我还能得什么官？”。袁天纲回答：“脸上依然洋溢着佳人的福气，未见有退散，下巴右侧有光泽，更有喜色，去到京城必又承恩典，回来后仍在益州任职。”之后，窦轨果然又于这一年获任益州都督。

武则天的父亲武士彟于贞观初年授任利州都督，全家于是随任迁住蜀中，袁天纲于这时遇见了武则天母亲杨氏，其时武则天尚年幼，袁天纲见到她母亲问：“夫人应该是生了贵子了。”于是给武元爽、武元庆看了相，他说：“官可三品，保家主也。”见了韩国夫人，又说：“此女显贵，可是克夫。”武则天年龄最小，由保姆抱过来给他看，谎称是男子，袁天纲观了她的相之后感到惊叹，预测说：“如果是女子，以后可为天子。”