元諧的家族非常的顯貴，在早年與楊堅在北周朝廷主辦的最高學(xué)府國子學(xué)中共同學(xué)習(xí)。后來二人仕途都很順利，元諧擔任北周大將軍，楊堅升任北周丞相，兩人雖然一文一武，但關(guān)系十分親密。581年二月，獨攬大權(quán)的楊堅廢掉周靜帝，改國號為隋，是為隋文帝。元諧因為在楊堅登基時助有一臂之力，升任上大將軍，封樂安郡公，食邑千戶。