杨溪乡位于广昌县南部，地处武夷山脉腹地，地势东南西高，中、北部低，地形东南西高山连绵，中部河沟纵横，形成一条峡谷地段，以高山、丘陵为主，境内最高峰为猴子寨，海拔798米；最低点位于北部与赤水镇交界的金沙桥边，海拔154米。杨溪乡东邻塘坊乡，南与石城县木兰乡接壤，西邻驿前镇，北邻赤水镇。乡人民政府驻下模村，距广昌县城35千米。

杨溪乡以境内主干河流杨溪港而得名，在民国时属株溪乡。1932年分属苏区广昌县赤水区和石城县驿前区。1933年7月为杨溪区，属赤水县。1934年，复名株溪乡，属广昌县。1949年9月为模溪乡，属白水区。1950年分设桂模、杨溪、江背3乡，属驿前区。1951年属大株区。1953年为大株区塘角乡、东坑乡和驿前区江背乡。1956年属赤水区杨溪、贯桥2乡。1958年成立杨溪公社，同年并入赤水公社。1961年恢复杨溪公社。1968年撤销杨溪公社，分属赤水公社和高虎脑公社，1972年又恢复杨溪公社。1984年更名为杨溪乡。

全乡辖东坑、下模、高排、杨溪、江背、下陌6个村委会，61个村小组，1645户共计总人口6460人，其中城镇人口382人，均属汉族。辖区总面积69平方千米，其中陆地面积58.7平方千米，占85.1%；水面面积10.3平方千米，占14.9％。

杨溪乡属亚热带湿润季风气候区，气候温和湿润，雨量充沛，四季分明，日平均气温17.6度，年均日照1739.4小时，年均降雨量1788.8毫米，平均无霜期258天。