У березні 65 року його взяли у Yardbirds на зміну Еріку Клептону за рекомендацією Джиммі Пейджа. Гурт записав більшість зі своїх найкращих хітів під час 20-місячного періоду з ним. У травні 66 року Джефф записав свій перший сольний синґл Болеро Бека. Джеффа звільнили під час туру Штатами за постійні прогули, а також через труднощі, спричинені його перфекціонізмом і вибуховою вдачею. За рік по тому гурт розпадеться. Аж 2003, коли Yardbirds знову збереться заради єдиного альбому, Джефа погукають на його запис.
