Власну формацію, the Joe Perry Project, він заснував незадовго до свого виходу зі складу Aerosmith у 79-му. Мотивацій було кілька. Зокрема, борг Перрі перед гуртом Aerosmith (80000$ — добрячі гроші на той час), які він планував сплатити з продажів сольної платівки. І, звичайно ж, власне бачення музики, яке Тайлер і компанія частенько ігнорували. Саме друге з названого і стало головним інтересом публіки, яка досить жваво розкупила дебютник Перрі. Та, схоже, сподівання фанів не виправдалися: кожен з наступних альбомів мав усе менший і менший успіх, і з часом Джо розчарувався у власному дітищі. Тим часом і Тайлер, і компанія звукозапису вмовляли Перрі повернутися в Aerosmith, і в лютому 84-го Джо погодився. В новому альбомі гурту з'явилася титульна пісня з його сольного дебютника Let the Music Do the Talking.
