Пит Браун родился на Рождество в 1940 году в еврейской семье, бежавшей из Лондона - спасавшейся от молниеносной войны. Пит вернулся в Лондон в 1951 году. А в 1955 году начал писать стихи, первоначально вдохновленный Диланом Томасом, Джерардом Мэнли Хопкинсом, а позже - американскими битами. В течение многих лет он переходил с одной черной работы на другую, пока не начал публиковаться, в основном в Америке. Пит встретил поэта Майка Горовица на джазовом фестивале в Больё в 1960 году и присоединился к его путешествующей художественной группе New Departures. Они вместе написали много джазовых стихов и сформировали джазовую поэтическую группу с одними из лучших «британских джазеров». В 1963 году они получили резиденцию в знаменитом лондонском клубе Marquee, а в 1965 году стали читать стихи в знаменитом Альберт-холле.