예일 대학교의 근원은 1640년대로 거슬러 올라갈 수 있다. 그 당시 목사들이 신세계인 뉴 헤이븐에 유럽식 인문교육의 전통을 세워보고자 노력하였는데 1701년 대학의 헌장(charter)이 수립되면서 그 꿈이 실현되었으며 칼리지어트 스쿨(Collegiate School)이란 이름으로 설립되었다. 미국 독립 이전에 정식 학위 수여를 할 수 있었던 9개의 식민지시대에 설립된 미국의 대학교들 중 하나로서 그 중 3번째로 설립되었다.
1718년 417권의 서적과 영국왕 조지 1세의 초상화, 그리고 아홉 더미 상품의 판매 수익을 전부 기증했던 웨일즈의 상인인 엘리후 예일(Elihu Yale)에게 감사하는 뜻으로 대학의 이름을 예일 칼리지(Yale College)로 다시 짓게 되었다. 예일은 미국 독립 전쟁(1776~1781)을 무사히 견디어 내고 그 후 백 년 동안 급속도로 성장하게 되었다. 19세기와 20세기에 들어서서 일반 대학원과 전문대학원들이 설립되면서 예일은 진정한 대학교로서 모습을 갖추게 되었다.
1810년 의학대학원(Yale School of Medicine), 1822년 신학대학원(Yale Divinity School), 1824년 법학대학원(Yale Law School), 1847년 일반대학원(Yale Graduate School of Arts and Sciences)이 설립되었다.