Langley sinh ra ở Roxbury, Boston, bang Massachusetts. Từ năm 1865 đến năm 1866, ông làm việc tại đài thiên văn Harvard. Năm 1866, ông chuyển đến giảng dạy toán học Học viện Hải Quân Hoa Kỳ. Năm sau, ông được bổ nhiệm làm giám đốc đài thiên văn Allegheny tại Pittsburg. Langley đảm nhiệm chức vụ này cho đến năm 1887. Từ năm 1887 cho đến cuối đời, ông làm công tác quản lý tại viện Smithsonian, Washington, D.C.