มหาวิทยาลัยศิลปากรจัดตั้งห้องสมุดของมหาวิทยาลัยขึ้นครั้งแรก ณ วังท่าพระ เมื่อ พ.ศ. 2507 มีฐานะเป็นแผนก สังกัดกองกลาง สำนักงานอธิการบดี วังท่าพระ โดยใช้สถานที่ทำการร่วมกับแผนกอื่นๆ ในสำนักงานอธิการบดี ซึ่งตั้งอยู่ ณ อาคารด้านหลังอนุสาวรีย์ ศาสตราจารย์ศิลป์ พีระศรี มีพื้นที่ให้บริการประมาณ 50 ตารางเมตร
เมื่อมหาวิทยาลัยสร้างอาคารหอสมุดวังท่าพระแล้ว จึงได้เข้าทำการเมื่อวันที่ 16 มิถุนายน พ.ศ. 2518 แต่เนื่องจากความจำกัดของพื้นที่ที่ให้บริการ จึงได้ขยายพื้นที่ห้องบริการวารสารไปยังห้อง 3103 ชั้นใต้ดินอาคารศูนย์รวม 3 และในเวลาต่อมาได้มีการย้ายพื้นที่บริการโสตทัศนูปกรณ์ และพื้นที่การทำงานของบุคลากรไปยังชั้น 3 และชั้น 4 อาคารสำนักงานอธิการเดิม บริเวณด้านหลังอาคารหอสมุดฯ
พ.ศ. 2511 มหาวิทยาลัยศิลปากรขยายวิทยาเขตไปยังพระราชวังสนามจันทร์ จังหวัดนครปฐม ได้จัดตั้งห้องสมุดขึ้นอีกแห่งหนึ่ง มีฐานะเป็นแผนกห้องสมุด ห้องสมุดเสียงและอุปกรณ์โสตทัศน์ สังกัดสำนักงานอธิการบดี พระราชวังสนามจันทร์ โดยใช้สถานทำการชั่วคราวบริเวณห้องกลาง ชั้นล่างอาคารทับแก้ว 1 (A1) มีพื้นที่ให้บริการประมาณ 200 ตารางเมตร กระทั่ง พ.ศ.2519 จึงย้ายไปยังอาคารถาวร 2 ชั้น และย้ายไปยังอาคารใหม่ 4 ชั้น ปัจจุบัน คือ อาคารหอสมุดฯ เมื่อ พ.ศ. 2536 ต่อมา พ.ศ. 2545 ได้ขยายพื้นที่ให้บริการเพิ่มเติมไปยังอาคารใหม่อีกหลังหนึ่ง คือ อาคารหม่อมหลวงปิ่น มาลากุล
วันที่ 19 กรกฎาคม พ.ศ. 2532 คณะรัฐมนตรีมีมติเห็นชอบให้มหาวิทยาลัยศิลปากรจัดตั้ง “สำนักหอสมุดกลาง” ตามพระราชกฤษฎีกาจัดตั้งสำนักหอสมุดกลาง มหาวิทยาลัยศิลปากร พ.ศ. 2532 โดยรวมแผนกห้องสมุด สังกัดกองกลาง สำนักงานอธิการบดี วังท่าพระ และแผนกห้องสมุด ห้องสมุดเสียงและอุปกรณ์โสตทัศน์ สังกัดสำนักงานอธิการบดี พระราชวังสนามจันทร์ เข้าด้วยกันตามพระราชบัญญัติมหาวิทยาลัยศิลปากร พ.ศ. 2530 มาตรา 8 วรรคสอง กำหนดให้สำนักหอสมุดกลาง เป็นหน่วยงานที่มีฐานะเทียบเท่าคณะวิชา เพื่อดำเนินการตามวัตถุประสงค์ในมาตรา 7 ของพระราชบัญญัติฯ กล่าวคือ เป็นหน่วยงานที่สนับสนุนการศึกษา การวิจัย และส่งเสริมวิชาการและวิชาชีพชั้นสูง รวมทั้งการให้บริการแก่สังคม และการทำนุบำรุงศิลปวัฒนธรรม
ในปีการศึกษา 2545 มหาวิทยาลัยได้ขยายการจัดการศึกษา ไปยังวิทยาเขตสารสนเทศเพชรบุรี เพื่อเปิดสอนคณะวิชาที่เหมาะสมตามที่ระบุไว้ในแผนพัฒนาการศึกษา แห่งชาติฉบับที่ 8 พร้อมได้จัดทำและปรับแผนแม่บทวิทยาเขตสารสนเทศเพชรบุรี (พ.ศ. 2545-2549) สำนักหอสมุดกลาง จึงได้จัดตั้งหอสมุดวิทยาเขตสารสนเทศเพชรบุรีขึ้น เมื่อวันที่ 17 พฤษภาคม พ.ศ. 2545 ใช้สถานที่ชั้น 3 อาคารเรียนรวมเป็นที่ทำการ โดยมีหอสมุดวังท่าพระ เป็นผู้รับผิดชอบดำเนินการทางเทคนิคและการจัดบริการ ต่อมา พ.ศ. 2549 ได้ย้ายหอสมุดฯ มายังอาคารวิทยบริการชั้น 1 และชั้น 2
นอกจากสำนักหอสมุดกลางจะมีหอสมุด ซึ่งให้บริการใน 3 วิทยาเขตแล้ว ยังมีหน่วยงานที่อยู่ภายใต้การดูแล โดยการแบ่งส่วนงานภายใน คือ โครงการจดหมายเหตุมหาวิทยาลัยศิลปากร ซึ่งผนวกเข้าเป็นภารกิจหนึ่งของสำนักหอสมุดกลาง ตามมติที่ประชุมคณบดี ครั้งที่ 7/2540 ตั้งแต่เดือนพฤษภาคม พ.ศ. 2541 และได้ปรับเปลี่ยนสถานะเป็นหน่วยงานในกำกับของสำนักหอสมุดกลาง โดยมีฐานะเป็นฝ่าย ใช้ชื่อว่า หอจดหมายเหตุมหาวิทยาลัยศิลปากร ตามมติของที่ประชุมสภามหาวิทยาลัยศิลปากร ครั้งที่ 1/2556 เมื่อวันที่ 9 มกราคม 2556 และประกาศมหาวิทยาลัยศิลปากร เรื่อง การจัดตั้งและแบ่งหน่วยงานในกำกับของมหาวิทยาลัยศิลปากร (ฉบับที่ 19) พ.ศ. 2556 ประกาศ ณ วันที่ 31 มกราคม 2556