พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เสด็จแปรพระราชฐาน ประทับที่ค่ายหลวง หาดเจ้าสำราญ ในฤดูร้อนระหว่าง พ.ศ. 2461 - 2466 เนื่องจากที่ประทับอยู่ใกล้หมู่บ้านชาวประมง จึงมีแมลงวันชุกชุม ในการแปรพระราชฐานแต่ละครั้ง ต้องลงรถไฟ ที่จังหวัดเพชรบุรี และต้องหาพาหนะไปหาดเจ้าสำราญ ซึ่งไกลออกไปอีกถึง 500 เส้น และการมีข้าราชบริพาร ตามเสด็จพระราชดำเนินเป็นจำนวนมาก ทำให้น้ำจืดซึ่งมีอยู่น้อยยิ่งขาดแคลน ด้วยเหตุแห่งความเดือดร้อนรำคาญประการต่างๆ ทรงพระกรุณาโปรดเกล้าโปรดกระหม่อม ให้มีการสำรวจพื้นที่ เพื่อสร้างพระราชวังฤดูร้อนแห่งใหม่ เมื่อแรกจะสร้างที่ประทับแห่งใหม่ ที่ตำบลห้วยทราย ซึ่งสามารถลงรถไฟก่อนถึงหัวหิน 2 สถานี

ต่อมา สมเด็จพระเจ้าน้องนางเธอเจ้าฟ้านิภานพดล พระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์ และสมเด็จพระเจ้าบรมวงศ์เธอ กรมพระยาดำรงราชานุภาพ เสด็จทรงม้า จากหัวหินมาเที่ยวที่บางตรา ซึ่งอยู่เหนือห้วยทรายประมาณ 60 เส้น ค่อนไปทางสถานี บางควาย และพบที่เหมาะสมกว่าที่ห้วยทราย ด้วยเป็นที่ปลายแหลมไกลชุมชน แต่สามารถ มองเห็นได้ทั้งหัวหินและชะอำ พื้นที่ยังมีสภาพเป็นป่าอยู่ด้วยมีต้นไม้ใหญ่ และเป็นแหล่งมี น้ำจืดอุดมสมบูรณ์

ใน พ.ศ. 2466 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้า โปรดกระหม่อม ให้สร้างที่ประทับ ให้เสร็จทันการแปรพระราชฐานในฤดูร้อนปีถัดมา โดย กำหนดให้พื้นที่ ติดชายฝั่งทะเลเป็นเขตที่ประทับ และที่อยู่ของข้าราชบริพาร ส่วนบริเวณที่ลึก เข้าไปถึงทิวเขา อันมีสัตว์ป่าชุกชุม ทรงพระกรุณาโปรดเกล้าฯ ประกาศเป็นเขตอภัยทาน เมื่อวันที่ 12 พฤษภาคม 2467 มิให้นายพรานลอบยิงสัตว์ป่า และให้รักษาสภาพเดิมที่เป็นป่าไว้ เพื่อเป็นที่อาศัยของสัตว์ทั้งหลาย.