เนื้อที่ตำบลทั้งหมด 69.17 ตารางกิโลเมตร หรือ 43,237 ไร่ คิดเป็นร้อยละ 10 ของพื้นที่อำเภอ พื้นที่ตำบลบางส่วนอยู่ในเขตป่าสงวนแห่งชาติทุ่งรัง ควนเสียดบกไก่ฟ้า คลองกง ได้แก่พื้นที่บางส่วนของหมู่ที่ 8 และพื้นที่ทั้งหมดของหมู่ที่ 10 มีจำนวน 14 หมู่บ้าน อยู่ในเขตพื้นที่เทศบาลตำบลช้างขวา

      ในสมัยก่อนพื้นที่แห่งนี้เป็นป่าใหญ่ มีบ้านเรือนราษฎรอาศัยอยู่โดยทั่วไป ได้มีช้างโขลงหนึ่งเข้ามาทำลายบ้านเรือนและพืชผลของราษฎรได้รับความเสียหาย โดยแยกเป็น 2 กลุ่ม กลุ่ม(โขลง) หนึ่งวิ่งแยกไปทางด้านซ้ายและอีกกลุ่มหนึ่งวิ่งแยกไปทางขวา ต่อมาพื้นที่แห่งนี้ แบ่งออกเป็น 2 ตำบล โดยยึดหลักที่ช้างป่าวิ่งไปทางซ้ายเป็นตำบลช้างซ้ายและที่ช้างป่าวิ่งไปทางด้านขวา เรียกเป็นตำบลช้างขวาจนถึงปัจจุบันนี้

ประวัติเกี่ยวกับตำบลช้างขวา
      เมื่อก่อนมีนายซิ่น บ้านเดิมอยู่ในหมู่ที่ 1 ตำบลช้างซ้าย และมีเพื่ออีกคน ชื่อ นายเขียว พื้นเพเดิมอยู่ที่บ้านพุฒ ปัจจุบันตั้งอยู่ในหมู่ที่ 3 ตำบลช้างขวาทั้งสองท่านมีอาชีพรับจ้างจับช้างป่าขาย เพื่อนำไปฝึกไว้ใช้งาน ซึ่งในสมัยก่อนพื้นที่ส่วนใหญ่ยังเป็นป่าและมีช้างอยู่มาก ทั้งสองได้ไปทำคอกดักช้างที่บ้านคลองสระ ตำบลป่าร่อนในปัจจุบัน และได้จับช้างเผือกได้ 1 เชือกเป็นช้างพังจึงได้นำขึ้นทูลเกล้าถวายพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 แห่งกรุงรัตนโกสินทร์ พระองค์ท่านทรงได้พระราชทานสิ่งของต่างๆ ให้แก่บุคคลทั้งสอง อันได้แก่ ผ้าไหมแพร เงิน ทองคำ เป็นต้น และได้พระราชทานยศถาบรรดาศักดิ์แต่งตั้งเป็น ท่านขุน ให้ดูแลปกครองประชาชนในสมัยนั้น ดังนี้
1. นายซิ่น แต่งตั้งให้เป็น ขุนคชาเชนทร์
2. นายเขียว แต่งตั้งให้เป็น ขุนบริบาลคชภูมิ

      เมื่อท่านขุนทั้งสองได้รับพระราชทานบรรดาศักดิ์และสิ่งของต่างๆ แล้วจึงได้กราบบังคมลาพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวกลับ และพระองค์ยังได้พระราชทานช้างให้อีกคนละ 1 เชือก เมื่อเดินทางมาถึงทางสองแพร่ง ทั้งสองได้แยกย้ายกันไปคนละทางสู่หมู่บ้านของตนเอง โดย ขุนคชาเชนทร์ แยกไปทางซ้ายและปกครองประชาชนในพื้นที่นั้น และให้ชื่อตำบลที่ตนเองปกครองว่า ตำบลช้างซ้าย ตามช้างที่นำมาแล้วแยกไปทางซ้ายมือ ส่วนขุนบริบาลคชภูมิ ได้นำช้างและสิ่งของพระราชทานแยกไปทางขวา สู่หมู่บ้านของตนเอง และปกครองประชาชนในพื้นที่นั้น โดยใช้ชื่อตำบลที่ตนเองปกครองว่า ตำบลช้างขวา ตามช้างที่นำมาแยกไปทางขวามือ

      ดังนั้น ตำบลช้างขวาจึงเป็นชื่อตำบลที่เก่าแก่มีมานานแล้วตั้งแต่ในสมัยรัชกาลที่ 5 แต่ไม่สามารถระบุปี พ.ศ.ได้ เนื่องจากไม่มีหลักฐานที่ชัดเจน ซึ่งในตำบลนี้มีกำนันปกครองต่อๆ กันมาจนถึงปัจจุบันนี้มี 11 คน กระทรวงมหาดไทยได้ประกาศจัดตั้งเทศบาลตำบลช้างขวา จากองค์การบริหารส่วนตำบล เป็นเทศบาลเมื่อวันที่ 17 เดือนตุลาคม พ.ศ. 2552