เกาะพะงัน อยู่ห่างจากเกาะสมุยไปทางทิศเหนือ ประมาณ 20 กม. และอยู่ห่างตัวจังหวัดประมาณ 100 กม. เกาะพะงันมีเนื้อที่ประมาณ 170 ตรกม. เป็นหนึ่งในจำนวน 48 เกาะที่ตั้งอยู่ในช่องอ่างทอง

ลักษณะภูมิประเทศของเกาะพะงัน มีภูเขาอยู่ตรงกลางเกาะ ทอดตัวจากทิศเหนือจดทิศใต้ มีที่ราบบริเวณทางทิศตะวันตกของเกาะ ส่วนทางทิศตะวันออกเป็นเทือกเขาจดทะเล บางแห่งก็มีอ่าวเล็ก อ่าวน้อย เรือเข้าจอดได้เป็นบางฤดู ช่วงมรสุมตั้งแต่เดือนตุลาคม ถึงเดือนมกราคม จะมีลมตะวันออกพัดผ่าน ซึ่งไม่เหมาะแก่การเดินทางท่องเที่ยวในช่วงดังกล่าว

เกาะพะงัน เป็นเกาะที่มีผู้คนอาศัยอยู่เป็นเวลาช้านาน สันนิษฐานว่าพวกแรกที่มาอยู่บนเกาะพะงันน่าจะเป็นแขกจากมลายู ที่อยู่แถบจังหวัดนครศรีธรรมราช หรือไม่ก็เป็นพวกแขกที่มาจากปัตตานี มาอาศัยทำการประมงเป็นหลัก โดยสังเกตจากชื่อของเกาะและสถานที่บางแห่งบนเกาะเช่นคำว่า เกาะพะงัน อดีตนายอำเภอเกาะสมุยผู้หนึ่งว่า เดิมชื่อเกาะราฮัม ซึ่งแปลว่า ดำตะคุ่ม หรือเกาะบางเกาะเช่นเกาะวัวตาหลับ เกาะเหล้าหยู ก็มาจากภาษามลายู

บนเกาะเต็มไปด้วยสถานที่ท่องเที่ยวทางธรรมชาติทั้งชายหาดและน้ำตกที่สวยงาม และไฮไลต์ของเกาะพะงันคือ ฟูลมูนปาร์ตี้ ซึ่งเป็นงานปาร์ตี้ริมหาดที่จัดขึ้นทุกๆ คืนพระจันทร์เต็มดวงบนหาดริ้น มีชื่อเสียงเป็นอย่างมากในหมู่นักท่องเที่ยวทั้งชาวไทยและชาวต่างชาติ

การเดินทางไปเกาะพะงัน สามารถเดินทางได้ทั้งจากทาง อ.ดอนสัก และจากเกาะสมุย โดยมีทั้งเรือเฟอร์รี่ซึ่งสามารถเอารถยนต์ข้ามไปเกาะพะงันได้ หรือหากไปแต่ตัวก็มีเรือด่วนให้บริการ

นอกจากนี้ยังมีรถทัวร์ของบริษัทขนส่งจำกัด สายกรุงเทพ-เกาะพะงัน ซึ่งรถจะลงเรือเพื่อไปเกาะพะงันที่ท่าเรือดอนสักโดยตรง