Die Insel Colonsay liegt in den Inneren Hebriden vor der Westküste Schottlands. 24 Kilometer nördlich liegt die Insel Mull. Im Osten und Süden befinden sich die Inseln Jura und Islay, und im Südwesten – von einem hohen Punkt aus an einem klaren Tag gerade noch sichtbar – liegt die Küste von Donegal in Irland. Im Westen liegt der Atlantik, und der Leuchtturm Du Hirteach ist das einzige Gebäude zwischen Colonsay und Kanada. Colonsay und das unmittelbar nördlich gelegene Oransay bilden eine Inselgruppe von etwa 16 Kilometern Länge und 3 Kilometern in der Breite.

Der Rhododendron- und Waldgarten von Colonsay House gilt als einer der schönsten Rhododendrongärten Schottlands. Der Garten wurde hauptsächlich in den 1930er Jahren angelegt und besticht durch eine aussergewöhnliche Vielfalt – nicht nur an Rhododendren, sondern auch an Bäumen und Sträuchern, darunter einige exotische Arten aus der südlichen Hemisphäre. Neben den Rhododendren sind hier auch zahlreiche Sträucher wie Pieris, Fuchsie, Hortensie, Olearia, Andenstrauch und Kamelie zu finden.