Đã từ lâu đảo Phú Quý trở nên rất quen thuộc với nhiều người qua sử sách xưa dưới nhiều tên gọi: Cổ Long, Thuận Tịnh, Cù Lao Khoai Xứ, Cù Lao Thu... Từ niên hiệu trị thứ 4 (1844) vì tiềm năng kinh tế dồi dào và số lượng đặc sản đáng kể biệt nạp cho Triều đình Huế, đảo được đổi tên từ Tổng Hạ sang Tổng Phú Quý trực thuộc huyện Tuy Phong, phủ Ninh Thuận, tỉnh Bình Thuận. Hiện nay, Phú Quý là một huyện đảo xa của tỉnh Bình Thuận.

Tuy là một hòn đảo nằm biệt lập giữa trùng dương nhưng dấu tích phát hiện được cho thấy đảo đã được khai phá tạo nên cuộc sống ở đảo từ rất sớm. Trong quá trình khai thác đá quánh, nhân dân đã tìm thấy những mộ vò lớn. Trong mộ có chôn theo một số công cụ lao động như rìu, bôn và cả những chiếc vòng đeo tay bằng đá với kỹ thuật chế tác rất tinh xảo. Điều này phù hợp với những giai thoại được lưu truyền rằng trước khi có sự khai phá thiên nhiên của những con người từ lục địa, ở đây đã có một giống người "Thượng" sinh sống bằng nghề hái lượm và bắt cá ven biển. Trải qua những biến thiên của lịch sử, Phú Quý là nơi hội tụ của nhiều luồng dân di cư từ lục địa ra với nhiều thành phần dân tộc khác nhau. Trong đó người Kinh đóng vai trò chủ thể.


Khi bắt đầu phát triển mạnh kỹ thuật đóng thuyền buồm với những chiếc thuyền ra được khơi xa thì cũng là lúc có nhiều người từ lục địa đặt chân lên đảo. Cùng với những phần mộ còn xót lại trên đảo, sự tích công chúa Bàng Tranh chứng tỏ người Chăm đã có mặt ở đảo này. Sự tích kể rằng: Bàng Tranh là một công chúa xinh đẹp vì chống lệnh vua cha nên bị kết tội phản nghịch nên bị kết đày ra đảo.


Bên cạnh đó, do không chịu nổi sự hà khắc của chế độ nông nô, bất mãn với triều đình phong kiến, nhiều người đã tìm đường ra đây lập kế sinh nhai. Người Kinh có mặt ở đảo cũng từ rất sớm. Lúc bấy giờ, vào một thời điểm mà triều đại phong kiến Việt Nam đang trượt nhanh trên con đường mục nát, nạn đói xảy ra ở nhiều nơi. Ở các tỉnh miền trung lúc bấy giờ, những người cùng khổ hoặc phải bán vợ đợ con hoặc phải phiêu dạt đi khắp nơi để kiếm sống. Và Phú Quý là một điểm đến an lành mà họ đã tình cờ bắt gặp. Trong thời kỳ Trịnh-Nguyễn phân tranh (1627–1672), rất nhiều ngư dân thuộc các tỉnh duyên hải miền trung, hoặc chạy giặc lánh nạn, hoặc đi tìm nguồn cá, thuyền của họ vượt sóng trùng dương đã gặp phải những trận cuồng phong khốc liệt và "xiêu" lên đảo.


Cùng với người Kinh, một số người Hoa cũng hoà nhập vào cộng đồng cư dân ở Phú Quý. Vàơ thế kỷ 17, một số quan lại nhà Minh sau khi chống nhà Thanh thất bại, đã phải trốn ra nước ngoài. Từng đoàn thuyền vượt biển tiến về phía nam, trong số đó có hàng chục thuyền đã quyết định dừng chân lập nghiệp ở Phú Quý. Người Hoa đến đây sống dựa vào các ngành nghề như dệt tơ lụa, buôn bán. Quá trình phát triển về sau, một số người do làm ăn trở nên giàu có đã lần lượt tìm vào các thành phố lớn ở đất liền, chỉ một số ít còn lại trên đảo.


Khi dân cư ngày một đông hơn thì các hình thức tổ chức xã hội cũng dần dần được hình thành. Và thời Lê Hiển Tông - Cảnh Hưng (1740–1786), nhà Lê đã tổ chức trên đảo thành từng hộ bạch bố đến đội bạch bố rồi dần dần trở thành ấp và làng. Tuy số dân lúc bấy giờ chưa đông đúc nhưng Phú Quý có đến 14 làng và 1 ấp. Mỗi làng được lập trên cơ sở một nhóm nhỏ ngư dân, đôi lúc chỉ có từ 10 đến 12 tránh đinh và thường mang những tên cũ của địa phương trước khi đến đây lập nghiệp: Thoại Hải, Thế Hanh, Thế An, Hội Thiên, Hội Hưng, Hương Lăng, Mỹ Xuyên, Phú Ninh, An Hoà, Hải Châu, Thương Hải, Triều Dương, Hội An, Mỹ Khê và ấp Quý Thạnh. Từ niên hiệu Đồng Khánh - Nguyễn Cảnh Tông năm thứ 1 (1886), toàn đảo được tổ chức thành 11 làng và đến năm 1930 do sự sáp nhập hai làng Phú Ninh vào Phú Mỹ và Hương Lăng vào Quý Thạnh nên chỉ còn lại 9 làng: Long Hải, Phú Mỹ, An Hoà, Hải Châu, Thương Hải, Quý Thạnh, Triều Dương, Mỹ Khê và Hội An. Hiện nay, đảo được chia làm 3 xã: Long Hải, Ngũ Phụng, Tam Thanh.


Phú Quý trong một thời gian dài đã sống trong điều kiện khép kín tự cung tự cấp với những hoạt động kinh tế như trồng trọt, đánh bắt hải sản, một số ngành nghề thủ công như dệt vải, đan võng, ép dầu... Trong đó, ngư nghiệp đóng vai trò chủ đạo.