Comenzó funcionando como asentamiento de aborígenes de la tribu Taramas o Tarmas, la palabra en el dialecto de los indios Tarmas, de filiación caribeña, significa cerca de Caracas y la forma original era Caraca-yaca. Los investigadores de la historia de Carayaca difieren en la fecha exacta de fundación de la parroquia. Guillermo Sanz dice que fue fundada conjuntamente con la población de Tarmas el día 27 de marzo de 1528 por Diego de Losada, el mismo fundador de Caracas. Otros investigadores dicen que fue creada el 6 de agosto de 1622 por Pedro J. Gutiérrez de Lugo. Daniel Benítez señala que la verdadera fundación del poblado ocurrió el 10 de marzo de 1691. Algunos historiadores indican la fundación en honor al Jefe del grupo tarmero «Carayyaco». El nombre de la ciudad principal de la parroquia es San José de Carayaca.

Es la parroquia con mayor superficie del estado La Guaira y una de las más grandes de esta parte de Venezuela con 475 kilómetros cuadrados.3​ Su área es superior por ejemplo a la del Municipio Libertador de Caracas. La topografía de la población es accidentada.