Construído pelos portugueses entre 1616 e 1620 com o objetivo de defender a costa contra franceses, ingleses e holandeses em busca da imensa quantidade de pau-brasil que havia na região. Os canhões utilizados nas batalhas ainda se encontram voltados para o mar, como se estivessem prontos para defender o município de novos ataques.
A casa onde os soldados viviam serve hoje como um espaço para artesãos mostrarem seus trabalhos. Do forte se tem uma completa vista de toda a extensão da praia do Forte até Arraial do Cabo. Do lado oposto à praia, pode-se ver a Ilha do Japonês, local pouco explorado, com pescadores em barcos pequenos e coloridos e embarcações maiores que seguem para alto mar.
