Впервые упоминается в бургундских документах XIV века под названием Fernex. Долгое время оставался ничем не примечательным селением, пока в 1759 году земля, на которой расположен Ферней, не была приобретена Вольтером. Покинув Женеву, разочаровавшую его строгостью кальвинистских нравов и начавшимися гонениями на театр, Вольтер искал поселение, где бы он мог наслаждаться уединением, быть в безопасности от французских и женевских властей и одновременно принимать гостей и показывать им свои пьесы. Ферней удовлетворял всем его требованиям. После приобретения Фернея Вольтер изменил написание названия с Fernex на Ferney: по его мнению, в окрестностях было слишком много городов, чьи названия оканчивались на x. На протяжении около 20 лет он заботился о процветании своих владений: население возросло до 1000 человек, в Фернее поселились умелые ремесленники (главным образом гончары и часовщики), было возведено более сотни зданий, включая усадьбу и церковь. Вольтер полушутя называл себя «фернейским патриархом»; этот иронический титул стал его прозвищем. Он практически безвыездно прожил в Фернее до 1778 года, когда состоялось его триумфальное возвращение в Париж, где Вольтер и умер. После Французской революции город был переименован в честь философа и приобрёл нынешнее название. В настоящее время население города составляет около 7 000 человек. Ферней-Вольтер фактически является «иностранным пригородом» Женевы.