Pétervására alatt, a Sóhegy és a Csengárnyék alatti völgyben, a Határlaposi patak melett, hegyes-dombos vidéken, vörös nyirok-, illetve homoktalajon fekszik. A település jellege érdekes képet mutat: a fő közlekedési utaktól távol eső, patak menti település, melynek szerkezete ma is őrzi a palóc hadak letelepülési rendjét és szokásait.
Az első okleveles említés 1296-ban történik "p. Fyzes" névalakban. 1311-ben Károly Róbert Pétervásárát és a környéken fekvő falvakat, köztük Füzest is Tamás erdélyi vajdának adományozza. 1426-ban az Ivády családé, 1489-ben a Kormos családé. 1549-ben köznemesek bírják, ekkor még szerepel a dézsmajegyzékben. 1552-ben a török feldúlta, a pusztítás folytán elnéptelenedett.
1900-ban 236 magyar nemzetiségű polgár lakta. Az I. világháborúban katonaként 45 helybeli vett részt, kilencen hősi halált haltak. Kisfüzes lélekszáma 1930-ban 334 főt tett ki. Házainak száma 99, ezek legnagyobb része kőalappal épült vályogház. A tanköteles gyermekek oktatását egy római katolikus elemi és általános továbbképző iskola látta el. A lakosság nagy többsége földművelésből élt; őstermelő 310, iparos 16, kereskedő 6, közszolgálati alkalmazott 2 fő volt.