Le palais Balène porte aujourd'hui le nom de la famille noble originaire de Salviac (près de Gourdon), propriétaire au XIVe siècle.
En 1345, deux frères Balène se battirent en duel l'un contre l'autre. Les deux moururent l'un durant le duel, l'autre par condamnation pour fratricide. Le palais fut alors confisqué par le duc d'Aquitaine et roi d'Angleterre, Edouard III. En 1372, des officiers d'Edouard III vendirent le palais aux consuls de Figeac qui le donneront au comte d'Armagnac peu de temps après pour payer leur dette envers lui. En effet, le comte avait versé aux anglais la rançon qui libérait la ville des troupes anglaises. Mais à la fin de la guerre de Cent Ans, Charles VII, roi de France, confisqua les biens du comte d'Armagnac et notamment le palais. En 1473, sous ordre du Roi, ce palais redevint la propriété des Figeacois.
Le palais Balène connaîtra alors plusieurs affectations successives entraînant transformations et destructions. Pendant les guerres de Religion, le palais devint un temple pour les protestants et le premier étage fut occupé par les assises du sénéchal du Quercy. Au milieu du XVIIe siècle, le palais Balène devint tribunal et prison puis subit d'importants travaux à la fin du XVIIIe siècle. A la fin du XIXe siècle, le tribunal quitta le palais et une école fut installée. Au début du XXe siècle, après deux incendies, des réparations furent entreprises et le Foyer Municipal, avec un théâtre puis un cinéma, furent aménagés. Deux campagnes de travaux restaurèrent le palais : entre 1937 et 1942 puis entre 1977 et 1981.
Suite aux travaux de 1937-1942, la cour fut recouverte d'une dalle de béton afin d'obtenir une large salle en rez-de-chaussée. Ainsi, il est actuellement impossible d'avoir vue sur les façades intérieures des quatre corps de bâtiment. De plus, le rez-de-chaussée aménagé en salle tend à effacer cette répartition qui est toutefois encore soulignée par des arcades. En revanche, le premier étage a gardé son système de corps de bâtiment distribué autour de la cour, mais celle-ci fait désormais figure de terrasse.