A la fin du XVIIIe siècle, il existe à cet emplacement un petit entrepôt de marchandises. A la fin du XIXe siècle, il est utilisé comme remise et écurie par les propriétaires de l'hôtel Beau-Rivage situé à proximité (voir dossier Hôtel de voyageurs Beau-Rivage, café-brasserie Skiff Pub et restaurant La Crêperie du Port). Le bâtiment devient un hôtel-restaurant en 1895.
En 1903, il est acheté par le restaurateur Auguste Lille. A l’initiative de celui-ci et de ses descendants, l’établissement devient le restaurant le plus côté de la ville, étoilé au guide Michelin dans les années 1970. Depuis 1998, l’établissement n’appartient plus à la famille Lille. Plusieurs propriétaires se sont succédés mais l’enseigne « Lille » a subsisté.
Le bâtiment d’origine, agrandi et remanié plusieurs fois au cours du XXe siècle, n’est aujourd’hui plus lisible. Les différentes campagnes d’agrandissement menées témoignent cependant de la longévité de l’établissement.
Au début des années 1920, Auguste Lille fait édifier une rôtisserie. Celle-ci est installée au sud et sa construction entraîne la démolition d’un petit corps de bâtiment. Entre cette date et 1956, les élévations sont entièrement remaniées et adoptent l’essentiel de la physionomie qu’elles présentent aujourd’hui : des baies en plein cintre sont percées au rez-de-chaussée et des portes-fenêtres dotées de balcons individuels sont ouvertes au premier étage. C’est probablement lors de ces travaux que des pergolas sont édifiées sur la grande terrasse située au sud. En 1956, l’architecte Charles Foray est chargé de l’agrandissement du bâtiment à l’angle nord-est (donnant sur l'avenue du Grand Pot). Deux travées de baies supplémentaires viennent allonger l’élévation nord. La rôtisserie est agrandie au sud en 1960 suivant les plans de Gilbert Duranton, architecte. L’extension adopte la forme d’une abside polygonale et un large auvent en béton vient régner sur l’ensemble des élévations de la rôtisserie. Suite à un incendie, l’édifice connaît une dernière campagne de modifications en 1980. Le pignon, présent sur les élévations ouest donnant sur l’esplanade, est supprimé. A l’arrière, l’agrandissement construit par Charles Foray est exhaussé d’un étage et les façades sont modifiées (modification complète de la façade est et création d’un triplet de baies sur la façade nord) par les architectes Georges Noiray et Pierre Martinet. Une dernière campagne de transformations, concernant essentiellement l'intérieur de l'édifice, intervient en 2006 d'après des plans de l'architecte Henri Collange.
Aujourd’hui, l’ensemble est occupé par trois établissements différents. La brasserie Lille est installée dans la partie sud-ouest donnant sur l’esplanade, correspondant à l’ancienne rôtisserie. Le restaurant Les Voiles voisine avec la brasserie Lille au rez-de-chaussée de l’angle nord-ouest. L’hôtel l’Iroko occupe la partie nord-est et le premier étage de l’angle nord-ouest (au-dessus du restaurant Les Voiles).
Architecte à Aix-les-Bains (architecte de la Ville)