Château la Tour de Bys historia kan spåras tillbaka till slutet av 1500-talet. Fram till 1876 kallades det för La Roque de By. Sedan 1999 ägs det av Marc Pages.