Helaas was Van Gogh zo gespannen dat het samenwonen eindigde in een ruzie, waarna Vincent zijn oor afsneed. Kort daarna vertrok hij uit zijn Gele Huis. Hij liet zich opnemen in een psychiatrische inrichting. Na zijn verblijf daar, vertrok hij weer naar het noorden.