根据《三国演义》的记载，刘备曾经到过越西县。在他征战四方、招兵买马的时候，曾经来到过这个地方，并且跟当地的官员商讨了一些事情。

在那里，他也结交了一些志同道合的人，为自己日后的事业打下了坚实的基础。因此，可以肯定地说，刘备曾经到过越西县，并且在那里留下了自己的足迹。