Si te gusta la filosofía no veo por qué no tendría que ser una buena idea. Yo empecé con la filosofía después de terminar la ingeniería informática y, como imaginarás, en esa carrera tampoco había hecho demasiados comentarios de texto.
La carrera de física es una carrera difícil, por no hablar del doctorado, así que seguro que eres inteligente. No creo que tengas ningún problema. Además, nunca viene mal que haya filósofos con conocimientos científicos y científicos con conocimientos filosóficos.
No sé que textos filosóficos has leído ya, pero si no lo has hecho estaría bien leer alguna de las grandes obras que todo el mundo conoce: la República de Platón y algunos otros de sus diálogos, las Meditaciones metafísicas y el Discurso del método de Descartes, la Metafísica de Aristóteles y, también de Aristóteles, la Ética a Nicómaco, la Fundamentación para una metafísica de las costumbres, de Kant (estos dos últimos se leen en la asignatura de Ética).
Si no lo has hecho, tal vez te sea útil leer primero alguna historia de la filosofía. La de Russell es muy sencillita para empezar, y luego puedes pasar a alguna más completa, como la de Copleston (otras que están bien son la de Reale y Antiseri o la de Guillermo Fraile, que es la que se usa en historia de la filosofía antigua I). Tener al menos una de estas más completas te irá bien durante la carrera.
Espero haberte aconsejado bien.
