Я еще порекомендую учебник Мороза - Кононовича. По сути тот же что упоминал
Рашпиль, но более новый и полный. А также учебник Клищенко тоже неплох.
Математика в астрономии еще используется в сферичке. Т.е. иногда приходится решать сферические треугольники. Об этом подробно как раз в Морозе и написано.
Про вычисление элементов орбит - там не сколько математика сколько физика. Формулы довольно простые с точки зрения мат. Законы Кеплера вообще ерунда, даже уточненные. Вот задачи трех тел и более будут сложнее. С точками Лагранжа и пр.пр.
че то это я загнул, умничаю в 12 ночи
еще советую почитать Сурдина, сборник олимпиадных задачек. Есть весьма интересные и довольно сложные экземпляры.