Solange du nichts aufwändiges simulieren willst, schön die Finger von VC++ (und C++) lassen - zu kompliziert für einfache Zwecke.
Ich würde dir am ehsten eine simple Interpretersprache wie Python, Ruby oder ähnlich empfehlen, wobei Python davon wohl am populärsten ist. Die Rechenmittel sind fast trivial: +, -, *, /, ** -> pozentieren (x ** 1/n natürlich dann Wurzel, alternativ zu sqrt).
Ich denke nicht, dass du Tutorials/Bücher finden wirst, die dir nur das für mathematische Zwecke notwendige vermitteln wollen, aber Python ist ansich so eine einfache Sprache, dass jede Art Anleitung nicht verkehrt sein kann - so gibt es
ein Openbook von Galileo Computing (rel. ausführlich) und die bei Python beiliegende Methodendokumentation, in welcher du unter anderem alle wichtigen mathematische Funktionen und einige Konstanten in der math Library findest.
Darüber hinaus bietet Python auch eine integrierte GUI (Graphical User Interface -> Fenster) namens Tkinter, die zwar nicht so schön aussieht, aber auch simpel gehalten ist und vorallem Canvas, eine Library für Zeichnungen (etwa Graphen) unterstützt.
Persönlich habe ich die Erfahrung gemacht, dass es oftmals hilft mehrere Tutorials durchzuarbeiten, da natürlich jeder seine eigene Ansicht auf die Sprache hat und diese auch zu erklären versucht. Wenn dir die Ansicht nicht gefällt, verstehst du es nicht....
Und das eigentlich wichtigste: immer (sofern angeboten) Übungen machen! Lerning by doing, sonst hast du morgen alles wieder vergessen. Wenn es keine Übungen gibt, schreibe einfach irgendwas
simples, was mit dem Thema zu tun hat. Nicht übernehmen, nicht groß anfangen, es
wird scheitern.