Nein, Vista hat kein Problem mit viel RAM.... weniger als XP in jedem Fall.
Ich geh davon aus du hast keine zwei identischen Riegel?
Stell mal den Speichertakt im BIOS runter... wenn er auf 400 steht setz ihn erstmal auf 333, dann auf 200.
Alternativ testest du erstmal die einzelnen Riegel (ok, der alte sollte ja ok sein) und baust jeweils nur einen davon ein.
Läuft er mit beiden einzeln jeweils sauber verstehen sich die Riegel nicht... dann kann Lösung 1 helfen.
Wenn auch die Reduzierung des Speichertaktes nicht hilft bleibt nur, 2 identische Module einzubauen.