Grundsätzliches:
Je kleiner der Sensor, desto größer die Tiefenschärfe - je kleiner der Senso, desto schwieriger kann man ein Objekt freistellen.
- hier mach der Unterschied etwa eine halbe Blende aus. Deutlicher ist der Unterschied zum Vollformatsensor/KB-Film.
In der Praxis wist Du hier keinen Unterschied merken
Kleinere Sensoren haben prinzipbedingt ein größeres Rauschen. Mit der ersten Generation (E1, E300) hatte da Nikon auch noch ein problem, ab 400-800 ISO war deutliches Farbrauschen, diese Problem existiert bei der 510 nicht mehr.
Was sie 510 hat, was die D80 nicht hat: ImageStabilizer und Ultraschallsensorreinigung.
Ich würde die Oly empfehlen (aber ich bin als Oly-Besitzer natürlich erblich vorbelastet

). Gute Kameras sind jedenfalls beide