Kommt ganz darauf an, wo deine Prioritäten liegen.
Ich habe das 4S und das Note, müsste ich eines weg geben, wäre es bei mir definitiv das 4S. Das Note ist deutlich flexibler was die Optik, die Konfiguration und den Einsatz angeht. Surfen und Videos machen auf dem Note wirklich Spaß und auch Chat/SMS ist um einiges komfortabler als auf die 4S dessen Bildschirm ich zwar als scharf aber einfach als viel zu klein empfinde. Telefonieren geht auch mit dem Note problemlos über komische Blicke muss man halt drüber stehen...
In dem Vergleich kann das 4S für mich nur verlieren, anders mag das bei Leuten aussehen, denen es sehr wichtig ist, dass das Gerät "In" ist oder die sehr viel telefonieren aber kaum surfen. Zum fast nur telefonieren würde ich das handlichere 4S (oder einen kleineren Androiden) nehmen.
Schau dir das Note einfach mal in einem Mediamarkt an und nehme es in die Hand, wer mit der Größe klar kommt, der ist von dem Gerät begeistert, aber jeder kommt halt nicht damit klar 
Das Xperia S kenne ich nicht, könnte aber ein guter Kompromiss dazwischen sein.