Hur kan man förhindra att int mer än en instanse av ett java program är igång, det ända sättet jag kan komma på är genom att använda serversockets, finns det något bättre sätt?

Jag tycker att använda ServerSockets är helt klart det bästa sättet att hålla reda på om man har en instans av programmet. Annars får man hålla på med temp filer osv och det är inte säkert alla gånger att de tas bort när man stänger ner programmet.

Hur tycker du man borde göra om socketen redan är upptagen av något annat program då? Ska man bara räkna uppåt om socketen ifråga är upptagen tills man hittar rätt program?

Du får väl ta en port som du vet inte kommer vara upptagen av något annat program.
Sedan är det ju bara fånga exception om den inte kan binda porten och göra vad du skall om porten är redan upptagen.

Man kan ju aldrig veta att en viss port inte är upptagen, visst chansen blir betydligt mindre efter standard portarna men man måste fortfarande kontrollera att programmet som håller porten är rätt program. Problemet är vad man ska göra om porten är upptagen av felprogram, enklast är det väl att bara räkna uppåt antar jag, om 4421 är upptagen så prövar vi 4422 istället osv.