net: gem: Setup default phy address to -1