Después de tanto probar, se me "ocurrió" ponerle un potenciómetro en la entrada y voilá ! Como no necesito regular nada, dejé fija y en serie con la entrada de audio una resistencia de 100k y va de lujo, pero, no obstante, conectado al USB está bárbaro, 0 ruido, ahora, conectado a los 5V de la fuente, hay ruido, muy bajo, pero todavía molesto.