Em primeiro lugar, não acho que existam muitas perguntas do tipo "É uma boa prática usar sempre o X no aprendizado de máquina" em que a resposta será definitiva. Sempre? Sempre sempre? Através de modelos paramétricos, não paramétricos, Bayesianos, Monte Carlo, ciências sociais, puramente matemáticos e milhões de modelos de recursos? Isso seria bom, não seria!

Porém, concretamente, aqui estão algumas maneiras em que: depende.

Algumas vezes, quando a normalização é boa:

1) Vários algoritmos, em particular SVMs vêm à mente, às vezes podem convergir muito mais rápido em dados normalizados (embora por que, precisamente, eu não me lembre).

2) Quando seu modelo é sensível à magnitude e as unidades de dois recursos diferentes são diferentes e arbitrárias. É como o caso que você sugere, em que algo obtém mais influência do que deveria.

Mas é claro - nem todos os algoritmos são sensíveis à magnitude da maneira que você sugere. Os coeficientes de regressão linear serão idênticos se você fizer ou não dimensionar seus dados, porque estão observando relações proporcionais entre eles.

Algumas vezes, quando a normalização é ruim:

1) Quando você deseja interpretar seus coeficientes e eles não se normalizam bem. A regressão em algo como o dinheiro fornece um resultado significativo. A regressão na proporção do máximo de dólares na amostra pode não.

2) Quando, na verdade, as unidades em seus recursos são significativas e a distância faz fazer diferença! De volta aos SVMs - se você está tentando encontrar um classificador de margem máxima, as unidades que entram nesse 'máximo' são importantes. O escalonamento de recursos para algoritmos de agrupamento pode alterar substancialmente o resultado. Imagine quatro clusters ao redor da origem, cada um em um quadrante diferente, todos bem dimensionados. Agora, imagine o eixo y sendo alongado até dez vezes o comprimento do eixo x. em vez de quatro pequenos grupos de quadrantes, você obterá a longa baguete amassada de dados cortada em quatro pedaços ao longo de seu comprimento! (E, a parte importante é que você pode preferir qualquer um desses!)

No resumo certamente insatisfatório, a resposta mais geral é que você precisa se perguntar seriamente o que faz sentido com os dados, e o modelo que você está usando.

Bem, acredito que um ponto de vista mais geométrico ajudará a decidir melhor se a normalização ajuda ou não. Imagine que seu problema de interesse tenha apenas dois recursos e variam de maneira diferente. Em seguida, geometricamente, os pontos de dados são espalhados e formam um elipsóide. No entanto, se as características forem normalizadas, elas ficarão mais concentradas e, com sorte, formarão um círculo unitário e tornar a covariância diagonal ou pelo menos próxima da diagonal. Essa é a ideia por trás de métodos como a normalização em lote das representações intermediárias de dados em redes neurais. Usando BN, a velocidade de convergência aumenta surpreendentemente (talvez 5-10 vezes), uma vez que o gradiente pode facilmente ajudar os gradientes a fazerem o que deveriam fazer para reduzir o erro.

No caso não normalizado, gradiente- algoritmos de otimização baseados terão muita dificuldade em mover os vetores de peso em direção a uma boa solução. No entanto, a superfície de custo para o caso normalizado é menos alongada e os métodos de otimização com base em gradiente farão muito melhor e divergem menos.

Este é certamente o caso para modelos lineares e especialmente aqueles cuja função de custo é uma medida de divergência da saída do modelo e o alvo (por exemplo, regressão linear com função de custo MSE), mas pode não ser necessariamente o caso nos não lineares. A normalização não prejudica os modelos não lineares; não fazer isso para modelos lineares vai doer.

A imagem abaixo pode ser [aproximadamente] vista como o exemplo de uma superfície de erro alongada na qual os métodos baseados em gradiente podem ter dificuldade em ajudar os vetores de peso vá em direção ao ótimo local.

Deixe-me contar a história de como aprendi a importância da normalização.

Eu estava tentando classificar dados de dígitos escritos à mão (é uma tarefa simples de classificar recursos extraídos de imagens de dígitos) com Redes Neurais como uma tarefa para um curso de Aprendizado de Máquina.
Assim como qualquer outra pessoa, comecei com uma biblioteca / ferramenta de Rede Neural, alimentei-a com os dados e comecei a brincar com os parâmetros. Tentei mudar o número de camadas, o número de neurônios e várias funções de ativação. Nenhum deles produziu os resultados esperados (precisão em torno de 0,9).

O culpado? O (s) fator (es) de escala na função de ativação = $ \ frac {s} {1 + e ^ {- s.x}} $ - 1. Se o parâmetro s não for definido, a função de ativação irá ativar todas as entradas ou anular todas as entradas em cada iteração. O que obviamente levou a valores inesperados para os parâmetros do modelo. Meu ponto é, não é fácil definir s quando a entrada x está variando em valores grandes.

Como algumas das outras respostas já apontaram, o "bom prática "para normalizar os dados ou não depende dos dados, modelo e aplicativo. Ao normalizar, você está, na verdade, jogando fora algumas informações sobre os dados, como os valores máximo e mínimo absolutos. Portanto, não existe uma regra prática.

Como outros disseram, a normalização nem sempre é aplicável; por exemplo. de um ponto de vista prático.

Para ser capaz de dimensionar ou normalizar recursos para um intervalo comum como [0,1] , você precisa saber o min / max (ou mean / stdev dependendo de qual método de escala você aplica) de cada recurso. IOW: você precisa ter todos os dados para todos os recursos antes de iniciar o treinamento.

Muitos problemas práticos de aprendizagem não fornecem todos os dados a priori, então você simplesmente não pode normalizar. Esses problemas exigem uma abordagem de aprendizado online.

No entanto, observe que alguns algoritmos online (em oposição ao aprendizado em lote) que aprendem com um exemplo por vez, suportam uma aproximação para escalonamento /normalização. Eles aprendem as escalas e as compensam, iterativamente. vowpal wabbit por exemplo, normaliza iterativamente para escala por padrão (a menos que você desabilite explicitamente a escala automática, forçando um certo algoritmo de otimização como ingênuo --sgd )

Escalar / normalizar muda ligeiramente o seu modelo. Na maioria das vezes, isso corresponde à aplicação de uma função afim. Então você tem $ Z = A_X + B_XXC_X $ onde $ X $ são seus "dados de entrada / originais" (uma linha para cada exemplo de treinamento, uma coluna para cada recurso). Então, $ A_X, B_X, C_X $ são matrizes que são normalmente funções de $ X $ . A matriz $ Z $ é o que você alimenta em seu algoritmo de ML.

Agora, suponha que você queira fazer uma previsão para alguma nova amostra. Mas você tem apenas $ X_ {new} $ e não $ Z_ {new} $ . Você deve aplicar a função $ Z_ {new} = A_X + B_XX_ {new} C_X $ . Ou seja, use o mesmo $ A_X, B_X, C_X $ do conjunto de dados de treinamento, em vez de reestimá-los. Isso faz com que essas matrizes tenham a mesma forma que outros parâmetros em seu modelo.

Embora geralmente sejam equivalentes em termos dos valores previstos que você obtém do conjunto de dados de treinamento, certamente não é em novos dados para previsões. Um exemplo simples, prever para $ 1 $ nova observação, padronizando isso (subtrair a média, dividir por sd) sempre retornará zero.

Para modelos de aprendizado de máquina que incluem coeficientes (por exemplo, regressão, regressão logística etc.), o principal motivo para normalizar é a estabilidade numérica.Matematicamente, se uma de suas colunas de previsão for multiplicada por 10 ^ 6, o coeficiente de regressão correspondente será multiplicado por 10 ^ {- 6} e os resultados serão os mesmos.

Computacionalmente, seus preditores são frequentemente transformados pelo algoritmo de aprendizagem (por exemplo, a matriz X de preditores em uma regressão torna-se X'X) e algumas dessas transformações podem resultar em perda de precisão numérica se X for muito grande ou muito pequeno.Se seus preditores estiverem na escala de 100, isso não importa.Se você estiver modelando grãos de areia, unidades astronômicas ou contagens de consulta de pesquisa, pode sim.

Eu estava tentando resolver o problema de regressão de crista usando descida de gradiente. Agora, sem normalização, defini algum tamanho de etapa apropriado e executei o código. Para ter certeza de que minha codificação estava livre de erros, codifiquei o mesmo objetivo no CVX também. Agora, o CVX levou apenas algumas iterações para convergir para um determinado valor ideal, mas eu executei meu código para o melhor tamanho de passo que pude encontrar em 10k iterações e estava perto do valor ideal de CVX, mas ainda não exato.

Depois de normalizar o conjunto de dados e alimentá-lo para meu código e CVX, fiquei surpreso ao ver que agora a convergência levou apenas 100 iterações e o valor ideal para o qual a descida de gradiente convergiu foi exatamente igual ao de CVX.
Além disso, a quantidade de "variância explicada" por modelo após a normalização foi maior em comparação com o original. Então, apenas a partir desse experimento ingênuo, percebi que, no que diz respeito ao problema de regressão, eu iria para a normalização dos dados. BTW, aqui a normalização implica subtrair pela média e dividir pelo desvio padrão.

Para me apoiar na regressão, consulte esta questão relevante e discussão sobre ela:
Ao conduzir a regressão múltipla, quando você deve centralize suas variáveis ​​de previsão & quando você deve padronizá-las?