Overfitting e elefantes

Overfitting é quando um modelo de aprendizado de máquina se ajusta tão bem aos dados de treinamento, mas tão bem, que captura até o ruído e as variações irrelevantes.

Queremos treinar um modelo com sinal, e não com ruído. Com aumento do poder computacional, esse risco é cada vez mais presente.

Temos a ilusão de que o funciona muito bem, mas só nos dados de treinamento. Na hora do “vamos ver”, falha. Isso acontece porque o modelo se torna excessivamente específico para os exemplos de treinamento.

Sobre isso, vi uma frase excelente, do grande Von Neumann.

“Com quatro parâmetros posso ajustar um elefante. Com cinco, posso fazê-lo balançar sua tromba” — John Von Neumann

Um meme para fechar.

Originally published at https://ideiasesquecidas.com on June 17, 2024.