fbpx
Sigmoidal
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
Sem Resultado
Ver Todos Resultados
  • English
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
Sem Resultado
Ver Todos Resultados
Sigmoidal
Sem Resultado
Ver Todos Resultados

Underfitting, Overfitting e o Princípio de Bias-Variance Trade-off

Entenda o motivo do seu modelo não ter um bom desempenho

Rafael Duarte por Rafael Duarte
novembro 21, 2023
em Machine Learning
0
16
COMPARTILHAMENTOS
532
VIEWS
Publicar no LinkedInCompartilhar no FacebookCompartilhar no Whatsapp

Em Machine Learning, alcançar o equilíbrio perfeito entre um modelo que é muito simples e um modelo que é muito complexo é uma tarefa desafiadora, mas fundamental.

Isso nos leva a dois conceitos críticos: underfitting e overfitting. Vamos explorar o que esses termos significam, como eles estão relacionados e como o princípio do Bias-Variance Tradeoff nos ajuda a navegar nesse desafio.

 

 

Underfitting

 

O underfitting ocorre quando um modelo simples demais para capturar a complexidade dos dados.

Isso resulta em um desempenho insuficiente, pois o modelo não consegue se ajustar adequadamente aos padrões presentes nos dados de treinamento.

Graficamente, um modelo em underfitting tende a apresentar um alto erro tanto nos dados de treinamento quanto nos dados de teste.

underfitting

Uma possível causa de underfitting é a escolha de um modelo muito simples, com poucos parâmetros ou uma capacidade limitada para modelar relações complexas.

Por exemplo, tentar ajustar um modelo linear a dados não lineares pode levar ao underfitting.

 

Overfitting

 

Por outro lado, o overfitting ocorre quando um modelo é excessivamente complexo e se ajusta muito bem aos dados de treinamento, mas não consegue generalizar bem para novos dados.

Isso resulta em um desempenho ruim nos dados de teste, pois o modelo “decorou” os exemplos de treinamento em vez de aprender padrões significativos.

Graficamente, um modelo em overfitting apresenta um erro baixo nos dados de treinamento, mas um erro alto nos dados de teste.

Overfitting

O overfitting pode ser causado por modelos excessivamente complexos, como árvores de decisão profundas ou redes neurais com muitas camadas e neurônios.

Também pode ocorrer quando o conjunto de treinamento é muito pequeno em relação à complexidade do modelo. No geral, é uma boa ideia considerar o tamanho do seu conjunto de dados ao tentar se livrar do overfitting.

 

Bias-Variance Trade-off

 

O princípio do Bias-Variance Trade-off é um conceito-chave para lidar com underfitting e overfitting.

Ele sugere que existe um equilíbrio entre o viés (bias) e a variância (variance) do modelo que afeta seu desempenho. Vamos entender esses termos:

 

– Viés (Bias): Refere-se à simplificação feita pelo modelo em relação à realidade. Modelos com alto viés tendem a fazer suposições simplificadoras sobre os dados e, assim, podem underfit (errar em subestimar) padrões complexos.

 

– Variância (Variance): Refere-se à sensibilidade do modelo a pequenas flutuações nos dados de treinamento. Modelos com alta variância podem capturar até mesmo o ruído nos dados e, assim, podem overfit (errar em superajustar) os dados de treinamento.

 

O objetivo é encontrar um equilíbrio entre bias e variance, onde o modelo seja capaz de capturar os padrões relevantes nos dados, mas ainda generalize bem para novos dados não vistos.

Isso envolve escolher modelos adequados em termos de complexidade e tamanho do conjunto de treinamento.

 

Encontrando o Equilíbrio

 

Encontrar o equilíbrio entre underfitting e overfitting é um desafio. Isso envolve a seleção adequada do modelo, a otimização de hiperparâmetros, o aumento do tamanho do conjunto de treinamento e a validação cruzada.

Uma técnica comum para encontrar o ponto ideal é usar a curva de aprendizado, que mostra como o erro de treinamento e o erro de validação mudam à medida que o tamanho do conjunto de treinamento aumenta.

 

Bias-Variance Trade-off

O objetivo é identificar o ponto onde os erros de treinamento e validação convergem, indicando que o modelo está aprendendo bem os padrões dos dados sem overfitting ou underfitting.

Encontrar o equilíbrio certo entre bias e variance é essencial para construir modelos que generalizem bem para novos dados e sejam eficazes na solução de problemas do mundo real.



Compartilhar1Compartilhar6Enviar
Post Anterior

Métricas de Avaliação em Modelos de Regressão em Machine Learning

Próximo Post

Métricas de Avaliação em Modelos de Classificação em Machine Learning

Rafael Duarte

Rafael Duarte

Relacionado Artigos

Curso de Pós-Graduação em Data Science
Data Science

Vale a pena fazer uma Pós-Graduação em Data Science?

por Carlos Melo
janeiro 20, 2025
Review do Livro “Mãos à obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow”
Livros

Review do Livro “Mãos à obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow”

janeiro 18, 2025
Carlos Melo e Sérgio Sacani – Ciência Sem Fim
Youtube

Carlos Melo e Sérgio Sacani – Ciência Sem Fim

por Carlos Melo
janeiro 16, 2025
Visão Computacional

Processamento de Nuvens de Pontos com Open3D e Python

por Carlos Melo
janeiro 2, 2025
Minha Participação no Hipsters Ponto Tech: TensorFlow
Deep Learning

Minha Participação no Hipsters Ponto Tech: TensorFlow

por Carlos Melo
abril 10, 2024
Próximo Post
Como avaliar um modelo de Classificação

Métricas de Avaliação em Modelos de Classificação em Machine Learning

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Pós-Graduação em Data Science Pós-Graduação em Data Science Pós-Graduação em Data Science

Mais Populares

  • Introdução ao MediaPipe e Pose Estimation

    Introdução ao MediaPipe e Pose Estimation

    482 compartilhamentos
    Compartilhar 193 Tweet 121
  • ORB-SLAM 3: Tutorial Completo para Mapeamento 3D e Localização em Tempo Real

    405 compartilhamentos
    Compartilhar 162 Tweet 101
  • Processamento de Nuvens de Pontos com Open3D e Python

    43 compartilhamentos
    Compartilhar 17 Tweet 11
  • O Que é Amostragem e Quantização no Processamento de Imagens

    5 compartilhamentos
    Compartilhar 2 Tweet 1
  • Geometria da Formação de Imagens: Matrizes, Transformações e Sistemas de Coordenadas

    381 compartilhamentos
    Compartilhar 152 Tweet 95
  • Em Alta
  • Comentários
  • Mais Recente
Como Tratar Dados Ausentes com Pandas

Como Tratar Dados Ausentes com Pandas

agosto 13, 2019
Como usar o DALL-E 2 para gerar imagens a partir de textos

Como usar o DALL-E 2 para gerar imagens a partir de textos

dezembro 25, 2022
Introdução ao MediaPipe e Pose Estimation

Introdução ao MediaPipe e Pose Estimation

julho 15, 2023

ORB-SLAM 3: Tutorial Completo para Mapeamento 3D e Localização em Tempo Real

abril 10, 2023
Como Analisar Ações da Bolsa com Python

Como Analisar Ações da Bolsa com Python

15
Setembro Amarelo: Análise do Suicídio no Brasil, com Data Science

Setembro Amarelo: Análise do Suicídio no Brasil, com Data Science

13
Como Aprender Data Science?

Como Aprender Data Science?

9
Qual o Cenário de Data Science no Brasil hoje?

Qual o Cenário de Data Science no Brasil hoje?

8
O Que é Amostragem e Quantização no Processamento de Imagens

O Que é Amostragem e Quantização no Processamento de Imagens

junho 20, 2025
DeepSeek vazamento de dados de usuários

DeepSeek: Vazamento de dados expõe dados de usuários

fevereiro 1, 2025
DeepSeek R1 vs OpenAI o1 – Qual é o Melhor Modelo de IA

DeepSeek R1 vs OpenAI o1 – Qual é o Melhor Modelo de IA?

janeiro 25, 2025
Trump Anuncia Investimento de US$ 500 Bilhões em Infraestrutura de IA

Trump Anuncia Investimento de US$ 500 Bilhões em Infraestrutura de IA

janeiro 22, 2025

Seguir

  • 🎙️ Corte da minha conversa com o Thiago Nigro, no PrimoCast #224

Falamos sobre por que os dados são considerados o novo petróleo - para mim, dados são o novo bacon!

Expliquei como empresas que dominam a ciência de dados ganham vantagem real no mercado. Não por armazenarem mais dados, mas por saberem o que fazer com eles.

Também conversamos sobre as oportunidades para quem quer entrar na área de tecnologia. Data Science é uma das áreas mais democráticas que existem. Não importa sua idade, formação ou cidade. O que importa é a vontade de aprender.

Se você quiser ver o episódio completo, é só buscar por Primocast 224.

“O que diferencia uma organização de outra não é a capacidade de armazenamento de dados; é a capacidade de seu pessoal extrair conhecimento desses dados.”

#machinelearning #datascience #visãocomputacional #python
  • 📸 Palestra que realizei no palco principal da Campus Party #15, o maior evento de tecnologia da América Latina!

O tema que escolhi foi "Computação Espacial", onde destaquei as inovações no uso de visão computacional para reconstrução 3D e navegação autônoma.

Apresentei técnicas como Structure-from-Motion (SFM), uma técnica capaz de reconstruir cidades inteiras (como Roma) usando apenas fotos publicadas em redes sociais, e ORB-SLAM, usada por drones e robôs para mapeamento em tempo real.

#visãocomputacional #machinelearning #datascience #python
  • ⚠️❗ Não deem ideia para o Haddad! 

A França usou Inteligência Artificial para detectar mais de 20 mil piscinas não declaradas a partir de imagens aéreas.

Com modelos de Deep Learning, o governo identificou quem estava devendo imposto... e arrecadou mais de €10 milhões com isso.

Quer saber como foi feito? Veja no post completo no blog do Sigmoidal: https://sigmoidal.ai/como-a-franca-usou-inteligencia-artificial-para-detectar-20-mil-piscinas/

#datascience #deeplearning #computerVision #IA
  • Como aprender QUALQUER coisa rapidamente?

💡 Comece com projetos reais desde o primeiro dia.
📁 Crie um portfólio enquanto aprende. 
📢 E compartilhe! Poste, escreva, ensine. Mostre o que está fazendo. Documente a jornada, não o resultado.

Dois livros que mudaram meu jogo:
-> Ultra Aprendizado (Scott Young)
-> Uma Vida Intelectual (Sertillanges)

Aprenda em público. Evolua fazendo.

#ultralearning #estudos #carreira
  • Como eu usava VISÃO COMPUTACIONAL no Centro de Operações Espaciais, planejando missões de satélites em situações de desastres naturais.

A visão computacional é uma fronteira fascinante da tecnologia que transforma a forma como entendemos e respondemos a desastres e situações críticas. 

Neste vídeo, eu compartilho um pouco da minha experiência como Engenheiro de Missão de Satélite e especialista em Visão Computacional. 

#VisãoComputacional #DataScience #MachineLearning #Python
  • 🤔 Essa é a MELHOR linguagem de programação, afinal?

Coloque sua opinião nos comentários!

#python #datascience #machinelearning
  • 💘 A história de como conquistei minha esposa... com Python!

Lá em 2011, mandei a real:

“Eu programo em Python.”
O resto é história.
  • Para rotacionar uma matriz 2D em 90°, primeiro inverto a ordem das linhas (reverse). Depois, faço a transposição in-place. Isso troca matrix[i][j] com matrix[j][i], sem criar outra matriz. A complexidade segue sendo O(n²), mas o uso de memória se mantém O(1).

Esse padrão aparece com frequência em entrevistas. Entender bem reverse + transpose te prepara para várias variações em matrizes.

#machinelearning #visaocomputacional #leetcode
  • Na última aula de estrutura de dados, rodei um simulador de labirintos para ensinar como resolver problemas em grids e matrizes.

Mostrei na prática a diferença entre DFS e BFS. Enquanto a DFS usa stacks, a BFS utiliza a estrutura de fila (queue). Cada abordagem tem seu padrão de propagação e uso ideal.

#machinelearning #visaocomputacional #algoritmos
  • 🔴 Live #2 – Matrizes e Grids: Fundamentos e Algoritmos Essenciais

Na segunda aula da série de lives sobre Estruturas de Dados e Algoritmos, o foco será em Matrizes e Grids, estruturas fundamentais em problemas de caminho, busca e representação de dados espaciais.

📌 O que você vai ver:

Fundamentos de matrizes e grids em programação
Algoritmos de busca: DFS e BFS aplicados a grids
Resolução ao vivo de problemas do LeetCode

📅 Terça-feira, 01/07, às 22h no YouTube 
🎥 (link nos Stories)

#algoritmos #estruturasdedados #leetcode #datascience #machinelearning
  • 💡 Quer passar em entrevistas técnicas?
Veja essa estratégia para você estudar estruturas de dados em uma sequência lógica e intuitiva.
⠀
👨‍🏫 NEETCODE.io
⠀
🚀 Marque alguém que também está se preparando!

#EntrevistaTecnica #LeetCode #MachineLearning #Data Science
  • Live #1 – Arrays & Strings: Teoria e Prática para Entrevistas Técnicas

Segunda-feira eu irei começar uma série de lives sobre Estruturas de Dados e Algoritmos. 

No primeiro encontro, falarei sobre um dos tipos de problemas mais cobrados em entrevistas: Arrays e Strings.

Nesta aula, você vai entender a teoria por trás dessas estruturas, aprender os principais padrões de resolução de problemas e aplicar esse conhecimento em exercícios selecionados do LeetCode.

📅 Segunda-feira, 23/06, às 21h no YouTube

🎥 (link nos Stories)

#machinelearning #datascience #cienciadedados #visãocomputacional
  • 🤖 Robôs que escalam, nadam, voam e rastejam.

Acabei de ver o que a Gecko Robotics está fazendo — e é impressionante.
Eles usam robôs que escalam, rastejam, nadam e voam para coletar dados estruturais de ativos físicos como navios, refinarias e usinas de energia.

Depois, tudo isso entra numa plataforma de AI chamada Cantilever, que combina:

✅ Ontologias baseadas em princípios físicos
✅ Edge robotics + sensores fixos
✅ Modelos preditivos para manutenção e operação

É como se estivessem criando um Digital Twin confiável de infraestruturas críticas — com dados de verdade, coletados direto do mundo físico.

Ah, e agora alcançaram status de unicórnio 🦄:
$1.25B de valuation, com foco em defesa, energia e manufatura pesada.

#MachineLearning #Robótica #MLOps #visãocomputacional
  • 🚨 FALTAM 2 DIAS!
As inscrições para a nova Pós em Visão Computacional & Deep Learning encerram neste domingo, 8 de junho, às 23h59.

Essa é sua chance de dominar IA aplicada, com foco total em projetos, e conquistar oportunidades como Machine Learning Engineer ou Computer Vision Specialist, no Brasil ou no exterior.

🔗 Link na bio para garantir sua vaga com bônus e valor promocional!

#VisaoComputacional #DeepLearning
  • 🤔🤔🤔 verdade ou mentira??
  • 🚀 NOVA PÓS EM VISÃO COMPUTACIONAL!

Seja especialista em Visão Computacional e Deep Learning! 

✔️ 400h de conteúdo
✔️ Curso reconhecido pelo MEC
✔️ Foco em prática e projetos reais

💡 1 CURSO, 2 CARREIRAS
Atue como Machine Learning Engineer E Computer Vision Engineer! 

📅 Aula de lançamento: 1º de junho, 20h

📍 Link na bio. Ative o lembrete e participe!

#computervision #machinelearning #datascience
Instagram Youtube LinkedIn Twitter
Sigmoidal

O melhor conteúdo técnico de Data Science, com projetos práticos e exemplos do mundo real.

Seguir no Instagram

Categorias

  • Aeroespacial
  • Artigos
  • Blog
  • Carreira
  • Cursos
  • Data Science
  • Deep Learning
  • Destaques
  • Entrevistas
  • IA Generativa
  • Livros
  • Machine Learning
  • Notícias
  • Python
  • Teoria
  • Tutoriais
  • Visão Computacional
  • Youtube

Navegar por Tags

camera calibration carreira chatgpt cientista de dados cnn computer vision Cursos dados desbalanceados data science data science na prática decision tree deep learning gpt-3 histograma IA generativa image formation inteligência artificial jupyter kaggle keras machine learning matplotlib mnist nft openai opencv overfitting pandas profissão python redes neurais redes neurais convolucionais regressão linear regressão logística salário scikit-learn seaborn sklearn tensorflow titanic tutorial visão computacional vídeo youtube árvore de decisão

© 2024 Sigmoidal - Aprenda Data Science, Visão Computacional e Python na prática.

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

Sem Resultado
Ver Todos Resultados
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
  • English

© 2024 Sigmoidal - Aprenda Data Science, Visão Computacional e Python na prática.