fbpx
Sigmoidal
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
Sem Resultado
Ver Todos Resultados
  • English
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
Sem Resultado
Ver Todos Resultados
Sigmoidal
Sem Resultado
Ver Todos Resultados

Underfitting, Overfitting e o Princípio de Bias-Variance Trade-off

Entenda o motivo do seu modelo não ter um bom desempenho

Rafael Duarte por Rafael Duarte
novembro 21, 2023
em Machine Learning
0
17
COMPARTILHAMENTOS
573
VIEWS
Publicar no LinkedInCompartilhar no FacebookCompartilhar no Whatsapp

Em Machine Learning, alcançar o equilíbrio perfeito entre um modelo que é muito simples e um modelo que é muito complexo é uma tarefa desafiadora, mas fundamental.

Isso nos leva a dois conceitos críticos: underfitting e overfitting. Vamos explorar o que esses termos significam, como eles estão relacionados e como o princípio do Bias-Variance Tradeoff nos ajuda a navegar nesse desafio.

 

 

Underfitting

 

O underfitting ocorre quando um modelo simples demais para capturar a complexidade dos dados.

Isso resulta em um desempenho insuficiente, pois o modelo não consegue se ajustar adequadamente aos padrões presentes nos dados de treinamento.

Graficamente, um modelo em underfitting tende a apresentar um alto erro tanto nos dados de treinamento quanto nos dados de teste.

underfitting

Uma possível causa de underfitting é a escolha de um modelo muito simples, com poucos parâmetros ou uma capacidade limitada para modelar relações complexas.

Por exemplo, tentar ajustar um modelo linear a dados não lineares pode levar ao underfitting.

 

Overfitting

 

Por outro lado, o overfitting ocorre quando um modelo é excessivamente complexo e se ajusta muito bem aos dados de treinamento, mas não consegue generalizar bem para novos dados.

Isso resulta em um desempenho ruim nos dados de teste, pois o modelo “decorou” os exemplos de treinamento em vez de aprender padrões significativos.

Graficamente, um modelo em overfitting apresenta um erro baixo nos dados de treinamento, mas um erro alto nos dados de teste.

Overfitting

O overfitting pode ser causado por modelos excessivamente complexos, como árvores de decisão profundas ou redes neurais com muitas camadas e neurônios.

Também pode ocorrer quando o conjunto de treinamento é muito pequeno em relação à complexidade do modelo. No geral, é uma boa ideia considerar o tamanho do seu conjunto de dados ao tentar se livrar do overfitting.

 

Bias-Variance Trade-off

 

O princípio do Bias-Variance Trade-off é um conceito-chave para lidar com underfitting e overfitting.

Ele sugere que existe um equilíbrio entre o viés (bias) e a variância (variance) do modelo que afeta seu desempenho. Vamos entender esses termos:

 

– Viés (Bias): Refere-se à simplificação feita pelo modelo em relação à realidade. Modelos com alto viés tendem a fazer suposições simplificadoras sobre os dados e, assim, podem underfit (errar em subestimar) padrões complexos.

 

– Variância (Variance): Refere-se à sensibilidade do modelo a pequenas flutuações nos dados de treinamento. Modelos com alta variância podem capturar até mesmo o ruído nos dados e, assim, podem overfit (errar em superajustar) os dados de treinamento.

 

O objetivo é encontrar um equilíbrio entre bias e variance, onde o modelo seja capaz de capturar os padrões relevantes nos dados, mas ainda generalize bem para novos dados não vistos.

Isso envolve escolher modelos adequados em termos de complexidade e tamanho do conjunto de treinamento.

 

Encontrando o Equilíbrio

 

Encontrar o equilíbrio entre underfitting e overfitting é um desafio. Isso envolve a seleção adequada do modelo, a otimização de hiperparâmetros, o aumento do tamanho do conjunto de treinamento e a validação cruzada.

Uma técnica comum para encontrar o ponto ideal é usar a curva de aprendizado, que mostra como o erro de treinamento e o erro de validação mudam à medida que o tamanho do conjunto de treinamento aumenta.

 

Bias-Variance Trade-off

O objetivo é identificar o ponto onde os erros de treinamento e validação convergem, indicando que o modelo está aprendendo bem os padrões dos dados sem overfitting ou underfitting.

Encontrar o equilíbrio certo entre bias e variance é essencial para construir modelos que generalizem bem para novos dados e sejam eficazes na solução de problemas do mundo real.



Compartilhar1Compartilhar7Enviar
Post Anterior

Métricas de Avaliação em Modelos de Regressão em Machine Learning

Próximo Post

Métricas de Avaliação em Modelos de Classificação em Machine Learning

Rafael Duarte

Rafael Duarte

Relacionado Artigos

Por que o ChatGPT mente para você?
Artigos

Por que o ChatGPT mente para você?

por Carlos Melo
setembro 16, 2025
Curso de Pós-Graduação em Data Science
Data Science

Vale a pena fazer uma Pós-Graduação em Data Science?

por Carlos Melo
janeiro 20, 2025
Review do Livro “Mãos à obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow”
Livros

Review do Livro “Mãos à obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow”

janeiro 18, 2025
Carlos Melo e Sérgio Sacani – Ciência Sem Fim
Youtube

Carlos Melo e Sérgio Sacani – Ciência Sem Fim

por Carlos Melo
janeiro 16, 2025
Visão Computacional

Processamento de Nuvens de Pontos com Open3D e Python

por Carlos Melo
janeiro 2, 2025
Próximo Post
Como avaliar um modelo de Classificação

Métricas de Avaliação em Modelos de Classificação em Machine Learning

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Pós-Graduação em Data Science Pós-Graduação em Data Science Pós-Graduação em Data Science

Mais Populares

  • Introdução ao MediaPipe e Pose Estimation

    Introdução ao MediaPipe e Pose Estimation

    511 compartilhamentos
    Compartilhar 204 Tweet 128
  • Por que o ChatGPT mente para você?

    9 compartilhamentos
    Compartilhar 4 Tweet 2
  • ORB-SLAM 3: Tutorial Completo para Mapeamento 3D e Localização em Tempo Real

    424 compartilhamentos
    Compartilhar 170 Tweet 106
  • Geometria da Formação de Imagens: Matrizes, Transformações e Sistemas de Coordenadas

    397 compartilhamentos
    Compartilhar 159 Tweet 99
  • Processamento de Nuvens de Pontos com Open3D e Python

    56 compartilhamentos
    Compartilhar 22 Tweet 14
  • Em Alta
  • Comentários
  • Mais Recente
Como Tratar Dados Ausentes com Pandas

Como Tratar Dados Ausentes com Pandas

agosto 13, 2019
Como usar o DALL-E 2 para gerar imagens a partir de textos

Como usar o DALL-E 2 para gerar imagens a partir de textos

dezembro 25, 2022
Introdução ao MediaPipe e Pose Estimation

Introdução ao MediaPipe e Pose Estimation

julho 15, 2023

ORB-SLAM 3: Tutorial Completo para Mapeamento 3D e Localização em Tempo Real

abril 10, 2023
Como Analisar Ações da Bolsa com Python

Como Analisar Ações da Bolsa com Python

15
Setembro Amarelo: Análise do Suicídio no Brasil, com Data Science

Setembro Amarelo: Análise do Suicídio no Brasil, com Data Science

13
Como Aprender Data Science?

Como Aprender Data Science?

9
Qual o Cenário de Data Science no Brasil hoje?

Qual o Cenário de Data Science no Brasil hoje?

8
Por que o ChatGPT mente para você?

Por que o ChatGPT mente para você?

setembro 16, 2025
Green Card aprovado por habilidades extraordinárias em Data Science

Green Card aprovado por habilidades extraordinárias em Data Science

julho 14, 2025
O Que é Amostragem e Quantização no Processamento de Imagens

O Que é Amostragem e Quantização no Processamento de Imagens

junho 20, 2025
DeepSeek vazamento de dados de usuários

DeepSeek: Vazamento de dados expõe dados de usuários

fevereiro 1, 2025

Seguir

  • 💰 Você sabe o que faz e quanto ganha um cientista de dados?

Ser Cientista de Dados significa trabalhar com inteligência artificial, estatística e programação para transformar dados em decisões que movimentam negócios e impactam bilhões de pessoas.

É a função que dá vida a recomendações personalizadas, modelos preditivos e sistemas inteligentes que mudam a forma como empresas inovam.

E não é apenas fascinante...

💼💰 É também uma das carreiras mais bem remuneradas da área de tecnologia!

Se você quer uma carreira com futuro, relevância e excelente retorno financeiro, Data Science é o caminho certo!

#cientistadedados #datascience #python
  • Você colocaria fraldas do lado das cervejas no seu supermercado? 🤔

Parece estranho, mas foi exatamente essa descoberta que mudou as vendas do Walmart.

Os cientistas de dados da empresa analisaram milhões de transações com uma técnica de Data Mining que identifica padrões de compra e combinações inesperadas de produtos.

Então, usando algoritmos da Data Science, cruzaram dados de horário, perfil de cliente e itens comprados juntos.

Encontraram algo curioso: homens que passavam no mercado após as 18h para comprar fraldas, muitas vezes no caminho de casa, também compravam cerveja 🍺.

O Walmart testou a hipótese: colocou fraldas perto da seção de cervejas.

O resultado? As vendas de cerveja dispararam. 🚀

Esse é um exemplo clássico de como Data Science gera impacto direto no negócio.

Não é sobre algoritmos complexos apenas; é sobre transformar dados históricos em decisões inteligentes e lucrativas.

#datascience #cientistadedados #machinelearning
  • Conheça as formações da Academia Sigmoidal.

Nossos programas unem rigor acadêmico, prática aplicada e dupla certificação internacional, preparando você para atuar em Data Science, Visão Computacional e Inteligência Artificial com impacto real no mercado.

🤖 Pós-Graduação em Data Science: Forma Cientistas de Dados e Engenheiros de Machine Learning do zero, com Python, estatística e projetos práticos do mundo real.

👁️ Pós-Graduação em Visão Computacional: Especialize-se em processamento de imagens, Deep Learning, redes neurais e navegação autônoma de drones, tornando-se Engenheiro de Visão Computacional ou Engenheiro de Machine Learning.

📊 MBA em Inteligência Artificial: Voltado a profissionais de qualquer área, ensina a aplicar IA estrategicamente em negócios, usando automação, agentes de IA e IA generativa para inovação e competitividade.

Além do título de Especialista reconhecido pelo MEC, você ainda conquista uma Dupla Certificação Internacional com o STAR Research Institute (EUA).

💬 Interessado em dar o próximo passo para liderar no mercado de tecnologia? Me envie uma mensagem e eu te ajudo pessoalmente com a matrícula.

#DataScience #InteligenciaArtificial #VisaoComputacional
  • Treinar um modelo significa encontrar um bom conjunto de parâmetros. Esse conjunto é definido pela função objetivo, também chamada de função de perda. 👀

O gradient descent é o algoritmo que ajusta esses parâmetros passo a passo. Ele calcula a direção de maior inclinação da função de perda e move o modelo para baixo nessa curva. ⬇️

Se o parâmetro é o peso que multiplica X ou o bias que desloca a reta, ambos são atualizados. Cada iteração reduz o erro, aproximando o modelo da solução ótima.

A intuição é simples: sempre que a função de perda é maior, o gradiente aponta o caminho. O algoritmo segue esse caminho até que não haja mais descida possível. 🔄 

#inteligênciaartificial #datascience #machinelearning
  • Qual a melhor linguagem? PYTHON ou R?

Diretamente do túnel do tempo! Resgatei esse vídeo polêmico de 2021, quem lembra??

#DataScience #Python #R #Programação
  • 🎥 Como começar uma CARREIRA como CIENTISTA DE DADOS

Você já pensou em entrar na área que mais cresce e que paga os melhores salários no mundo da tecnologia?

Domingo você vai descobrir o que realmente faz um Cientista de Dados, quais são as habilidades essenciais e o passo a passo para dar os primeiros passos na carreira.

Eu vou te mostrar um mapa para você sair do zero e se preparar para trabalhar com Data Science em 2026.

📅 Domingo, 28 de setembro
🕖 20:00h (horário de Brasília)
🔗 Link nos Stories

Clique no link dos Stories e receba o link da aula ao vivo!

#datascience #machinelearning #cientistadedados
  • VISÃO COMPUTACIONAL está no centro de um dos avanços mais impressionantes da exploração espacial recente: o pouso autônomo da missão Chang’e-5 na Lua. 🚀🌑

Durante a descida, câmeras de alta resolução e sensores a laser capturavam continuamente o relevo lunar, enquanto algoritmos embarcados processavam as imagens em tempo real para identificar crateras e obstáculos que poderiam comprometer a missão.

Esses algoritmos aplicavam técnicas de detecção de bordas e segmentação, aproximando crateras por elipses e cruzando a análise visual com dados de altímetros. Assim, a IA conseguia selecionar regiões planas e seguras para o pouso, ajustando a trajetória da nave de forma autônoma. 

Esse processo foi indispensável, já que a distância entre Terra e Lua gera atraso de comunicação que inviabiliza controle humano direto em tempo real.

Esse caso ilustra como IA embarcada está deixando de ser apenas uma ferramenta de análise pós-missão para se tornar parte crítica das operações espaciais autônomas em tempo real — um passo essencial para missões em Marte, asteroides e no lado oculto da Lua.

(PS: Vi o Sérgio Sacani, do @spacetoday , postando isso primeiro.)

#visaocomputacional #machinelearning #datascience
  • 🔴Aprenda a MATEMÁTICA por Trás do MACHINE LEARNING

Você já se perguntou como as máquinas aprendem?🤖 

A resposta está na matemática que dá vida ao Machine Learning. E neste vídeo, você vai aprender os conceitos fundamentais que sustentam os algoritmos de inteligência artificial, de forma clara e acessível.

Mais do que apenas fórmulas, a ideia é mostrar como cada peça matemática se conecta para transformar dados em aprendizado. Se você deseja compreender a lógica por trás do funcionamento das máquinas, essa aula é um ótimo ponto de partida.

📅 Domingo, 21 de setembro
🕖 20:00h (horário de Brasília)
🔗 Link nos Stories

#machinelearning #datascience #cientistadedados
  • 🚀 As matrículas estão abertas!
Depois de quase 1 ano, a nova turma da Pós-Graduação em Data Science chegou.

NOVIDADE: agora com Dupla Certificação Internacional:
🇧🇷 Diploma de Especialista reconhecido pelo MEC
🇺🇸 Certificado do STAR Research Institute (EUA)

Aprenda Data Science na prática, domine Machine Learning e IA, e conquiste reconhecimento no Brasil e no mundo.

2025 pode ser o ano em que você dá o passo decisivo para se tornar Cientista de Dados.

🔗 Clique no link da bio e reserve sua vaga!
#datascience #cienciadedados #python
  • Por que o CHATGPT MENTE PARA VOCÊ? 🤔

Já percebeu que o ChatGPT às vezes responde com confiança... mas está errado? 

Isso acontece porque, assim como um aluno em prova, ele prefere chutar do que deixar em branco.
Essas respostas convincentes, mas erradas, são chamadas de alucinações.

E o que o pesquisadores da OpenAI sugerem, é que esse tipo de comportamento aparece porque os testes que treinam e avaliam o modelo premiam o chute e punem a incerteza.

Então, da próxima vez que ele ‘inventar’ algo, lembre-se: não é pessoal, ele apenas for treinado dessa maneira!
#inteligênciaartificial #chatgpt #datascience
  • ChatGPT: um "estagiário de LUXO" para aumentar sua produtividade na programação.

 #programacao #copiloto #produtividade #streamlit #dashboard #tecnologia #devlife
  • Da série “Foi a IA que me deu”, vamos relembrar minha viagem pra Tromsø, na Noruega, 500 km acima da linha do Círculo Polar Ártico. 🌍❄️

No vídeo de hoje, você vai aprender o que é um "fiorde"! 

Como você dormia sem saber o que era um fiorde?? 😅
  • Qual LINGUAGEM DE PROGRAMAÇÃO é usada na TESLA?

A Tesla utiliza diferentes linguagens de programação em cada fase do ciclo de desenvolvimento. 

O treinamento das redes neurais convolucionais (CNN) é feito em Python, aproveitando bibliotecas científicas e a rapidez de prototipagem. Isso permite testar arquiteturas de CNN com agilidade no ambiente de pesquisa.

Já a implementação embarcada ocorre em C++, garantindo alta performance. Como os modelos de CNN precisam responder em tempo real, o C++ assegura baixa latência para tarefas como detectar pedestres e interpretar placas de trânsito.

Com isso, a Tesla combina Python para pesquisa e C++ para produção, equilibrando inovação e velocidade em sistemas críticos de visão computacional.

#python #machinelearning #inteligenciaartificial
  • Aproveitando o domingo… vamos relaxar um pouco e falar sobre cinema 🎬

Em
  • Já se perguntou como conseguimos distinguir intuitivamente um gato de um cachorro, mesmo com tantas semelhanças físicas? 

Para nós, essa identificação é quase automática.

Na filosofia aristotélica, a inteligência é um atributo da alma: o mundo real é captado pelos sentidos, transformado em imagens na imaginação (fantasmas), e organizado em conceitos que nos permitem compreender a realidade de forma imediata.

Já as máquinas não têm alma nem intuição. Para aprender essa mesma tarefa, precisam decompor o problema em camadas hierárquicas: 

Nas primeiras, redes neurais profundas extraem padrões simples (bordas, texturas); nas intermediárias, formas mais abstratas (orelhas, olhos, focinho); e apenas nas finais esses elementos são combinados em conceitos de alto nível como “gato” ou “cachorro”.

Enquanto nós chegamos ao entendimento de forma direta, a inteligência artificial depende de sucessivas representações para “fazer sentido” do mundo. 🤖

#inteligênciaartificial #redesneurais #deepLearning #filosofia #tecnologia
  • INTELIGÊNCIA ARTIFICIAL se tornou a carreira mais promissora atualmente.

Este mercado, em constante crescimento global, oferece oportunidades de trabalho remoto, seja como freelancer ou contratado por empresas. 

Para quem busca uma carreira flexível e em expansão, a área de DATA SCIENCE / IA pode ser o caminho ideal. 

Afinal, você consgue me dizer quais outras áreas oferecem tamanha versatilidade e crescimento? 

#cienciadedados #python #inteligenciaartificial #mercadodetrabalho #tecnologia #oportunidades
Instagram Youtube LinkedIn Twitter
Sigmoidal

O melhor conteúdo técnico de Data Science, com projetos práticos e exemplos do mundo real.

Seguir no Instagram

Categorias

  • Aeroespacial
  • Artigos
  • Blog
  • Carreira
  • Cursos
  • Data Science
  • Deep Learning
  • Destaques
  • Entrevistas
  • IA Generativa
  • Livros
  • Machine Learning
  • Notícias
  • Python
  • Teoria
  • Tutoriais
  • Visão Computacional
  • Youtube

Navegar por Tags

camera calibration carreira chatgpt cientista de dados cnn computer vision Cursos dados desbalanceados data science data science na prática decision tree deep learning gpt-3 histograma IA generativa image formation inteligência artificial jupyter kaggle keras machine learning matplotlib mnist nft openai opencv overfitting pandas profissão python redes neurais redes neurais convolucionais regressão linear regressão logística salário scikit-learn seaborn sklearn tensorflow titanic tutorial visão computacional vídeo youtube árvore de decisão

© 2024 Sigmoidal - Aprenda Data Science, Visão Computacional e Python na prática.

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

Sem Resultado
Ver Todos Resultados
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
  • English

© 2024 Sigmoidal - Aprenda Data Science, Visão Computacional e Python na prática.