fbpx
Sigmoidal
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
Sem Resultado
Ver Todos Resultados
  • English
  • Home
  • Cursos
  • Pós-Graduação
  • Blog
  • Sobre Mim
  • Contato
Sem Resultado
Ver Todos Resultados
Sigmoidal
Sem Resultado
Ver Todos Resultados

Como usar o Histograma para Data Science

Carlos Melo por Carlos Melo
julho 19, 2019
em Blog, Data Science
3
137
COMPARTILHAMENTOS
4.6k
VIEWS
Publicar no LinkedInCompartilhar no FacebookCompartilhar no Whatsapp

A visualização de dados é uma parte fundamental do Data Science, e deve estar presente no kit de qualquer cientista de dados que esteja querendo tirar insights valiosos de seus bits.

Um data scientist pode usar gráficos basicamente para duas finalidades distintas:

  • Para explorar os dados durante a fase da Análise Exploratória; e
  • Para comunicar os resultados aos stakeholders e decisores (decision-makers).

Mais do que saber construir modelos de Machine Learning e extrair previsões a partir de dados passados, você precisa melhorar cada vez mais sua habilidade de produzir visualizações úteis e que melhorem a qualidade do seu projeto.

Histograma Python Matplotlib
Histogramas são essenciais em qualquer área ou problema de Data Science.

Saber qual tipo de gráfico usar para cada situação vai fazer muita diferença, tanto para testar as hipóteses levantadas quanto transmitir aos outros aquilo que você descobriu.

Hoje vou trazer um dos principais gráficos usados em todas as fases de uma Análise de Dados, o HISTOGRAMA! Para ver como usar esse tipo de gráfico, vou aplicar o gráfico em cima da pesquisa anual de desenvolvedores do Stack Overflow com os resultados de 2018.

Acessar Código Fonte

Para ir acompanhar o código deste artigo e conseguir replicar exatamente os resultados, acesse o notebook com todo o código no repositório do Github clicando no botão acima.

Pesquisa de desenvolvedores do Stack Overflow

Todo ano, o site Stack Overflow realiza uma pesquisa com os desenvolvedores do site, capturando aspectos demográficos, linguagens preferidas e características pessoais das pessoas.

Stack Overflow e Data Science
Stack Overflow: Porque sem ele você não teria entregado seu TCC-Monografia 🙂

O Stack Overflow foi criado por Jeff Atwood e Joel Spolsky em 2008, e é referência absoluta quando se trata de programação, desenvolvimento e tecnologia da informação. Por meios dos seus fóruns, você encontra as melhores respostas para qualquer dúvida sobre seu código.

No ano de 2018, o survey recebeu dezenas de milhares respostas, o que foi considerada como maior pesquisa já feita com desenvolvedores na época. Todos os dados coletados estão disponíveis neste link e podem ser baixados.

Neste artigo, vou mostrar apenas como criar criar um Histograma em Python em cima de um Banco de Dados qualquer. Entretanto, se você se empolgar com esses dados, pode fazer uma análise mais profunda e publicar o resultado (que tal começar um projeto similar à análise do Desafio do Titanic?).

É característica de uma pessoa realmente inteligente ser movida pela estatística.

GEORGE BERNARD SHAW

Visualizando Dados em Data Science

Como é característico da linguagem Python, você sempre vai ter inúmeras opções de ferramentas para qualquer coisa que quiser fazer, algumas mais famosas e outras menos.

Da mesma maneira, para a visualização de dados também existe uma grande variedade de opções. Atualmente, a ferramenta mais usada pelos cientistas de dados é o matplotlib, que é simples e vai direto ao ponto.

Atualmente, a biblioteca matplotlib é a mais usada para visualização de dados em Python.

Quando você precisar de uma biblioteca mais nova, com mais estilos de visualização e gráficos mais bonitos (para apresentar resultados em um paper ou relatório para os Diretores da empresa, por exemplo, vale a pena conhecer também o seaborn.

Seaborn é construído em cima do próprio matplotlib, e te dá a possibilidade de produzir visualizações mais completas e agradáveis aos olhos. No nosso caso, vamos importar as duas bibliotecas 🙂

Analisando os dados do Stack Overflow

Na primeira etapa, vamos baixar os dados da survey realizada pelo Stack Overflow em csv, importar o arquivo em um DataFrame e visualizar as primeiras entradas.

# importar pacotes
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import urllib.request
import os
# URL com os dados da survey do Stack Overflow
DATA_URL = "https://s3.amazonaws.com/video.udacity-data.com/topher/2018/February/5a8cb654_survey-results-public/survey-results-public.csv"
def get_survey_data(data_url=DATA_URL):
    """
    Baixa os dados da survey do Stack Overflow.
    Parâmetros:
        data_url <string>: Endereço do arquivo csv com a survey do Stack Overflow
    Retorna:
        None
    """
    csv_file = data_url.split(os.sep)[-1]
    if not os.path.isfile(csv_file):
        urllib.request.urlretrieve(DATA_URL, 'survey-results-public.csv')
        print("[+] Arquivo baixado...")
    else:
        print("[+] O arquivo '{}' já existe na pasta...".format(csv_file))
# baixar os dados do Stack Overflow
get_survey_data()
# importar os dados do arquivo csv para um DataFrame no Pandas
df = pd.read_csv('survey-results-public.csv')
# verificar as primeiras entradas do DataFrame
df.head()

Como o arquivo tem 154 colunas e 51392 linhas de entrada, não é possível ver todas as informações na imagem abaixo, por isso recomendo (de novo) você clonar o notebook e rodar na sua própria máquina!

Data Science com dados do Stack Overflow em Python

Agora que temos um DataFrame com todas as informações, vamos escolher uma coluna ideal para ser plotada em formato de histograma e uma para usarmos o boxplot.

Como usar um Histograma?

Resumidamente, um histograma é um gráfico de distribuição de frequência, e que permite analisar visualmente como uma amostra/população está distribuída.

Como nosso cérebro humano tem dificuldade de processar grandes volumes de dadoss, uma das melhores abordagens quando você pega um dataset qualquer é plotar a distribuição das variáveis numéricas a fim de criar um conhecimento inicial.

Sem saber nada sobre a variável ‘Salary’, veja como só olhar o histograma facilita o trabalho.

# plotar o histograma do Salário dos desenvolvedores
df['Salary'].hist();

Como você viu aí em cima, para plotar o histograma de qualquer variável basta selecionar ela dentro do DataFrame e chamar o método hist() e ver seu gráfico aparecer na tela.

Histograma para Data Science (Python)

Só olhando o gráfico acima ja podemos inferir que há uma maior frequência de salário na faixa dos $50 mil dólares entre todos os desenvolvedores que responderam ao questionário.

Também vemos que o gráfico não é simétrico, pois a maior parte dos desenvolvedores tem seus salários concentrados na esquerda do gráfico. Isso significa que um desenvolvedor médio pode esperar seu salário entre 25 mil e 60 mil dólares aproximadamente.

Também é fácil ver que muitos poucos desenvolvedores tem salários acima de 100 mil Trumps.

Resumo

Quando estamos fazendo uma análise de dados, provavelmente vamos nos deparar com milhares de linhas e centenas de colunas. Infelizmente nosso cérebro não consegue entender aquelas letras e números.

Nós, seres humanos, conseguimos entender as coisas bem mais facilmente quando vemos uma imagem ou figura.

Quando você for começar a trabalhar no seu projeto de Data Science durante a etapa de análise de dados, recomendo você plotar o histograma das variáveis e analisar sua distribuição. Essa etapa simples vai criar uma consciência situacional que vai te ajudar muito.

Obviamente, apenas o histograma não basta, mas serve como um excelente começo para formular aquelas hipóteses iniciais 🙂

Acessar Código Fonte

E se você está começando na área, parabéns! Você está no caminho certo da profissão do futuro.  Conheça mais sobre a carreira de Cientista de Dados, uma das que tem mais demanda nesta década.

Ah, e para estar sempre por dentro e sabendo tudo do universo de Data Science, inscreva-se abaixo com seu email, e receba todo o material de altíssima qualidade no conforto da sua inbox!

Compartilhar10Compartilhar55Enviar
Post Anterior

Data Science: Investigando o naufrágio do Titanic [Pt. 1]

Próximo Post

O que faz um cientista de dados: tudo sobre esta nova profissão

Carlos Melo

Carlos Melo

Engenheiro de Visão Computacional graduado em Ciências Aeronáuticas pela Academia da Força Aérea (AFA) e Mestre em Engenharia Aeroespacial pelo Instituto Tecnológico de Aeronáutica (ITA).

Relacionado Artigos

Green Card aprovado por habilidades extraordinárias em Data Science
Blog

Green Card aprovado por habilidades extraordinárias em Data Science

por Carlos Melo
julho 14, 2025
O Que é Amostragem e Quantização no Processamento de Imagens
Artigos

O Que é Amostragem e Quantização no Processamento de Imagens

por Carlos Melo
junho 20, 2025
Curso de Pós-Graduação em Data Science
Data Science

Vale a pena fazer uma Pós-Graduação em Data Science?

por Carlos Melo
janeiro 20, 2025
Review do Livro “Mãos à obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow”
Livros

Review do Livro “Mãos à obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow”

janeiro 18, 2025
Carlos Melo e Sérgio Sacani – Ciência Sem Fim
Youtube

Carlos Melo e Sérgio Sacani – Ciência Sem Fim

por Carlos Melo
janeiro 16, 2025
Próximo Post
O que faz um cientista de dados: tudo sobre esta nova profissão

O que faz um cientista de dados: tudo sobre esta nova profissão

Comentários 3

  1. Daniel Tengnom says:
    5 anos atrás

    Achei esse conteúdo excelente. Foi muito útil pra mim!

    Responder
  2. matheus says:
    3 anos atrás

    ótimo conteudo! como todos da sigmodal. Tenho aprendido muito aqui. Obrigado, mestre!

    Responder
    • Carlos Melo Carlos Melo says:
      2 anos atrás

      Muito obrigado pelo comentário!

      Responder

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Pós-Graduação em Data Science Pós-Graduação em Data Science Pós-Graduação em Data Science

Mais Populares

  • Introdução ao MediaPipe e Pose Estimation

    Introdução ao MediaPipe e Pose Estimation

    489 compartilhamentos
    Compartilhar 196 Tweet 122
  • ORB-SLAM 3: Tutorial Completo para Mapeamento 3D e Localização em Tempo Real

    410 compartilhamentos
    Compartilhar 164 Tweet 103
  • O Que é Amostragem e Quantização no Processamento de Imagens

    10 compartilhamentos
    Compartilhar 4 Tweet 3
  • Geometria da Formação de Imagens: Matrizes, Transformações e Sistemas de Coordenadas

    385 compartilhamentos
    Compartilhar 154 Tweet 96
  • Processamento de Nuvens de Pontos com Open3D e Python

    45 compartilhamentos
    Compartilhar 18 Tweet 11
  • Em Alta
  • Comentários
  • Mais Recente
Como Tratar Dados Ausentes com Pandas

Como Tratar Dados Ausentes com Pandas

agosto 13, 2019
Como usar o DALL-E 2 para gerar imagens a partir de textos

Como usar o DALL-E 2 para gerar imagens a partir de textos

dezembro 25, 2022
Introdução ao MediaPipe e Pose Estimation

Introdução ao MediaPipe e Pose Estimation

julho 15, 2023

ORB-SLAM 3: Tutorial Completo para Mapeamento 3D e Localização em Tempo Real

abril 10, 2023
Como Analisar Ações da Bolsa com Python

Como Analisar Ações da Bolsa com Python

15
Setembro Amarelo: Análise do Suicídio no Brasil, com Data Science

Setembro Amarelo: Análise do Suicídio no Brasil, com Data Science

13
Como Aprender Data Science?

Como Aprender Data Science?

9
Qual o Cenário de Data Science no Brasil hoje?

Qual o Cenário de Data Science no Brasil hoje?

8
Green Card aprovado por habilidades extraordinárias em Data Science

Green Card aprovado por habilidades extraordinárias em Data Science

julho 14, 2025
O Que é Amostragem e Quantização no Processamento de Imagens

O Que é Amostragem e Quantização no Processamento de Imagens

junho 20, 2025
DeepSeek vazamento de dados de usuários

DeepSeek: Vazamento de dados expõe dados de usuários

fevereiro 1, 2025
DeepSeek R1 vs OpenAI o1 – Qual é o Melhor Modelo de IA

DeepSeek R1 vs OpenAI o1 – Qual é o Melhor Modelo de IA?

janeiro 25, 2025

Seguir

    Instagram Youtube LinkedIn Twitter
    Sigmoidal

    O melhor conteúdo técnico de Data Science, com projetos práticos e exemplos do mundo real.

    Seguir no Instagram

    Categorias

    • Aeroespacial
    • Artigos
    • Blog
    • Carreira
    • Cursos
    • Data Science
    • Deep Learning
    • Destaques
    • Entrevistas
    • IA Generativa
    • Livros
    • Machine Learning
    • Notícias
    • Python
    • Teoria
    • Tutoriais
    • Visão Computacional
    • Youtube

    Navegar por Tags

    camera calibration carreira chatgpt cientista de dados cnn computer vision Cursos dados desbalanceados data science data science na prática decision tree deep learning gpt-3 histograma IA generativa image formation inteligência artificial jupyter kaggle keras machine learning matplotlib mnist nft openai opencv overfitting pandas profissão python redes neurais redes neurais convolucionais regressão linear regressão logística salário scikit-learn seaborn sklearn tensorflow titanic tutorial visão computacional vídeo youtube árvore de decisão

    © 2024 Sigmoidal - Aprenda Data Science, Visão Computacional e Python na prática.

    Welcome Back!

    Login to your account below

    Forgotten Password?

    Retrieve your password

    Please enter your username or email address to reset your password.

    Log In

    Add New Playlist

    Sem Resultado
    Ver Todos Resultados
    • Home
    • Cursos
    • Pós-Graduação
    • Blog
    • Sobre Mim
    • Contato
    • English

    © 2024 Sigmoidal - Aprenda Data Science, Visão Computacional e Python na prática.