Revisão do livro “Deep Learning”

Yan Goodfellow é uma das maiores autoridades dentro do campo da Inteligência Artificial (IA). Engenheiro da computação, com graduação e mestrado pela Universidade de Stanford, foi orientado, durante seu período acadêmico, por ninguém menos que Andrew Ng.

Logo após formado, fez parte do time de pesquisa Google Brain, passou pela OpenAI e recentemente pediu demissão do cargo de Diretor de Pesquisa em IA na Apple, por não aceitar a política de trabalho presencial que a empresa estava reativando após a pandemia.

Conhecido como “pai das Generative Adversarial Networks (GANs)”, Ian Goodfellow é um dos autores desse livro, o qual é considerado um dos melhores livros teóricos de Deep Learning.

E, hoje, farei um review dessa obra — que, aliás, tem lugar de destaque na minha biblioteca pessoal.

O único livro realmente aprofundado em Deep Learning

O meu primeiro contato com esse livro foi há alguns anos, depois de acompanhar vários cientistas de dados que admirava indicando essa aclamada publicação.

LIVRO ESCRITO POR TRÊS EXPERTS NA ÁREA, DEEP LEARNING É O ÚNICO LIVRO REALMENTE COMPLETO SOBRE O ASSUNTO.

Elon Musk

Há cinco anos, mesmo sem possuir a experiência que tenho hoje, já identifiquei que a obra tornar-se-ia um clássico para todos que realmente aspiravam a aprofundar nesse admirável mundo das redes neurais profundas.

Tamanho foi o impacto causado pelo conteúdo que tive contato, que recentemente encomendei a sua versão física pelo site da MIT Press — e, dessa vez, fiz uma segunda leitura, mais cuidadosa, tomando notas de estudo melhores e absorvendo pontos que tinham passado batido.

Tal afirmação pode soar exagerada, mas se considerarmos que foram palavras do próprio Elon Musk, co-fundador do PayPal, co-chair da OpenAI e CEO da Tesla e Space, talvez ela devesse ser realmente considerada.

Yann LeCun, Diretor de pesquisa em IA no Facebook, também considerou esse livro como sendo o mais abrangente da atualidade, escrito pelos pesquisadores mais inovadores e disruptivos no campo de pesquisa considerado. Acertadamente, previu que, alguns anos após a sua publicação (novembro de 2016), tornar-se-ia referência mundial.

A aurora das redes neurais profundas

O sonho de se criar máquinas que pensam é tão antigo antigo quanto a própria humanidade. 

Independente do momento em que olhamos na linha do tempo da humanidade, é muito fácil identificar indícios desse desejo, dessa habilidade de imaginar o homem criando uma inteligência. 

As primeiras 12 páginas do livro são, na minha opinião, impactantes para qualquer cientista de dados. São páginas que o farão parar de pensar sobre a IA como algo externo e dissociado de você, passando a vê-la como um desejo inato que persegue a própria humanidade desde sempre.

E para defender seu ponto de vista, somos levados para o tempo dos gregos antigos, há cerca de 2.700 anos, para ver como esses já registravam, na sua literatura, determinadas figuras. Como exemplo, Talos, um autômato gigante de bronze forjado para proteger a ilha de Creta dos invasores, e Pandora, que seria uma mulher artificial construída e programada para punir os humanos pela descoberta do fogo.

Assim como os mitológicos Dédalo e Pigmaleão poderiam representar o papel do inventor, Talos, Galateia e Pandora seriam aquilo que classificaríamos como “vida artificial” — e dotada de uma certa inteligência artificial.

Com traços de narrativa que lembrariam uma epopeia, o capítulo introdutório mostra que o desejo de se construir máquinas que pensam remonta aos tempos da Grécia antiga. Ao conectar o imaginário dos gregos antigos com as mais avançadas pesquisas em machine learning, realmente nos sentindo como se estivéssemos celebrando uma ação grandiosa, no qual se exprime um mito coletivo.

A mudança de paradigma da Inteligência Artificial

Os autores também fazem uma ligação entre a criação do primeiro algoritmo para ser processado por uma máquina, com Ada Lovelace (1842), e natureza evolutiva dos problemas que tentamos resolver nos dias atuais.

Historicamente falando, a busca por computadores inteligentes visava a atender uma necessidade de se resolver problemas que eram considerados intelectualmente difíceis para nós, humanos — mas relativamente fáceis para as máquinas. Nesse início da Inteligência Artificial (IA), de fato tivemos muitos projetos bem-sucedidos, principalmente para lidar com problemas que podiam ser descritos por uma lista de regras formais e matemáticas — resolvendo exatamente o que a IA se propunha até então.

Quer ver uma ironia? 

A Inteligência Artificial surgiu para resolver os problemas que eram difíceis intelectualmente para nós seres humanos. Porém, o tempo mostrou que, na verdade, o grande desafio da IA era resolver exatamente os problemas que as pessoas consideram fáceis, que elas fazem intuitivamente, de forma automática (por exemplo, entender o que alguém está falando, reconhecer um carro em uma imagem, identificar faces de pessoas, diferenciar gatos de cachorros).

Todo o trabalho que estava sendo desenvolvido até algumas décadas atrás era baseado no hard-code knowledge. Ou seja, precisava-se gerar todo o conhecimento de mundo e inserir em uma base de dados, bem como escrever as regras formais dentro daquele domínio do problema.

Bem, isso funciona para o lançamento do ônibus espacial ou para escrever um algoritmo capaz de bater um campeão mundial de xadrez. No entanto, como eu vou codificar o senso comum, os sentidos humanos ou a criatividade?

Como escrever programas capazes de identificar objetos em uma foto, interpretar palavras ditas por alguém ou até mesmo escrever poemas?

O livro “Deep Learning” ataca exatamente esse domínio do problema: problemas que são intuitivos para os seres humanos, mas extremamente difíceis para as máquinas.

Não é um livro de códigos e projetos

A maior parte dos leitores brasileiros provavelmente está mais acostumada com livros práticos, com scripts em Python e projetos que vão sendo desenvolvidos ao longo dos capítulos. Pois bem, “Deep Learning” não faz parte desse gênero.

É um livro teórico, que percorre desde os princípios básicos de ativação de uma rede neural com múltiplas camadas – ensinando as regularizações que são possíveis com essa rede e a otimizar um modelo utilizando essa rede durante a fase de treinos –, bem como versa Autoencoders, modelos estruturados probabilísticos e Deep Generative Models.

Se você não possui uma base mínima em Cálculo, Álgebra Linear, Computação Numérica e Estatística, provavelmente você se assustará com a densidade de símbolos presentes em cada página (como as duas páginas ilustradas acima).

Neste momento você deve estar se perguntando se, mesmo assim, ou seja, mesmo não tendo background em matemática, se valeria a pena incluir a obra na sua lista de leitura. Afinal, esse livro é para você?

Quem deveria ler esse livro?

Deep Learning não é um livro simples de ler, mesmo para aqueles que possuem alguma experiência prática. No final do Capítulo 1, os autores dizem que, apesar de uma vasta gama de leitores poderem se beneficiar do conteúdo da publicação, eles têm duas audiências alvo bem definidas:

1. Estudantes universitários (graduação e pós-graduação) que estão aprendendo sobre machine learning e pesquisadores na área da Inteligência Artificial; e
2. Engenheiros de softwares e cientistas de dados que não possuem background sólido em machine learning e estatística, mas que estão dispostos a adquiri-lo rapidamente a fim de de usar Deep Learning nos seus produtos e plataformas.

Explicitamente, eles dizem que assumem a premissa de que todos os leitores vêm de um background de Ciências da Computação (ou similar). Ou seja, são leitores que entendem conceitos como programação, complexidade computacional, Teoria de Grafos e noções básicas de Cálculo.

De qualquer jeito, como praxe em livros mais teóricos, os autores reservaram a primeira parte do livro para introduzir conceitos básicos da matemática exigida (Álgebra Linear, Teoria da Probabilidade, Computação Numérica e introdução ao Machine Learning).

Conclusão

“Deep Learning”, de Ian Good fellow, Yoshua Bengio e Aaron Courville, é um livro clássico e único no mercado editorial. Porém, não é de fácil leitura para aqueles que não estão acostumados com obras mais densas em termos matemáticos.

Se você está ingressando agora no fantástico mundos das redes neurais profundas, eu recomendaria que você começasse com livros mais práticos, como este do Aurélien Géron.

No entanto, inevitavelmente você terá que desenvolver suas habilidades matemáticas para continuar a evolução na carreira de cientista de dados. Ou seja, é indicado que você comece, aos poucos, a inserir literaturas mais voltadas à teoria e menos ao código. Lembre-se da minha sugestão: 80% prática, 20% teoria.

Agora, se você já está trabalhando com Deep Learning há algum tempo, sabe usar muito bem bibliotecas (como TensorFlow, PyTorch, entre outras), eu recomendo fortemente que você comece a reforçar essa dimensão teórica e conceitual. Esse livro deve fazer parte da sua rotina de estudos.

Para quem quer se aventurar, lembre-se de que há uma versão digital completamente gratuita. Clique aqui e conheça agora mesmo essa bíblia da Aprendizagem Profunda.