No seguinte entrevista, Bob McGrew, líder da equipe de pesquisa na OpenAI, conversa com sua equipe sobre a recém-lançada série de modelos o1 e o1 Mini. Eles compartilham insights empolgantes sobre o desenvolvimento, o funcionamento e as particularidades desses novos modelos.
Bob: O que exatamente é o o1?
Desenvolvedor: Com a nova série o1, lançamos uma linha de modelos que se diferenciam das versões anteriores, como, por exemplo, o GPT-4, em sua abordagem. O o1 é especificamente um chamado “modelo de raciocínio”, o que significa que ele pensa mais profundamente sobre uma pergunta antes de responder. O objetivo é fornecer respostas de maior qualidade. Atualmente, temos dois modelos: o o1 Preview, que oferece um primeiro olhar sobre a nova direção, e o o1 Mini, uma versão mais compacta e rápida.
Bob: Isso parece interessante! Mas o que vocês entendem por “raciocínio”?
Desenvolvedor: Uma maneira simples de explicar raciocínio é compará-lo a diferentes tipos de tarefas. Há perguntas para as quais se conhece a resposta imediatamente, como “Qual é a capital da Itália?” — Roma, não há necessidade de pensar muito. Em tarefas mais complexas, como escrever um plano de negócios ou resolver um quebra-cabeça, é necessário tempo para pensar. Aqui, trata-se de converter tempo em melhores resultados, e é exatamente isso que o o1 permite, através de um raciocínio mais profundo.
Bob: Há quanto tempo vocês estão trabalhando nesse modelo?
Desenvolvedor: Já faz um bom tempo. Originalmente, fomos muito inspirados pelos resultados do AlphaGo e nos dedicamos ao Deep Reinforcement Learning. No entanto, com o tempo, percebemos que a combinação de Reinforcement Learning com abordagens supervisionadas nos permitiria alcançar ainda mais. Houve muitos pequenos marcos, e finalmente, todos esses esforços levaram ao desenvolvimento do o1.
Bob: Houve um momento “eureca” especial durante esse processo?
Desenvolvedor: Ah, sim, definitivamente! Um dos momentos-chave foi quando treinamos o modelo com mais capacidade computacional e observamos pela primeira vez que ele não apenas gerava sequências de pensamento coerentes, mas realmente começou a formular cadeias complexas de raciocínio. Outro grande momento foi quando descobrimos que o modelo podia, através de Reinforcement Learning, desenvolver e refinar suas próprias cadeias de pensamento, ao invés de se basear apenas nos raciocínios humanos predefinidos. Esse foi um verdadeiro ponto de virada.
Bob: Imagino que vocês também enfrentaram algumas dificuldades pelo caminho. Quais foram os maiores desafios?
Desenvolvedor: Treinar grandes modelos é incrivelmente desafiador. Existem inúmeros fatores que podem dar errado, e parece que estamos constantemente tentando manter os modelos no equilíbrio delicado entre sucesso e falha. Imagine pilotar um foguete em direção à lua: um pequeno ângulo incorreto, e você erra o alvo. É algo parecido aqui — encontrar o equilíbrio certo é extremamente difícil.
Bob: Parece que exige muita paciência e trabalho árduo. Houve testes específicos com os quais vocês desafiaram os modelos?
Desenvolvedor: Sim, eu costumava perguntar repetidamente “Quantas horas há em um ano?”. Parece simples, mas modelos mais antigos como o GPT-3 muitas vezes falhavam nessa questão. O o1 finalmente dominou esse tipo de pergunta após um ano de trabalho intenso. Eu quase gostaria de ter simplesmente codificado a resposta manualmente!
Bob: Como vocês utilizam o modelo no dia a dia?
Desenvolvedor: Eu o uso muito para programar. Com o o1, posso me concentrar na definição dos problemas, em vez de escrever o código eu mesmo. Também ajuda bastante no processo de depuração. Eu dou a ele a mensagem de erro, e ele sugere imediatamente abordagens sensatas sobre o que tentar a seguir.
Desenvolvedor: Para mim, ele é um excelente parceiro para brainstorming. Ajuda a estruturar ideias pouco claras e a desenvolver diferentes abordagens para a solução.
Bob: Vocês também desenvolveram o o1 Mini. Qual foi a motivação por trás disso?
Desenvolvedor: O o1 Mini foi criado para levar a filosofia do o1 a um público mais amplo. É muito mais econômico e rápido. Embora não possua todo o escopo de conhecimento do o1 Preview, ele mantém o foco em um raciocínio forte. O objetivo era criar uma solução inteligente e acessível que ainda oferecesse muitos dos pontos fortes do modelo maior.
Bob: Vocês falaram bastante sobre desafios técnicos. O que os motiva a continuar?
Desenvolvedor: Para mim, é incrivelmente fascinante ver como a inteligência se expressa em diferentes formas. Com o o1, estamos criando a base para modelos que podem pensar por muito mais tempo e de maneira mais profunda sobre problemas — não apenas minutos ou horas, mas talvez algum dia meses ou anos. Isso é uma perspectiva emocionante para mim.
Desenvolvedor: Eu adoro quando a tecnologia melhora a vida das pessoas. Se nossos modelos realmente puderem resolver problemas práticos através do raciocínio, então alcançamos algo grandioso.
Bob: Eu sinto a paixão em cada um de vocês. Há algo mais que gostariam de dizer aos ouvintes?
Desenvolvedor: Cada um de nós colocou muito coração nesse projeto. Mesmo que estejamos falando sobre algoritmos e hardware, no final, são sempre as pessoas e a colaboração que possibilitam essas inovações. Isso é algo que nunca devemos esquecer.
Bob: Uma ótima conclusão. Muito obrigado por terem dedicado seu tempo e parabéns pelo lançamento do o1!
Desenvolvedor: Obrigado, Bob!
A entrevista completa com a equipe de desenvolvimento está disponível em inglês no YouTube através do seguinte link: Entrevista sobre a nova linha de modelos o1.