Compartilhe esta publicação
kamelo #179 | origens por trás do chatGPT
o chatGPT surpreendeu não só o mercado, mas até o time da OpenAI ficou impressionado com a velocidade que as pessoas absorveram o potencial de criação de textos dessa plataforma!
👋. olá, Luiz aqui! você é bem-vinda(o) a mais uma edição da kamelo, newsletter de produção independente onde trato de assuntos relevantes para quem está criando ou desenvolvendo startups! se é sua primeira vez por aqui, te convido a assinar e receber as edições futuras no seu e-mail ou no app do substack 🤗
ah! meu podcast, o papo de kamelo, está disponível nas principais plataformas de áudio.
inteligências artificiais popularizadas
pela primeira vez o termo “inteligência artificial” conseguiu furar a bolha da comunidade de tecnologia, se tornando parte da discussão de profissionais das mais diversas áreas. o chatGPT é um dos motores dessa discussão, mas a capacidade de uma máquina expressas suas opiniões sobre tudo não é algo que surgiu da noite para o dia.
DIRETO AO PONTO
vamos voltar aos anos 80 🕺
as redes neurais são tentativas de replicar (com uso de tecnologia) o comportamento dos nossos neurônios na hora de processar informações e criar novos conhecimentos, mas como são definidas as redes neurais?
redes neurais são sistemas de computação com nós interconectados que funcionam como os neurônios do cérebro humano. usando algoritmos, elas podem reconhecer padrões escondidos e correlações em dados brutos, agrupá-los e classificá-los, e – com o tempo – aprender e melhorar continuamente (sas)
nos anos 80 surgiram as redes neurais recorrentes que conseguiam identificar palavras de mesmo significado a partir de uma grande base de textos fornecidos à máquina. em 97 Sepp Hochreiter e Jürgen Schmidhuber desenvolveram as redes LSTM (long short-term memory) que deu uma melhor capacidade de armazenamento (e reuso) dos dados fornecidos à máquina.
um salto para 2017!
um time de pesquisadoras(es) da Google inventaram os transformers, um novo tipo de rede neural que conseguia rastrear não só palavras, mas termos completos, criando um novo nível de aprendizado de máquina, onde termos com mesmas palavras, mas significado diferente eram entendidos de formas diferentes.
ainda estamos falando de uma interpretação mecânica a partir de um volume controlado de dados, as máquinas até então eram muito boas em categorizar e catalogar informações a partir de um conjunto de regras pré-estabelecidas.
está gostando dessa edição? a kamelo está crescendo rápido pelo compartilhamento das(os) nossas(os) assinantes. que me ajudar a falar para mais pessoas? aproveita e compartilha nos seus grupos e redes sociais:
de 2018 a 2019…
os primeiros modelos de linguagem lançados pela OpenAI (o GPT e o GPT-2) foram responsáveis por uma grande mudança e novas discussões importantes não mais sobre a categorização de dados, mas a criação de novos dados a partir de novas bases.
GPT significa generative pre-trained transformer… ou seja, é o transformer criado em 2017 aplicado a uma base de escopo aberto de informações, não se limitando aos dados fornecidos para análise das máquinas.
o GPT foi o primeiro passo para o que entendemos hoje como aprendizado de máquina a partir dos princípios de funcionamento dos neurônios, ou seja, usando dados existentes para criar novos dados frutos de combinações únicas. por outro lado, sem controle dos dados fornecidos há um grande risco sobre a confiabilidade do dado gerado pela máquina… o sucesso dos cases anteriores vinham exatamente dessa curadoria sobre o que era imputado.
agora em 2020…
com o lançamento do GPT-3, a primeira versão a entregar um texto com linguagem 100% natural, replicando a forma que os humanos se expressam, começamos a estabelecer uma relação com uma máquina que conseguia emular opiniões a partir de uma busca aberta na rede.
o GPT-3 não trouxe nenhuma revolução tecnológica, ele apenas potencializou o que eram feito nas versões anteriores, enquanto o GPT-2 usava um conjunto de 1,5 bilhão de parâmetros de análise o GPT-3 tinha 175 bilhões de parâmetros… um salto surpreendente.
o grande problema surgiu quando a OpenAI percebeu que o GPT-3 não filtrava as desinformações e toda sorte de preconceitos espalhados pela rede, tornando isso tudo parte de uma grande verdade na hora de combinar os dados e construir suas informações.
já estamos em 2022…
na tentativa de reduzir o dano causado pelas informações fornecidas pelo GPt-3, a OpenAI adotou um processo de aprendizado por reforço, treinada pelo modelo de preferências dos testadores humanos… dai surgiu o instructGPT, versão menos idiota do GPT-3 por manter um melhor alinhamento com o perfil dos usuários… se o usuário fosse tóxico, a Ia também seria.
treinar bem uma IA começou a se tornar caro demais, o que dificultou demais o surgimento de estruturas que pudessem competir com os grandes laboratórios, como o OpenAI… era difícil até criar soluções sobre o GPT-3 pelo alto custo computacional para a manipulação dos dados.
na tentativa de fazer um barulho de concorrência a Meta lançou um modelos de linguagem aberta, o OPT, logo depois Hugging Face lançou um consórcio com 1000 pesquisadores voluntários para construir e lançar o Bloom.
finalmente o chatGPT
até o time da OpenAI se impressionou com a forma que o chatGPT vou recebido e absorvido pelo mercado. na primeira demonstração dessa versão incremental ao instructGPT, o chatGPT trouxe como complemento das estratégias de aprendizado os feedbacks dos testadores, validando ou não a nova informação gerada pela máquina.
dessa forma o chatGPT criou uma espécie de jogo onde podemos conversar com uma máquina que produz novas informações e nos deixa decidir se o que foi apresentado faz sentido ou não… e se não fizer, o que deveria ser considerado para uma respostas pertinente.
tenho dedicado uma média de 10 horas por semana entre pesquisas, criação e customização de conteúdos para a kamelo. se você quiser apoiar esse meu projeto, pode fazer isso me pagando um cafezinho 🤗
