O que aconteceu
O cofundador da Fireworks AI, Chenyu Zhao, argumentou na conferência Slush, em Helsinque, que a maioria das empresas pode usar modelos de pesos abertos em vez de pagar por sistemas de fronteira, segundo o TechCrunch. A conversa no palco aconteceu no dia em que a Anthropic abriu capital naquela que foi descrita como a maior IPO já registrada. A Fireworks hospeda modelos abertos para outras empresas e as ajuda a personalizá-los com seus próprios dados.
Zhao disse que os modelos abertos hoje ficam, no máximo, seis meses atrás da fronteira, e provavelmente mais perto de três. Na visão dele, as empresas devem considerar a troca quando chegarem a 10.000 a 100.000 usuários e gastarem de $10,000 a $100,000 por mês em tokens. Ele espera que modelos de fronteira e modelos abertos coexistam, com ferramentas de roteamento enviando tarefas mais simples para sistemas mais baratos e compradores avaliando o custo por tarefa, e não por token.
Zhao também abordou duas violações de segurança divulgadas pela Fireworks neste outono: uma expôs chaves de API e tokens de algumas contas, e outra atingiu dados de clientes, como registros de cobrança, por meio de seu provedor de nuvem. A Notion se desconectou depois que transcrições de menos de 1% de seus workspaces foram expostas. Zhao afirmou que os invasores buscavam principalmente chaves para revender tokens, que a Notion usava um serviço em lote que armazena dados em repouso e que a promessa de inferência com retenção zero parece ter sido preservada.
Contexto
Investidores avaliaram a Fireworks em $17.5 billion no verão, e a empresa estaria em conversas iniciais para uma nova rodada, assunto que Zhao se recusou a comentar. As rivais Together AI e Baseten anunciaram grandes rodadas nos últimos meses, e a Palo Alto Networks concordou em comprar a Applied Compute, startup com um ano de existência fundada por ex-pesquisadores da OpenAI, por $4.5 billion em ações.
O briefing
A semana em tecnologia, em um só e-mail.
As reportagens que valem o seu tempo, toda semana. Cancele quando quiser.
