DBRX
DBRX és un model de llenguatge gran (LLM) de codi obert desenvolupat per l'equip de Mosaic ML a Databricks, publicat el 27 de març de 2024.[1][2][3] Es tracta d'una combinació de models de transformador, amb 132.000 milions de paràmetres en total. 36 mil milions de paràmetres (o 4 experts actius) estan actius per a cada testimoni.[4] El model llançat es presenta en una versió de model de base o en una variant ajustada per instruccions.[5]
DRBX supera altres models destacats de codi obert, com ara LLaMA 2 de Meta, Mixtral de Mistral AI i Grok de xAI i models de font propera com GPT-3.5 en diversos punts de referència que van des de la comprensió del llenguatge, la capacitat de programació i les matemàtiques.[6][7][8] A partir del 28 de març de 2024, això fa que DBRX sigui el model de codi obert més potent del món.
Va ser entrenat en 2,5 mesos en 3.072 Nvidia H100 connectats per 3,2 terabytes per segon d'ample de banda (InfiniBand), per un cost d'entrenament de 10 milions de dòlars.[9]
Referències[modifica]
- ↑ «Introducing DBRX: A New State-of-the-Art Open LLM» (en anglès americà). Databricks, 27-03-2024. [Consulta: 28 març 2024].
- ↑ «New Databricks open source LLM targets custom development | TechTarget» (en anglès). Business Analytics. [Consulta: 28 març 2024].
- ↑ Ghoshal, Anirban. «Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok» (en anglès). InfoWorld, 27-03-2024. [Consulta: 28 març 2024].
- ↑ «A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores» (en anglès). GIZMOCHINA, Mar 28, 2024.
- ↑ Wiggers, Kyle. «Databricks spent $10M on new DBRX generative AI model» (en anglès americà). TechCrunch, 27-03-2024. [Consulta: 29 març 2024].
- ↑ «A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores» (en anglès). GIZMOCHINA, Mar 28, 2024.
- ↑ «Databricks releases DBRX: open-source LLM that beats GPT-3.5 and Llama 2» (en anglès). Techzine Europe, 27-03-2024. [Consulta: 28 març 2024].
- ↑ «Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. - MK» (en anglès). 매일경제, 28-03-2024. [Consulta: 28 març 2024].
- ↑ «Introducing DBRX: A New State-of-the-Art Open LLM» (en anglès americà). Databricks, 27-03-2024. [Consulta: 28 març 2024].