当前位置:25分类目录 » 站长资讯 » 资讯文章 » 站长新闻 » 文章详细 订阅RssFeed

去除对齐和偏见,多功能文本生成模型Dolphin Mixtral 1x22b(去掉偏见)

来源:网络 浏览:50次 时间:2024-05-23

5月23日 消息:Dolphin2.9.1Mixtral1x22b是由Cognitive Computations团队创建的一个多功能文本生成模型。

image.png

这个模型具备以下特点:

  • 多功能文本生成:它能够处理指令、对话和编码任务,具有广泛的应用能力。

  • 高性能:模型基于Dolphin-2.9-Mixtral-8x22b,拥有64k上下文的基础模型,经过全权重微调,使用16k序列长度,在8xH100GPU上耗时27小时完成。

  • SLERP提取技术:通过SLERP提取方法组合所有8个专家,而不完全转换为密集模型,保持原始模型的性能。

  • 初步代理能力:模型支持函数调用,具备初步的代理能力,能够处理更复杂的任务。

不受限制的模型:数据集经过过滤以去除对齐和偏见,模型设计为不受限制,具有高度符合性。这意味着在生成文本时,没有严格的限制或过滤机制,模型可能会遵循不道德的请求并生成相应的内容。

模型的设计理念是提供一个没有审查和道德限制的文本生成工具,但这种开放性也带来了一定的风险,特别是当用户提出不道德的请求时,模型可能会遵循这些请求。

模型地址:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b