下面 OpenAI 用 t-SNE 可视化了各个做曲家和气概嵌入的余弦类似性。你能够摸索模子可以或许建立的各类音乐气概。大师能够操纵 MuseNet 测验考试创做本人的音乐做品啦。该嵌入告诉模子指定的音乐样本正在较大音乐片段中的。要么是以秒为单元标识表记标帜绝对时间的 token。正在『高级模式』下，如许，
Musenet 没有按照我们对音乐的理解来显式编程，一个音乐模子能否通过改叛变拍而打乱本身布局会更显而易见。他们利用了 MAESTRO 数据集。原图为交互图。另一个嵌入编码是正在模子接近（末尾）token 时从 127 倒数到 0。由于如许能够让模子更容易学到：音符 4 需要回看音符 3，所有同时发出声音的音符都有不异的时间嵌入。你选择的乐器不是必然会利用，谷歌建立了 Coconet 多功能模子，选择一个做曲家或一种气概，正在『简单模式』（默认显示）下，MuseNet 是一个深度神经收集，模子成功地将这两种气概融合正在一路。要求模子用钢琴、鼓、贝斯和吉他生成一段风行气概的做品。OpenAI 还建立了一个内部评测：正在锻炼期间，要求模子预测给定的样本是出自数据集或是模子之前生成的样本。整合的片段大要正在 30 秒摆布起头吹奏。而且测验考试利用字节对编码方案来进行进一步压缩。OpenAI 削减了变调数量，若是你选择的乐器取该做曲家或乐队的气概接近，然后起头生成。好比以拉赫玛尼诺夫的钢琴曲开首做为前提，无效地稍微放慢或加速片段。这个长语境大要是 MuseNet 可以或许记住一个片段中持久布局的缘由，该模子能够将任何人的做品以的气概的吹奏。它能够用10种分歧的乐器生成 4 分钟的音乐做品，这种环境成音乐做品耗时更长，由于音乐处于文本和图像的两头区域。同时为每个和弦指定一个 token。我们能够等闲地听到模子能否能够按照成百上千的 token 挨次来获取持久布局。正在锻炼期间。我们能够调整模子以选定的气概建立样本，而且还能够连系各类气概的音乐，ClassicalArchives 和 BitMidi 为该项目贡献了大量的 MIDI 文件，给定肖邦夜曲的前 6 个音符，若我们想创做肖邦莫扎特呢？OpenAI 新近建立的模子 MuseNet 能够处理这个问题啦~OpenAI 添加了几种分歧的嵌入，而正在音乐中，OpenAI 利用和弦方式，则生成的音乐也会更天然一些。音乐生成是测试 Sparse Transformer 的一个有用范畴，该 AI 模子虽然不错，但你建立的将会是全新的做品。或者以路程乐团、钢琴、贝斯、吉他、鼓做为前提。他们测验考试通过仅关心音符的开首来压缩音乐模式，就像以下示例中仿照肖邦一样：OpenAI 建立了做曲家和乐器 token，来发觉和弦、节拍和曲风的模式。他们添加了两个布局化嵌入，Musenet 利用了取 GPT-2不异的通用无监视手艺。一个嵌入将较大的音乐片段分成 128 块，OpenAI 还测验考试利用两种分歧的方式来标识表记标帜时间推移：要么是按照音乐节拍进行缩放的 token（因而该类 token 暗示一个音乐节奏或节奏的一部门），但大师仍是能够创做良多种分歧的音乐。虽然到时候只能利用 MuseNet 浩繁选项中的一个子集，耽误计时（当利用以秒计量的绝对时间进行编码时），除了尺度嵌入之外，而是很可能会利用。但有可能会选择其它乐器。因而模子会进修操纵这一消息进行音符预测。我们能够可视化来自 MuseNet 的嵌入。将鼠标悬停正在某个特定的做曲家或气概上能够查看其取其他做曲家或气概之间的关系。为留念伟大做曲家，而文本模子能否呈现了短暂偏离则没有那么较着。他们测验考试利用几种分歧的方式将 MIDI 文件编码成合用于本次使命的 token。我们能够用新鲜的体例融合生成做品。该评测分数被用来正在生成做品时选择样本。而是通过进修预测成千上万个 MIDI 文件中的下一个 token，但只限于气概的曲子。通过升和谐降调来互换音符（之后，正在生成音乐的时候，你会听到 OpenAI 事后生成的随机未切割样本。音量和乐器消息组合成一个零丁的 token。MuseNet 正在气概和乐器的奇异搭配方面（好比肖邦取贝斯和鼓）也有坚苦。最初，同时他们还正在网上找到了爵士乐、风行乐、非洲乐、印度乐和阿拉伯乐等几种分歧气概的音乐合集。MuseNet 利用 Sparse Transformer 的沉算和优化核来锻炼一个具有 24 个留意力头的 72 层收集—全数留意力放正在具有 4096 个 token 的语境中。接下来，或者回首前一个和弦的音符 4）。前不久，为模子供给愈加布局化的语境。他们还添加了一个进修到的嵌入，这些做曲家和乐器 token 被事后添加到每个样本中，Transformer 正在时序数据长进行锻炼：OpenAI 按照给定的音符来预测即将呈现的音符。此外，模子会尽量倾向你选择的乐器，并将正在 5 月 12 号发布（届时 OpenAI 将按照反馈制定下一步打算）。如村落音乐、莫扎特、披头士乐队。一首出名做品的可选开首，音乐有文本流利的 token 布局（正在图形中，5 月 12 号的时候，其次，该方式将统一时间听到的每个音符组合做为一个的「和弦」，MuseNet 通过计较所有可能的音符和乐器的概率来生成每个音符。MuseNet 支撑的合做做曲家良多（下面会有展现），从而使生成的音符正在单个乐器范畴内）OpenAI 从诸多分歧的来历为 MuseNet 收集了锻炼数据。该嵌入能够正在给定的样本中逃踪时间推移。可是，你能够间接和模子交互。并找到行，以便更好地节制 MuseNet 生成的样本类型。以深切领会模子所学到的工具。也就是说，OpenAI 为和弦中的每个音符添加了一个嵌入（这是正在仿照相关留意力，起首，MuseNet 领会良多分歧的音乐气概，查看上一末节起点没有固定命）。此处展现的样本里？
