我决定采用层次推理模型，并在其上加一个文本分词器，只是想看看会发生什么。 在一个指令调优数据集（Alpaca）上进行了训练，惊讶地看到损失降到了~1.9。 现在仍然产生一些格式良好的垃圾，可能需要预训练，但如果它有效的话，这算是个大事...