我決定採用層次推理模型，並在其上加一個文本分詞器，只是想看看會發生什麼。 在一個指令調優數據集（Alpaca）上進行了訓練，驚訝地看到損失降到了~1.9。 現在仍然產生一些格式良好的垃圾，可能需要預訓練，但如果它有效的話，這算是個大事...