Моя интуиция подсказывает, что что-то подобное (бeyond simple transformer architecture) необходимо для достижения настоящего AGI/ASI. Хорошая новость заключается в том, что эти дополнительные слои могут быть относительно простыми в создании. Небольшая доля ресурсов (как вычислительных, так и человеческих), выделенных на гипермасштабирование, может привести нас к этому. Я вижу много инновационных идей, подобных этой, исходящих из Синосферы. Если гипермасштабирование не является путем к AGI/ASI (в отличие от умных новых идей и лучших архитектур), то преимущество США над Китаем может быть нулевым или даже отрицательным!

@brandonwilson Как я здесь указываю, серьезные люди, которые думают о мире, должны попытаться понять конкуренцию между США и Китаем, особенно в области ИИ и технологий.