とりえあず PlayableGraph.Evaluate 使ったら最初からすぐ再生されるようになった
Unity - Scripting API: Playables.PlayableGraph.Evaluate
var playableGraph = PlayableGraph.Create();
Animator ani = transform.GetComponent<Animator>();
var playableOutput = AnimationPlayableOutput.Create(playableGraph, "Animation", ani);
var clipPlayable = AnimationClipPlayable.Create(playableGraph, targetAnimationClip);
playableOutput.SetSourcePlayable(clipPlayable);
playableGraph.Evaluate(0); // ここ
playableGraph.Play();
発生条件よくわからん