P

PyTorch

P
PyTorch AI

trunk/45a8b7abd8d7db7dcb497f97e321bc32890b5664: vmap テンソーのインデクスの非厳格なエクスポートを修正する (#186894)

非厳格な輸出は、選択/スライスヘルパーを通じてgetitemのスカラーテンソールインデックスを書き換え、スカラーインデックスの経路はitemで0d整数テンソールインデックスを変換します。vmapでは、これらの論理スケーラーインデックスはBatchedTensor値で、item() がサポートされていないため、通常のテンソールインデクシングが操作を下げる前に輸出が失敗しました。スカラーインデックスを書き直すとき、インデックスは Functorch Batc...

P
PyTorch AI

トランク/80a802e49932d20c6b2539dc6cab6cc8d0dd04cc: C10_LOG_API_USAGE_ONCE (#192081) を通してログ・マルチデバイスの逆行

バックワードパス用の API 使用ログを 1 プロセスあたり 1 回追加し、 デバイスのセットで分割します。 そのため、デフォルトを変更する前に、 実用的なワークロードが多スレッドオートグラッドに依存する量を評価できます。このチェックは compute_dependencies のグラフの根を歩いて、同じパスで発射する 2 つの独立した信号を発信します。 torch.autograd.multidevice_backward 2 つの異なる非CPU デバイスが o...

P
PyTorch AI

trunk/14f9b39fbe12c65090a383a8e5d50e22cb2307c9: [c10d][nccl2] ブロックしない通信器の作成が完了 (#192273)

nccl2は、ncclInProgressの分割と縮小を即座に失敗として扱っており、NCCL 2.28のコミュニケーションヒントは、到達できないプレプロセッサブランチの後ろに隠されていた。親と帰還した子に1つのタイムアウト予算でアンケートを行い、 NVIDIAが要求する順序で2つの通信器を停止し、ブロックしない分割が失敗した後、新しいヒントを入手できるようにします。作成が失敗したため、親端は使えなくなってしまいました。