8月9日消息,在AI市場上NVIDIA占據了95%的份額,這不僅是他們的AI顯卡硬件性能強大,還得益于CUDA的軟件生態更完善,畢竟16年來積累了400多萬開發者,這是NVIDIA最大的護城河。
AMD在AI市場上想搶占更多份額,除了明年推出性能40PFlops(4億億次每秒)的MI400加速卡之外,還要在軟件生態上取得突破,這方面就得靠AMD的ROCm軟件了,而且還是開源開放的生態。
今年6月份AMD官宣了最新的ROCm 7軟件,專為性能、兼容性和靈活性而設計,在推理和訓練方面提供了重大增強,支持許多開箱即用的最新AI模型,并將AMD開放生態系統從云擴展到邊緣。
在日前的財報會議上,CEO蘇姿豐也提到了ROCm 7的諸多優點,強調在這一財季中AMD取得了重大進展,提高了ROCm7的性能、易用性并擴大了其采用范圍。
蘇姿豐表示,我們發布了 ROCm7,對整個軟件棧的每一層都進行了重大升級,與上一代相比,推理和訓練性能提升了3倍以上,并增加了對大規模訓練、分布式推理和低精度數據類型的支持。
為了加強與開發者的合作,AMD推出了 ROCm夜間構建版本,并擴大了即時計算基礎設施的訪問范圍,包括推出了AMD首個開發者云,該云提供預配置的容器,可即時訪問 AMD GPU。
在此前的發布會上,AMD還提供了ROCm7的實測結果,在Llama 3.1 70B模型上性能提升 3.2倍,Qwen2-72B上性能提升3.4倍,而DeepSeek R1性能提升3.8倍。
在訓練任務上,Llama 2 70B、Llama 3.1 8B、Qwen 1.5 7B模型上平均性能提升3倍。
今年內ROCm7還會不斷提升生態支持,加入對銳龍平臺筆記本/工作站的支持,完整支持Linux系統,還會正式加入對Windows系統的支持,可以說之前備受開發者吐槽的問題正在逐步解決。