StorageTalks

storagetalks @ telegram, 882 members, 702 posts since 2016

Полезные материалы про системы хранения данных NetApp, немного о конкурентах и просто интересные ссылки.
🚮 🔃 💽 💾 🍖 🔃 🏆 & 😌 🖇

С вопросами к @alikulov

Обсуждения в чате: t.me/storagediscussions

Филиал в вебе: storagetalks.net

Posts by tag «AI»:

storagetalks, September 24, 16:57

​​Очередной TR на тему AI. NVA-1138-DESIGN. NetApp ONTAP AI with Mellanox Spectrum Switches. Есть анлогичные документы с коммутаторами от Cisco, а также серверами DGX-1 и DGX-2 от nvidia.

#nvidia #ONTAP #AI #ML #DL #AFF

www.netapp.com/us/media/nva-1138-design.pdf

storagetalks, September 16, 19:01

Пара свежих TR:

TR-4798. AI at Scale with Trident and Kubernetes. Execute AI Workloads at Scale with Trident and Kubernetes.

Про автоматизацию развёртывания вычислительного кластера Kubernetes на GPU поверх NetApp AFF, Nvidia DGX, Cisco Nexus.

“In today’s digital economy, artificial intelligence (AI) is becoming critical to business success.As organizations increase their use of AI, they face two major challenges: data availability and workload scalability. This document demonstrates how you canovercome these challenges by using Kubernetes as a platform toexecuteAI workloads and by usingNetApp®Trident to provide seamless access to persistent data across nodes and regions. We also walk through the setup ofa Kubernetesand Trident environment for AI and provideexamplesand demonstrations of Kubernetes-based AI jobs.”

#TR #AI #nvidia #Trident #Kubernetes

www.netapp.com/us/media/tr-4798.pdf

TR-4796. StorageGRID Caching with Varnish

Про использование Varnish Сache для ускорения S3 запросов к StorageGRID. В TR есть результаты тестов производительности с кэшированием и без. А Varnish Cache, кстати, бесплатный и с открытым исходным кодом.

#S3

www.netapp.com/us/media/tr-4796.pdf

Download tr-4798.pdf 0.42 MB

storagetalks, March 19, 11:43

​​Немного обновлений по решениям для ML/AI.

Обновился документ NetApp Verified Architecture — NetApp ONTAP AI, Powered by NVIDIA. Scalable AI Infrastructure: Designing for Real-World Deep Learning Use Cases. Это документ про дизайн решения NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Из того, что заметил сразу, в этой версии документа AFF A800 тестировали уже с 7 системами NVIDIA DGX-1. То что A800 выдержит нагрузку более 4 DGX-1 указывалоссь и ранее, но не было соответствующих тестов. С ONTAP AI используется подход, который применяется к FlexPod. Можно использовать и младшие модели AFF, если нет необходимости в производительности A800.

Есть и второй документ, в котром подробно описано развёртывние решения ONTAP AI.

И в скором времени должны появиться результаты тетсирования NetApp AFF c NVIDIA DGX-2.

#nvidia #ONTAP #AI #ML #DL #Cisco #AFF

www.netapp.com/us/media/nva-1121-design.pdf

www.netapp.com/us/media/nva-1121-deploy.pdf

В продолжение темы, о том как за 20 минут развернуть решение ONTAP AI, включая сеть, СХД и серверы, с помощью Ansible.

blog.netapp.com/how-to-configure-ontap-ai-in-20-minutes-with-ansible-automation/

storagetalks, August 01, 2018

​​Сотрудничество NetApp c NVIDIA вылилось в новый продукт — NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Есть документ с валидированной архитектурой, в котрой используется одна AFF A800 и 4 сервера DGX-1. В документе подробно описана архитектура решения, конфигурация серверов, СХД и коммутаторов. Приведены результаты тестов производительности. Для доступа используется NFS и FlexGroups. В конфигурации 1:4 загрузка контроллеров A800 ниже 20%, задержки ниже 700 мкс. То есть еще остаются ресурсы для подключения серверов. В случае с ONTAP AI работает подход FlexPod. Необязательно брать конкретные модели AFF и определенное количество серверов DGX-1. Если такая можная СХД не требуется, то можно использовать A700s, A300 или даже A220. И это всё равно будет ONTAP AI.

#nvidia #ONTAP #AI #ML #DL #Cisco #AFF

www.netapp.com/us/media/nva-1121-design.pdf

blog.netapp.com/accelerate-your-journey-to-ai-with-netapp-and-nvidia/

www.netapp.com/us/products/ontap-ai.aspx

www.netapp.com/us/company/news/press-releases/news-rel-20180801-692736.aspx

storagetalks, June 19, 2018

​​Чуть больше про инфраструктуру для AI вычислений. В интервью из предыдущего поста упоминается совместная архитектура Nvidia и NetApp для AI. В качестве вычислительных ресурсов используются NVIDIA DGX-1, в каждом из которых по 8 GPU Tesla V100, для хранения данных можно использовать NetApp AFF A700s или A800, сеть на Cisco Nexus

3232C 100GbE. Решение позволяет легко и независимо масштабировать вычислительные и storage ресурсы. Одной A700 хватает на 4 NVIDIA DGX-1, а A800 вытягивает нагрузку с 5 NVIDIA DGX-1. Дальше можно добавлять AFF контроллеры в кластер, до 24 штук. Это всё прозрачно для серверов, так как используется NFS и FlexGroup. Подробнее об архитектуре можно почитать в тематическом white paper — WP-7267. Scalable AI Infrastructure. Designing For Real-World Deep Learning Use Cases. Там же есть результаты тестирования одной AFF A700s c DGX-1. Ну и кто-то наверное слышал про аналогичную архитектуру от Pure Storage под названием AIRI, маркетинг Pure во всю трубит об этом решении. И вот со сравнением результатов тестирования AFF A700s и Pure AIRI произошла "забавная" история. Об этом я напишу подробнее.

А если интересно почитать про подход NetApp к построению инфраструктуры для AI, то советую еще почитать Santosh Rao (Senior Technical Director for the Data ONTAP Engineering Group) или даже посмотреть видео с его выступлением на Storage Field Day.

В постах в блоге NetApp он рассказывает про то, на что обращать внимание при выборе файловой системы для AI вычислений, как NetApp обеспечивает передачу данных по конвееру данных от edge к core и в облако.

#nvidia #AI #ML #DL #AFF

storagetalks, June 19, 2018

На CNews в рамках спецпроекта NetApp вышло интересное интервью с Дмитрием Конягиным из Nvidia Россия. Интервью про “ИИ”, машинное обучение и т.д., где это применяется на практике и как в этом помогают технологии Nvidia и NetApp. Дмитрий будет выступать на NetApp Directions 17 июля в Москве.

#nvidia #AI #ML #DL

storage.cnews.ru/articles/2018-06-14_nvidia_iskusstvennyj_intellekt_uchitsya_sovsem_ne_takkak_chelovek

Nvidia: Искусственный интеллект учится совсем не так, как человек

Системы искусственного интеллекта переживают бурный рост. Это влечет за собой колоссальный рост потребностей в вычислительных мощностях, а следом и опасения, что вычислительные ресурсы скоро будут исчерпаны....


older first