Raspberry Pi AI Kit

Vlastnosti modulu AI

• 13 tera-operací za sekundu (TOPS) akcelerátor neuronové sítě založený na čipu Hailo-8L.
• M.2 2242 form faktor

Instalace

Chcete-li používat sadu AI, budete potřebova Raspberry Pi 5.

Každá sada AI je dodávána s předinstalovaným modulem AI, plochým kabelem, GPIO stacking headerem a montážním hardwarem. Chcete-li nainstalovat sadu AI, postupujte podle následujících pokynů:

1. Nejprve se ujistěte, že vaše Raspberry Pi používá nejnovější software. Pro aktualizaci spusťte následující příkaz:

$ sudo apt update && sudo apt full-upgrade

2. Dále se ujistěte, že váš firmware Raspberry Pi je aktuální. Spusťte následující příkaz, abyste viděli, jaký firmware používáte:

$ sudo rpi-eeprom-update

Pokud vidíte 6. prosince 2023 nebo pozdější datum, pokračujte dalším krokem. Pokud vidíte datum dřívější než 6. prosince 2023, spusťte následující příkaz a otevřete konfigurační CLI Raspberry Pi:

$ sudo raspi-config

V části Advanced Options> Bootloader Version vyberte Latest. Poté ukončete raspi-config pomocí Finish klávesy nebo klávesy Escape.
Pro aktualizaci firmwaru na nejnovější verzi spusťte následující příkaz:

$ sudo rpi-eeprom-update -a

Poté restartujte pomocí sudo reboot.

3. Před zahájením instalace odpojte Raspberry Pi od napájení.

4. Pro nejlepší výkon doporučujeme používat AI Kit s aktivním chladičem Raspberry Pi. Pokud máte Active Cooler, nainstalujte jej před instalací AI Kit.

5. Nainstalujte rozpěrky pomocí čtyř dodaných šroubů. Pevně ​​zatlačte na GPIO stohovací záhlaví na horní části GPIO kolíků Raspberry Pi; na orientaci nezáleží, pokud všechny kolíky zapadnou na místo. Odpojte plochý kabel od AI Kitu a zasuňte druhý konec do PCIe portu vašeho Raspberry Pi. Zvedněte držák plochého kabelu z obou stran a vložte kabel měděnými kontaktními body směrem dovnitř k portům USB. S plochým kabelem zcela a rovnoměrně zasunutým do portu PCIe zatlačte na držák kabelu z obou stran dolů, aby byl plochý kabel pevně zajištěn na místě.

6. Umístěte sadu AI na horní část rozpěrek a pomocí čtyř zbývajících šroubů ji zajistěte na místě.

7. Vložte plochý kabel do slotu na AI Kit. Zvedněte držák plochého kabelu z obou stran a vložte kabel tak, aby měděné kontaktní body směřovaly nahoru. S plochým kabelem zcela a rovnoměrně zasunutým do portu zatlačte na držák kabelu z obou stran dolů, aby byl plochý kabel pevně zajištěn na místě.

8. Gratulujeme, úspěšně jste nainstalovali sadu AI. Připojte Raspberry Pi k napájení; Raspberry Pi OS automaticky detekuje AI Kit.

Nastavení hardwaru

1. Připojte kameru k desce Raspberry Pi 5. Opětovné připojení Raspberry Pi k napájení můžete přeskočit, protože v dalším kroku budete muset Raspberry Pi odpojit od napájení.
2. Postupujte podle pokynů k instalaci a připojte hardware AI Kit k vašemu Raspberry Pi 5.
3. Podle pokynů povolte PCIe Gen 3.0.
4. Nainstalujte závislosti potřebné k používání sady AI. Spusťte následující příkaz z okna terminálu:

sudo apt install hailo-all

Tím se nainstalují následující závislosti:

• Ovladač zařízení a firmware jádra Hailo
• Middleware software HailoRT
  Knihovny pro následné zpracování jádra Hailo Tappas
• rpicam-apps Demonstrační fáze softwaru pro post-processing Hailo

5. Nakonec restartujte Raspberry Pi, sudo reboot aby se tato nastavení projevila.

6. Abyste se ujistili, že vše běží správně, spusťte následující příkaz:

$ hailortcli fw-control identify

Pokud vidíte výstup podobný následujícímu, úspěšně jste nainstalovali sadu AI a její softwarové závislosti:

Executing on device: 0000:01:00.0
Identifying board
Control Protocol Version: 2
Firmware Version: 4.17.0 (release,app,extended context switch buffer)
Logger Version: 0
Board Name: Hailo-8
Device Architecture: HAILO8L
Serial Number: HLDDLBB234500054
Part Number: HM21LB1C2LAE
Product Name: HAILO-8L AI ACC M.2 B+M KEY MODULE EXT TMP

7. Abyste se ujistili, že kamera funguje správně, spusťte následující příkaz:

rpicam-hello -t 10s

Tím se spustí kamera a na deset sekund se zobrazí okno náhledu. Jakmile ověříte, že je vše správně nainstalováno, je čas spustit několik ukázek.

Ukázky

Sada rpicam-apps kamerových aplikací implementuje post-processing framwork. Tato část obsahuje několik ukázkových fází následného zpracování, které zdůrazňují některé schopnosti sady AI.

Následující ukázky používají rpicam-hello, který ve výchozím nastavení zobrazuje okno náhledu. Místo toho však můžete použít jiné rpicam-apps, včetně rpicam-vida rpicam-still. Možná budete muset přidat nebo upravit některé možnosti příkazového řádku, aby byly ukázkové příkazy kompatibilní s alternativními aplikacemi.

Chcete-li začít, stáhněte si soubory JSON pro následné zpracování potřebné pro ukázky. Tyto soubory určují, které fáze následného zpracování se mají spustit, a konfigurují chování každé fáze. Můžete například povolit, zakázat, posílit nebo zeslabit sílu dočasného filtrování v ukázkách detekce objektů. Nebo můžete povolit nebo zakázat kreslení výstupní masky v ukázce segmentace.

Chcete-li stáhnout celou kolekci souborů JSON pro následné zpracování, naklonujte rpicam-appsrepo. Spusťte následující příkaz pro klonování pouze nejnovějšího potvrzení z úložiště, čímž ušetříte místo:

git clone --depth 1 https://github.com/raspberrypi/rpicam-apps.git ~/rpicam-apps

Detekce objektů

Toto demo zobrazuje ohraničující rámečky kolem objektů detekovaných neuronovou sítí. Chcete-li vypnout hledáček, použijte -n příznak. Chcete-li vrátit čistě textový výstup popisující detekované objekty, přidejte -v 2 možnost. Spusťte následující příkaz a vyzkoušejte demo na vašem Raspberry Pi:

$ rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov6_inference.json --lores-width 640 --lores-height 640

Případně můžete vyzkoušet jiný model s různými kompromisy ve výkonu a efektivitě.

Chcete-li spustit demo s modelem Yolov8, spusťte následující příkaz:

$ rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov8_inference.json --lores-width 640 --lores-height 640

Chcete-li spustit demo s modelem YoloX, spusťte následující příkaz:

$ rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolox_inference.json --lores-width 640 --lores-height 640

Chcete-li spustit demo s modelem osoby a tváře Yolov5, spusťte následující příkaz:

$ rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov5_personface.json --lores-width 640 --lores-height 640

Segmentace obrazu

Tato ukázka provádí detekci objektu a segmentuje objekt nakreslením barevné masky na obraz v hledáčku. Spusťte následující příkaz a vyzkoušejte demo na vašem Raspberry Pi:

$ rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov5_segmentation.json --lores-width 640 --lores-height 640 --framerate 20

Odhad pozice

Toto demo provádí 17bodový odhad lidské pozice a kreslí čáry spojující detekované body. Spusťte následující příkaz a vyzkoušejte demo na vašem Raspberry Pi:

$ rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolov8_pose.json --lores-width 640 --lores-height 640