Czujniki wizyjne w maszynach: Jak maszyny widzą świat?
Produkcja wiąże się z pozyskiwaniem odpowiednich części, znalezieniem odpowiedniej fabryki, dostarczeniem projektów na linię montażową na czas oraz poruszaniem się w obszarze zgodności i bezpieczeństwa, co jest niezbędne do osiągnięcia globalnej skali.
Pożądane jest zastosowanie technologii automatyzacji w celu ulepszenia linii produkcyjnych i powstałych produktów z wysoką wydajnością. Wejścia wizyjne są najbogatszym źródłem informacji z czujników. Rozwój wizji w produkcji skutkuje poprawą niezawodności i jakości produktu oraz umożliwia zastosowanie technologii dla nowego procesu produkcyjnego. W tym artykule omówione zostanie wykorzystanie wizji maszynowej w automatyce przemysłowej, aby ułatwić proces produkcji.
W automatyce fabrycznej czujniki są wykorzystywane do gromadzenia danych do kontroli lub do uruchamiania innych urządzeń. Czujniki te dzielą się na wiele kategorii; najczęściej spotykane są czujniki fotoelektryczne, światłowodowe, zbliżeniowe, ultradźwiękowe i wizyjne. Ponieważ czujniki te nie rozróżniają wzorów ani kolorów, przy sztywnym ustawieniu montażu nie są w stanie poradzić sobie z niewspółosiowością lub zmiennością. Czujniki wizyjne odgrywają istotną rolę, oferując większą elastyczność, wykonując wiele rodzajów inspekcji w ramach jednego obrazu i generując dodatkowe, bogate dane do poprawy jakości i procesu.
Konstruktorzy automatyki wymagają różnorodnych czujników dostarczających surowe dane i informacje zwrotne, systemów sterowania, programowalnych układów logicznych i podłączonych urządzeń wbudowanych. Dane są analizowane przez algorytm, a nie przez człowieka, co stwarza możliwość wprowadzenia różnych modalności wykrywania w systemach wizji maszynowej. Może to obejmować modalności inne niż czujniki obrazu, takie jak czas przelotu, radar i Lidar. Z tym wiąże się potrzeba fuzji czujników. Fuzja czujników to proces pobierania danych z wielu źródeł i łączenia ich w jeden zestaw, który może być wprowadzony do sieci neuronowej. Jest to kluczowy etap, ponieważ sposób ważenia danych z każdego czujnika będzie miał wpływ na ich istotność w ostatecznym zestawie danych.
Wizja komputerowa to dziedzina sztucznej inteligencji (AI), która umożliwia maszynom „widzenie”. Połączenie systemów wbudowanych z wizją komputerową daje w efekcie systemy wizji wbudowanej/maszynowej. Technologia wizji maszynowej (MV) jest istotnym elementem przemysłowego Internetu Rzeczy (IIoT), gdzie maszyny wszystkich typów są stale połączone. Wizja maszynowa jest tak szybko adoptowana do zastosowań IIoT ze względu na coraz większą przystępność komponentów i systemów wizji maszynowej, szerszą gamę rozwiązań, lepszy sprzęt oraz oprogramowanie oparte na AI dla możliwości głębokiego uczenia. System wizji maszynowej ma zdolność do przetwarzania dużej ilości informacji w ułamku sekundy.
W ogólnym ujęciu różne rodzaje systemów wizyjnych obejmują systemy wizyjne 1D, systemy wizyjne 2D, skanowanie liniowe lub skanowanie obszaru oraz systemy wizyjne 3D. Główne bloki funkcjonalne typowego systemu wizyjnego (Rysunek 1) to jednostka akwizycji obrazu (moduł czujnika obrazu/kamery), jednostka przetwarzania, segmentacji oraz oprogramowanie i algorytmy wizyjne/rozpoznawanie wzorców i łączność.
Rysunek 1: Moduły konstrukcyjne wizji maszynowej
Wizja maszynowa używa kamer jako swoich „oczu”, które będą przechwytywać informacje wizualne z otaczającego środowiska. Rozdzielczość i czułość to dwa ważne aspekty każdego systemu wizji maszynowej. Rozdzielczość odpowiada za rozróżnianie obiektów, natomiast czułość to zdolność maszyny do wykrywania obiektów lub słabych impulsów pomimo przyciemnionego światła lub niewidocznych długości fal.
Główne elementy systemu obejmują oświetlenie, obiektyw, czujniki obrazu, przetwarzanie wizji i urządzenia komunikacyjne i często wykorzystuje specjalistyczną optykę do pozyskiwania obrazów. Technologia wizji maszynowej to połączenie oprogramowania i sprzętu, które zapewnia kontrolę operacyjną urządzeniom realizującym funkcje takie jak przechwytywanie i przetwarzanie obrazów oraz pomiar różnych cech niezbędnych do podejmowania decyzji. Komponenty sprzętowe składają się z kilku obiektów, takich jak kamery, czujniki, procesory, urządzenia frame grabber, oświetlenie LED i optyka. Segment oferty oprogramowania jest rozwarstwiony na podkategorie oprogramowania wizji maszynowej specyficznego dla aplikacji i oprogramowania wizji maszynowej dla głębokiego uczenia.
Dostawcy usług wizji maszynowej oferują głównie dwa rodzaje usług, a mianowicie integrację i zarządzanie rozwiązaniami. Integratorzy systemów wizji maszynowej są wykorzystywani w aplikacjach inspekcji, testowania, montażu i sprawdzania i pomagają klientom spełnić ich specyfikacje produktów. Zarządzanie rozwiązaniami jest wykorzystywane do operacji debugowania w jednym kroku, kontroli inspekcji (start i stop) oraz otwierania i zapisywania rozwiązań.
Istnieje wiele opcji przy podejmowaniu decyzji o wyborze sprzętu, na którym będzie działać Twoja aplikacja SI do wizji maszynowej. Macierze bramek programowalnych (FPGA), procesory graficzne (GPU), a nawet mikrokontrolery (MCU) mają swoje zalety.
Układy FPGA to bardzo wydajne jednostki obliczeniowe, które można skonfigurować tak, aby spełniały wymagania niemal każdej aplikacji. Można tworzyć architektury FPGA dostosowane do obsługi konkretnych aplikacji. FPGA osiąga znacznie większą wydajność, niższe koszty i lepszą efektywność energetyczną w porównaniu z innymi opcjami, takimi jak GPU i CPU. Układy GPU to wyspecjalizowane procesory przeznaczone głównie do przetwarzania obrazów i filmów. W porównaniu z procesorami są one oparte na prostszych jednostkach obliczeniowych, ale posiadają znacznie większą liczbę rdzeni. Dzięki temu procesory graficzne doskonale sprawdzają się w aplikacjach, w których duże ilości danych muszą być przetwarzane równolegle, takich jak piksele obrazów czy kodeki wideo. Procesory mają ograniczoną liczbę rdzeni, co hamuje ich zdolność do szybkiego przetwarzania dużych ilości danych potrzebnych dla SI.
Podczas tworzenia systemu wizji maszynowej wybór odpowiedniego czujnika obrazu może być jedną z najważniejszych decyzji projektowych. Projekt wymaga przechwytywania obrazu o wysokiej rozdzielczości, szybkiego transferu danych z minimalnymi zakłóceniami oraz wydajnej mocy obliczeniowej, która jest w stanie przetwarzać dane wejściowe i generować dane wyjściowe. Postępy w zakresie oświetlenia przedniego (FSI) i tylnego (BSI) w technologii czujników CMOS pozwalają na uzyskanie obrazów o wyższej rozdzielczości przy słabym oświetleniu.
Ważną kwestią jest również odpowiednie oświetlenie. Podstawa wszystkich parametrów oświetlenia sprowadza się do trzech głównych cech czujnika obrazu: efektywności kwantowej (QE), prądu ciemnego i zdolności do nasycenia. W przypadku implementacji w kamerze, maksymalna wartość QE kamery powinna być mniejsza od wartości QE przetwornika, ze względu na zewnętrzne efekty optyczne i elektroniczne.
Prąd ciemny i pojemność nasycenia są również ważnymi czynnikami projektowymi w systemach wizji maszynowej. Prąd ciemny mierzy zmienność liczby elektronów, które są generowane termicznie w obrębie wywoływarki CMOS i mogą generować dodatkowe zakłócenia. Pojemność nasycenia oznacza liczbę elektronów, które może przechować pojedynczy piksel. Mogą one być stosowane z pomiarami QE w celu uzyskania maksymalnego stosunku sygnału do szumu (S/N), absolutnej czułości i zakresu dynamicznego aplikacji.
Właściwe oświetlenie pomoże zwiększyć dokładność i wydajność aplikacji wizji maszynowej. Inne czynniki do rozważenia z oświetleniem obejmują długość fali, takie jak podczerwień, stałe oświetlenie, a nawet umiejscowienie oświetlenia. Wykazano, że źródła światła i odbicia, które świecą bezpośrednio w kamery systemów widzenia maszynowego, zmniejszają dokładność wykrywania obiektów.
Ostatnie postępy w technologii wizji maszynowej pozwalają obecnie kamerom przesyłać obrazy o wysokiej rozdzielczości z niezwykle dużą prędkością. Wybór najlepszego interfejsu wymaga przeanalizowania kilku kwestii, takich jak wybór typu czujnika (CMOS lub CCD), kamery kolorowej lub monochromatycznej, formatu wyjścia kamery (GigE, Camera Link, CoaXPress, USB3, HD-SDI) i częstotliwości odświeżania. Matryce CCD mają wyższą jakość obrazu, lepszą czułość na światło, lepszą wydajność obsługi zakłóceń i idealną globalną migawkę. Czujniki CMOS znane są z dużej szybkości, integracji układów SoC oraz niskich kosztów produkcji.
Producenci kamer wykorzystują najnowsze osiągnięcia w dziedzinie czujników i udoskonalenia w konstrukcji kamer, pomagając twórcom i integratorom systemów wizji maszynowej w tworzeniu szybszych, bardziej elastycznych i bardziej wydajnych systemów obrazowania. Wraz z wyższymi rozdzielczościami kamer pojawia się potrzeba zastosowania optyki o wyższej jakości i większym formacie, która jest łatwo dostępna, z opcjami obejmującymi wbudowane płynne soczewki dla systemów automatycznego ustawiania ostrości. Optyka dla niewidocznych długości fal umożliwia nowe sposoby wykrywania rzeczy za pomocą specjalistycznego obrazowania z wykorzystaniem długości fal w zakresie od ultrafioletu do podczerwieni.
Produkty oświetleniowe LED, kluczowe dla wszystkich zastosowań w systemach wizyjnych maszyn, są obecnie dostępne w szerokim zakresie długości fal i rozmiarów. Charakteryzują się one większą elastycznością, z przestawianymi kątami i dodatkowymi długościami fal, bardziej spójną odpowiedzią spektralną, a nawet programowalnymi źródłami z wbudowanymi sterownikami. Ważnym czynnikiem umożliwiającym jest pojawienie się interfejsów do 100 G, jak również niedawno zaktualizowanego interfejsu CoaXPress 2.0, a nawet interfejsów PCI.
Wybór odpowiedniego obiektywu do zastosowania w systemach wizyjnych wymaga przeglądu wymaganych specyfikacji, pewnych obliczeń matematycznych oraz rozważenia, w jaki sposób obiektyw zostanie zintegrowany z konfiguracją kamery. Wybierając obiektyw używany w aplikacji wizji maszynowej, należy uwzględnić czujnik, który będzie używany. Rozmiar czujnika i rozmiar piksela mają ogromne znaczenie w procesie wyboru. Obiektyw musi być w stanie prawidłowo oświetlić cały obszar matrycy, aby uniknąć zaciemnienia i winietowania.
Idealne obiektywy dają obrazy, które idealnie odpowiadają uchwyconemu obiektowi, w tym wszystkie szczegóły i różnice jasności. Standardowe obiektywy mogą mieć około megapiksela przy stałych ogniskowych 4,5–100 mm. Obiektywy makro są zoptymalizowane do ustawiania ostrości w zbliżeniu. Wybierając odpowiedni obiektyw do danego zastosowania, projektanci obliczają potrzebną odległość roboczą na podstawie 3 czynników: ogniskowej, długości badanego obiektu oraz rozmiaru przetwornika.
Systemy wizji maszynowej w przemyśle spożywczym i napojów są stosowane głównie w operacjach pakowania i rozlewania. Systemy wizji maszynowej prawdopodobnie odnotują znaczny wzrost w branży farmaceutycznej i chemicznej, druku i etykietowania oraz w innych pionach przemysłu, które obejmują rolnictwo, przetwórstwo gumy i tworzyw sztucznych, panele słoneczne, maszyny i urządzenia, bezpieczeństwo i nadzór. Rynek został posegmentowany na zapewnienie jakości i inspekcję, pozycjonowanie i prowadzenie, pomiary oraz identyfikację. Systemy te są szeroko stosowane do skanowania i identyfikacji etykiet, kodów kreskowych i tekstów, zwłaszcza w sektorze opakowań. Automatyzuje to czynności związane z pakowaniem, oszczędzając w ten sposób czas, pozwala unikać błędów ludzkich i zwiększać wydajność.
Rozwiązania z zakresu wizji maszynowej sprawiają, że procesy produkcyjne są bardziej wydajne i konkurencyjne. Kamery wizji maszynowej bezbłędnie sprawdzą się w szerokim zakresie środowisk produkcyjnych. Typowy schemat aplikacyjny jest przedstawiony na poniższym Rysunku 2.
Rysunek 2: Typowy schemat zastosowania wizji maszynowej
Avnet opracowało modułowe platformy rozwojowe specyficzne dla wizji wbudowanej; łączą one inteligentne kamery, technologie komputerowe oparte na obrzeżach sieci lub chmurze, oprogramowanie i sztuczną inteligencję do realizacji systemów, które mogą wykrywać i identyfikować ludzi i obiekty. Zintegrowana platforma technologiczna inteligentnej wizji od Avnet (Rysunek 3) jest przeznaczona do wspomaganej głębokim uczeniem analityki wideo na obrzeżach sieci. Przy tworzeniu tego projektu współpracowano z wiodącymi dostawcami procesorów, czujników obrazu i narzędzi programowych, aby zintegrować ich produkty w spójne rozwiązanie.
Rysunek 3: Wizja na platformie z wykorzystaniem technologii sztucznej inteligencji od Avnet — Infinity® AI Cube
Na potrzeby tych wysokowydajnych aplikacji inteligentna platforma wizyjna została wyposażona w niezwykle wydajny moduł COM Express™ typu 6 z rodziny MSC C6B-CFLR od Avnet Integrated, który jest oparty na procesorze Intel® Core i7 lub Intel® Xeon™.
Platforma technologiczna może integrować różne technologie akceleratorów do szybkiego przetwarzania danych na obrzeżach sieci. W zależności od konkretnego zastosowania rolę odgrywa liczba kanałów wideo i czas opóźnienia. Rozwiązania obejmują zarówno interfejsy SI na wydajnych procesorach, procesory graficzne, jak i zoptymalizowane jednostki Intel® Movidius Vision Processing Units (VPU).
Jedna z największych rewolucji w całej historii ludzkości! Sztuczna Inteligencja AI to wszechstronna koncepcja, która wyposaża maszyny w ludzką inteligencję
The #1 Destination for Embedded Evaluation Boards, Development Kits, and Tools
Stale poszerzamy naszą bibliotekę artykułów technicznych, filmów wideo, modułów szkoleniowych, samouczków i innych ciekawych materiałów, aby wspierać Cię przy projektowaniu, w biznesie i Twojej karierze. Wykorzystaj, między innymi, projekty referencyjne, kalkulatory konwersji, selektory produktów i przewodniki
