태그 보관물: openvino

OpenVINO로 Intel NPU에서 추론 실행하기

Intel 14세대 Meteor Lake 부터 NPU가 함께 embedding되어 제공된다. Linux system에서 사용하려면 kernel version 6.2이상이 설치되어 있어야 한다. NPU 디바이스 확인 lspci 명령어로 NPU 디바이스가 인식되어 있는지를 확인할 수 있다. 커널에서 잘 인식 되었다면 아래의 경로에 디바이스 노드가 보이게 된다. Linux용 NPU driver 설치 이제 NPU를 Linux에서 사용하기 위한 드라이버를 설치해야 한다. 관련한 내용은 Intel […]

OpenVINO python을 이용한 inference 예제

OpenVINO를 이용해서 TensorFlow(Keras)로 training한 모델로 추론(inference)을 수행하는 간단한 예제를 작성해 보았다. TensorFlow model을 freeze하기 Training된 모델을 model optimizer에 넣기 전에 freeze시켜야 하는데, output_node_names를 입력하라는 오류 메세지가 계속 뜬다면 제대로 freezing을 수행했는지 확인해 보는게 좋다. 알아보기 쉽게 하기 위해 입출력 layer에 ‘name=’ parameter로 다음과 같이 이름을 지정해 주었다. 그러면 layer의 이름들을 출력할 때 다음과 같이 나온다. […]