FLIR Lepton® 개발 시작하기

FLIR Lepton® 개발 시작하기

목차

1. 📖 도입
2. 🕵️ 렙턴 개요
3. 🛠️ 렙턴을 물리적 장치에 연결하는 방법
4. 💻 스파이와 AI2C 프로토콜
5. 🔌 렙턴 연결 예시
6. ⏰ 프레임 추출 및 시간 동기화
7. 🌈 AGC와 색상 지정
8. 🌡️ 온도 보정
9. 📦 SDK 소개
10. ✨ 평면 보정
11. 🔌 SDK와 연동하지 않고 렙턴 사용하기
12. 👻 유령 이미지 문제
13. ⚙️ 기타 전자적인 고려사항
14. 🖥️ Raspberry Pi 사용 시 주의사항
15. ❓ 자주 묻는 질문들

1. 📖 도입

안녕하세요! 렙턴 팀에 약 4년간 소속해왔고, 함께 다양한 툴과 펌웨어를 개발해왔습니다. 최근에는 모바일 팀에도 도움을 주며 SDK를 실행하고 있습니다. 이번에는 메이커 기술에 대해 알아보도록 하겠습니다. 렙턴은 22개의 핀으로 이루어진데요, 렙턴을 물리적 장치에 연결할 때 사용하는 프로토콜은 AI2C와 스파이입니다.

2. 🕵️ 렙턴 개요

렙턴은 실시간 컴퓨팅 시스템으로, 일정한 시간 내에 프레임을 가져와야 한다는 특징이 있습니다. 렙턴과 타이밍이 어긋나면 주파수 잠재선별기 스파이크 잠금을 수행하여 동기화해야 합니다. 이렇게 동기화하는 시간은 37밀리초로, 이 시간 내에 전체 프레임을 추출해야 시간 동기화 문제가 발생하지 않습니다. 또한, 렙턴의 온도 값을 정확하게 얻으려면 온도 보정을 위해 블랙바디를 활용한 곡선 교정과 룩업 테이블을 만들어야 합니다. 온도 보정 작업은 복잡하긴 하지만, 24시간 내에 완료할 수 있다면 정말 멋질 것입니다.

3. 🛠️ 렙턴을 물리적 장치에 연결하는 방법

렙턴을 물리적 제품과 연결할 때는 주로 두 가지 프로토콜을 사용합니다. AI2C는 명령과 제어에 사용되고, 스파이는 비디오 전송에 사용됩니다. 간단한 연결 예시를 살펴보면, 라즈베리 파이를 호스트로 사용하고, 렙턴을 슬레이브로 연결하는 경우입니다. 연결 방법은 매우 간단합니다. 하지만 렙턴은 실시간 컴퓨팅 시스템이기 때문에 주어진 시간 내에 프레임을 추출해야 합니다. 그렇지 않으면 시간 동기화 문제가 발생할 수 있습니다.

4. 💻 스파이와 AI2C 프로토콜

렙턴을 물리적 장치에 연결할 때 스파이와 AI2C 프로토콜을 사용합니다. AI2C는 명령 및 제어를 위한 프로토콜이며, 스파이는 비디오 전송을 위한 프로토콜입니다. AI2C 연결은 명령과 제어만 필요로 하기 때문에 더 단순하고 간편합니다. 스파이를 사용하는 경우, 16비트 4픽셀로 데이터가 전송되며, 14비트로 실제 값이 표현됩니다. 이때 주의할 점은 프레임을 추출하기 위해 필요한 대역폭이 9600바이트임을 유의해야 한다는 것입니다.

5. 🔌 렙턴 연결 예시

렙턴을 연결하는 방법에 대해 실제 예시를 살펴보겠습니다. 연결에는 브레이크아웃 보드가 필요하며, 해당 보드에는 렙턴과 호스트 장치를 연결할 수 있는 모든 핀이 포함되어 있습니다. 브레이크아웃 보드를 사용하면 연결 과정이 간단해집니다. 라즈베리 파이와 함께 사용하는 경우, 연결 작업은 어렵지 않으며, 코드 안에 이미 구현되어 있는 기능을 사용할 수 있습니다.

6. ⏰ 프레임 추출 및 시간 동기화

렙턴은 실시간 컴퓨팅 시스템이기 때문에 주어진 시간 내에 프레임을 추출해야 합니다. 시간 동기화 문제를 피하기 위해 렙턴이 동기화되지 않았을 경우, 1초 동안 전송 픽셀 선택자 스파이크 잠금을 수행한 후 동기화 작업을 해야 합니다. 주어진 시간 동안 전체 프레임을 추출하지 않으면 시간 동기화 문제가 발생할 수 있습니다. 이 부분은 크게 설명할 필요가 없으며, 렙턴 사용자라면 이미 알고 있을 법한 내용입니다.

7. 🌈 AGC와 색상 지정

AGC는 Automatic Gain Control의 약자로, 센서가 제공하는 14비트 데이터를 8비트 공간으로 이동시켜 색상을 지정하는 작업을 의미합니다. 14비트 데이터를 선형적으로 나누면 대비가 매우 낮아지고, 씬이 흐릿해 보일 수 있으므로 이를 보완하기 위해 게인 콘트롤을 수행합니다. 이 과정에서 씬에서 나타나지 않는 값들은 할당되지 않도록 조정하고, 255개의 버킷으로 나눠줍니다. LUT(룩업 테이블)이라고도 불리는 색상 지정 방식을 사용하며, 이를 사용하려면 텍스트 파일에 매핑 정보를 저장해야 합니다. 이러한 매핑 정보는 이미 Raspberry Pi 코드 안에 포함되어 있으므로 사용자는 이미 사용 중인 모델링 정보를 편리하게 활용할 수 있습니다.

8. 🌡️ 온도 보정

렙턴에서 실제 온도 값을 얻기 위해서는 온도 보정 작업이 필요합니다. 이를 위해서는 블랙바디를 활용한 곡선 교정과 룩업 테이블 생성 작업이 필요합니다. 온도 보정은 단순 선형적으로 이루어지는 것은 아니지만, 충분한 수의 포인트를 활용한다면 선형적으로 처리 가능합니다. 이 작업은 복잡하지만, 24시간 내에 수행 가능한 수준입니다.

9. 📦 SDK 소개

렙턴을 사용하기 위해 SDK를 활용할 수 있습니다. SDK는 i2c 프로토콜을 사용하며, 간단한 소프트웨어 개발을 위한 기능을 제공합니다. SDK 중에서도 특히 "플랫 필드" 명령이 많이 사용됩니다. 플랫 필드 명령은 셔터를 닫고 잡음을 제거하는 작업을 수행합니다. 렙턴을 전원에 연결하면 셔터가 자동으로 플랫 필드 작업을 수행하므로, 기다리고 나서야 프레임을 요청해야 합니다. 렙턴을 사용하는 프로젝트에 따라 SDK 외에 다른 명령이 필요한 경우도 있을 수 있지만, 이번 해커톤에서는 플랫 필드 명령을 사용하는 것만으로도 충분합니다.

10. ✨ 평면 보정

렙턴을 이용할 때 평면 보정 작업이 필요할 수 있습니다. 평면 보정은 셔터를 닫고 잡음을 제거하는 작업을 의미합니다. 렙턴은 내부적으로 셔터를 닫고 잡음을 제거하는 작업을 자동으로 수행하지만, 직접적인 관리가 필요한 경우도 있습니다. 이러한 작업은 주로 전문가가 수행하며, 복잡한 과정을 거칩니다.

11. 🔌 SDK와 연동하지 않고 렙턴 사용하기

렙턴을 사용할 때 SDK와 연동하지 않고도 사용할 수 있습니다. 이 경우에는 별도의 i2c 연결이 필요하지 않으며, 전원과 스파이의 연결만 있으면 렙턴을 사용할 수 있습니다. SDK를 사용하지 않고 실제 프레임을 추출할 수 있으며, 이 방법으로도 다양한 프로젝트를 구현할 수 있습니다.

12. 👻 유령 이미지 문제

렙턴을 사용하다 보면 유령 이미지 문제가 발생할 수 있습니다. 특히, 실내에서 렙턴을 사용할 경우 이 문제가 더 동반될 수 있습니다. 유령 이미지 문제는 플랫 필드 명령을 수행하면서 발생하는데, 자신이 촬영한 이미지에서 유령 이미지를 발견할 수 있습니다. 이는 씬을 정규화할 때 자신의 조각이 포함되기 때문에 발생하는 문제입니다. 이러한 문제를 해결하기 위해서는 균일한 블랙바디를 제공해야 합니다.

13. ⚙️ 기타 전자적인 고려사항

렙턴을 사용하면서 항상 고려해야 할 전자적인 요소들이 있습니다. 이러한 요소들은 라즈베리 파이와 같은 플랫폼에서 이미 해결된 경우가 많기 때문에 신경 써야 할 부분은 별로 없습니다. 다만, 렙턴을 직접 연결할 때는 반드시 25MHz의 클럭과 크리스탈 발진기를 제공해야 합니다.

14. 🖥️ Raspberry Pi 사용 시 주의사항

레퍼런스들을 참조하려면 아래의 링크를 클릭하세요.

1. 렙턴 공식 웹사이트
2. 렙턴 SDK 다운로드 페이지

15. ❓ 자주 묻는 질문들

1. Q: 렙턴을 보정하는 방법은 무엇인가요?

   • A: 렙턴을 보정하기 위해서는 블랙바디와 온도 조절이 가능한 환경이 필요합니다. 자세한 방법은 30페이지 분량의 문서를 이용하시면 됩니다.

2. Q: AGC에 대해서 설명해주세요.

   • A: AGC(자동 게인 콘트롤)는 14비트 데이터를 8비트로 변환하는 작업을 의미합니다. 이를 통해 색상 매핑을 수행하며, 매핑 정보는 룩업 테이블의 형태로 이용할 수 있습니다.