[The Gradient] Car-GPT: Could LLMs finally make self-driving cars happen?

https://thegradient.pub/car-gpt/

Car-GPT: Could LLMs finally make self-driving cars happen?

 

최근 애플이 자율 주행 전기차 사업을 접었는데, 저를 포함하여 자율 주행 차의 미래에 대해 궁금함을 가진 분들에게 좋은 아티클이라고 생각해 공유하게 되었습니다.

 

 

초기 자율주행차의 구현 모델

 

 

초기 자율주행차의 구현 모델  이후,

End-To-End learning을 도입했지만 여전히 a black box 문제가 존재했기 때문에 이는 자율주행차의 구현에 적합하지 않았다. 

(black box problem - 자율 주행 시스템의  프로세스의 내부 작동 원리(어떻게 의사 결정을 내리고 행동하는지) 이해하기 어려움) 

 

자율 주행 자동차에서 LLM을 언급하는 첫 번째 논문은 2023년 중반에 나왔기 때문에 아직 초기 연구단계라고 할 수 있다.

하지만, 자율 주행 자동차에서 LLM을 사용하여 해결할 수 있는 주요 작업들도 존재한다. 

 

1) Perception (감지, 추적, 예측) - 우리가 보고 있는 장면을 설명하는 것

: 이미지를 입력으로 사용하여 환경을 설명하고 개체, 차선 등을 감지하고 추적

 

2) Planning(의사 결정, 궤적 생성) - 자동차가 따라야 할 궤적을 생성하는 것

* 트랜스포머는 컨텍스트를 이해하고 어떻게 해야 할지에 대해 추론하기 위해 LLM을 사용 * 

 : 계획 작업에서는 LLM이 인식된 객체 또는 Bird Eye View Maps와 같은 입력을 사용하여 자동차의 이동 경로를 생성하고 결정합니다. 이를 통해 자율 주행 차량이 다양한 상황에서 적절한 운전 결정을 내릴 수 있습니다.

 

3) Generation (장면, 비디오, 훈련 데이터 등) - 사용된 프롬프트에 해당하는 비디오를 생성

 

 

결론 : LLM은 자율 주행 자동차 분야에서 많은 가능성을 제공하지만, 신뢰성 문제와 적용 가능성에 대한 연구와 발전이 필요하다. 

 

 

 

 

 

 

Reference

https://thegradient.pub/car-gpt/