뉴스레터를 보다가 아이패드에 그림을 그리면 그걸 SwiftUI로 변환해주는 앱에 관한 논문을 알게 되었다.
이런 내용은 첨보는데 논문에는 이미 이런 주제의 논문이 많다고 나열을… 정말 많더라 🫢
구현은 대략
앱에 그림을 그린걸 파이어베이스로 데이터 수집 > 수집한 데이터를 기반으로 딥러닝 학습 (YOLOv5) > coreML 타입으로 전환 > 코드 생성
이런 식이다
학습 시킨걸 iOS에서 어떻게 쓰나 했더니 YOLOv5가 pytorch 기반인데, 이 pytorch의 모델을 coreML 모델로 변환을 시켜주는 툴이 있다.
Core ML Tools인데 레퍼런스를 타고 가보니 TensorFlow도 지원이 되는듯,, 그럼 그 기반의 라이브러리도 쓸수 있을거 같다
코드를 생성하는 방식은 객체를 분류하고 반복해서 코드 생성, 머신러닝 크게 2가지 방식으로 나뉘는데 머신러닝은 꽤 복잡하고 대부분 첫번째 방식의 논문이 많다고 한다.
그 외의 구현 방식이나 리서치한 내용, 시행착오 등이 엄청 자세히 정리되어 있어서 또 여러번 읽을것 같다.. (기억력이 많이 안좋은 편..) 애초에 딥러닝은 아이폰 앱 개발과는 거의 상관이 없다고 생각했는데, 이런 쓰임새가 있을줄은 몰랐다 😳😳