안녕하세요.
허접이 ML Engineer가 공부 테크트리 한 번 적어봅니다,,
1-1. 국비학원 - 또는 '밑바닥 딥러닝' (https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=99518713)
1-2. SQL/PLSQL, 데이터베이스, Data Structure, 네트워크, Python 공부
2-1. CS231N (http://cs231n.stanford.edu/) - Computer Vision (시각 담당 인공지능)
2-2. 선형대수학 (스터디 or 오픈 아카데미)
2-3. 미적분학 (스터디 or 오픈 아카데미)
2-4. 통계학 (스터디 or 오픈 아카데미)
곁다리로 이산수학이나 공업수학.. 인공지능의 기본이자 끝은 vector/matrix manipulation인데...... 심심할때 3blue1brown (https://www.youtube.com/@3blue1brown) 영상들 보면, 오홍 @@;; 이렇구나-하고 굉장히 직관적이고 쉽게 알 수 있게 해줍니다. 재미도 있고 귀엽기도 하구요 ㅎㅎ
갠적으로는 칸 아카데미의 선형대수, 통계 강의도 좋았습니다. (https://www.khanacademy.org/)
셋 다 기초 수준만 알아도 별 문제는 없지만, 개인적이나 친구들끼리 모여서 각종 학회에 논문 제출까지 생각한다면.. affine transformation이랑 convex optimization, energy theory(크로스 엔트로피 확장판) 등등을 알아두면 좀 더 좋습니다.
물론 PRML(비숍책)이나 머피책, 못해도 한 번은 정주행하는 것을 추천합니다. (읽을때는 대체 왜 이런것까지 알아야 해 ㅜㅜ 하는데.. 막상 논문 읽다보면 '왜 이런것까지 알아야해'했던 것들이 반드시 나오더라구요;;;;)
머피책: http://noiselab.ucsd.edu/ECE228/Murphy_Machine_Learning.pdf
둘 다 내용이 똑같아서...둘 중 하나만 골라서 깊게 파시면 됩니다. 둘 다 읽으려고 하면... ^^ ... 하버드 나오신 분도 저거 한 번 정주행하고는 안 했답니다. (너무 방대한 내용들을 작은 페이지수(...)안에 전부 담으려다보니, 좀 불친절한 부분들이 많아서... 두 세번, 미친듯이 죽어라 파서 정주행하려면 일주일에 한두번 정규 스터디로 진행해도 몇 년 걸리더라구요;;)
석박사 레벨의 수학도 유투브에 많이 올라와 있어서, 보면 재밌어요 ㅎㅎ 아래는 제가 본 수학 유툽을 같이 하셨던 분이 정리해주신건데 (강의하는 주체는 코네티컷 한인 조교수님), 추천 합니다!!!
3. CS224N (https://web.stanford.edu/class/cs224n/) -- Natural Language Processing (언어담당 인공지능)
갠적으로 CS231N이 학부-석사 초기 느낌이라면, CS224N은 확실한 석사 - 박사 초기 느낌 같아용. assignment는 해보는 것이 좋지만, 당장 취직이 급하다면 이론적인 부분만 훑어보고 바로 AWS/GCP/Azure같은 클라우드 플랫폼들로 MLOps하는게 좋은 것 같아요..
MLOps를 하고 싶으시다면, AWS/Azure/GCP같은 클라우드 플랫폼 서비스들에 machine learning engineers를 위한 certificate이 있습니다. 대부분 클라우드 플랫폼들 자체적으로 교육 서비스를 제공하고(...), 또 자체적으로 테스트를 하기 때문에(.... 한 번 치를때마다 10~20만원 가량) 따 놓으시면 좋습니다. 아래는 GCP... Google Cloud Platform의 ML specific certification입니다.
금액이 부담되신다면, 페이스북에서 Google Cloud 관련한 그룹들에 가입해두시면.. 몇 개월에 한 번씩 Bootcamp나 스터디들이 올라옵니다. 거기에 참여하시면 Tensorflow Certification 비용이나 다른 ML certification 비용들을 지원해주는 경우가 있으니 잘 보시고 타이밍을 잡으시면 좋겠습니당 :D
https://cloud.google.com/learn/certification/machine-learning-engineer
중간중간 논문 리뷰 스터디 했습니당. NLP, Vision 안 가리고 그냥 읽었어용. 논문 읽는 법에 대해서 앤드류 응이 조언한 것이 있는데, 이 분이 추천한 순서대로 읽으면... 70페이지 페이퍼도 괜찮아용..(.... 물론 어디까지나 '그나마'...)
https://media-ai.tistory.com/7
4. 논문 구현
ㄴ NLP쪽 (CNN for SC: https://arxiv.org/pdf/1408.5882.pdf) : 굉장히 쉬운 논문이고 기존 레퍼런스 코드도 좋아서 첫 구현하기 트레이닝으로 최곱니당
ㄴ HuggingFace 라이브러리 익히기 (기본 vanilla transformer, BERT, GPT 까지 잘 되어 있는데, 데이터셋도 좋습니당)
ㄴ Computer Vision쪽이면 OpenCV (파이썬 버전, pip install opencv-python)는 잘 알아둬야 하구용
ㄴ SNS들.. 특히 페이스북, 트위터에서 국내외 가리지 않고, 머신러닝 대가들 & ML그룹들 팔로우... (얀 아저씨는 옛날 어르신이라 그런지 영어를 좀 만연체로 씁니다.. 길어서 조금 비추, bored yann lecun 짹은 좀 재밌어요) 트렌드 알기도 쉽고 좋습니다..
+ 진실된라면님이 올려주신 자료 (거의 끝판왕이네요 +ㅁ+)!!
https://github.com/dair-ai/ML-YouTube-Courses
(MLOps를 하고 싶으신 분이나 웹서비스같은거에 ML을 적용하고 싶으시다면, 위의 링크에서 Full Stack Deeplearning <- 요 코스를 보시면 됩니다. https://fullstackdeeplearning.com/ <- 사이트는 요기로..)
+ 안경쓴라이언님이 올려주신 자료 (링크 포함)
Ian Goodfellow et. al. <Deep Learning> 책: https://www.deeplearningbook.org/
Dive into Deep Learning: https://d2l.ai/
Dive into deeplearning같은 경우, 실제 코드와 함께 내용이 있어서 좋습니당.
MATH 관련해서 하나만(!!!) 보아도 충분한 자료
https://mml-book.github.io/book/mml-book.pdf
Math for Machine Learning이라는 타이틀답게, 인공지능을 할 때 필요한 내용들 다 나옵니다. 선형대수, 확률, 벡터/매트릭스 등등..
논문 구현을 하려고 할 때, 레퍼런스가 되는 코드가 있는지 없는지 많이들 궁금하실텐데용..
위에서 각 태스크별로(object detection, sentiment analysis 등등 온갖거) 논문들을 보실 수 있고, 코드들 링크도 보실 수 있습니당
엔지니어 vs 리서처
머신러닝 엔지니어: MLOps를 메인으로 하며, 실제 AI를 현실에 접목시키는 역할을 주로 함, compuational cost/유지보수 비용/임베디드 등등 모두 다 복합적으로 생각해서 해야 함
머신러닝 리서처: 논문 읽고 구현하고 검증해보고 연구하고.. computational cost는 별로 신경 안 쓰는 편
혹시나 여기에 추가할 것이나 수정할 부분들 있으면 언제든지 댓글 달아주세용 ㅎㅎ
감사합니당 ☺☺
비숍이랑 머피책 처럼 딥러닝 자체를 다루는 대학교 레벨의 교재도 있는데 하나는 이안 굿펠로우와 요슈아 벤지오가 쓴 심층 학습(Deep Learning Adaptive Computation and Machine Learning (Deep Learning)) 이라는 책과 Dive to Deep Learning 이라는 책도 있습니다! D2L은 제너럴하게 딥러닝의 큰 분야들을 모두 다루는 부분이라 입문할 때 보기 좋습니다!
D2L은 코드도 많이 존재해서 실습하면서 진행해보기 좋고 심층 학습은 한국어 번역본이 정발되어있습니다!