Task design
앞서 두 종류의 성장이라는 글에서 도메인과 스킬에 대해 이야기 해보았다. 스킬 이야기 중 첫 번째로, 아주 간단하고도 강력한 스킬인 task design에 대해 논해보려고 한다.
최근 포스트
두 종류의 성장
나는 성장하고 싶다.
[논문리뷰] FlashAttention 주요 아이디어 공유
앞선 글들에서 GPU 구조 및 최적화, 소프트맥스 병렬화 등을 다루어 보았다. 이러한 글들을 다루게 된 계기는 여럿 있었지만 그 중 하나는 GPU-aware 한 딥러닝 최적화 논문들을 리뷰하기 위함이었다.
2월에 본 책, 영화, TV 시리즈 리뷰
2월에는 완독한 책이 없다. 그 이유는 아래 스크린샷으로 대신하겠다..
[알쓸G잡] GPU Trick or Tweak
앞서 다른 글에서도 언급했듯이 GPU는 구조적으로 CPU와 매우 다르다. 참조 따라서, 기존의 CPU 기반 설계에선 문제가 되지 않았던 코드들이 GPU 에서 동작하면서 예기치 못한 성능 저하를 일으키는 경우가 종종 있다. 본 글에서는 그러한 성능 저하를 일으키는 여러 ...