LLM (Large Language Model)์ ๋น ๋ฅด๊ณ ํจ์จ์ ์ผ๋ก ๋ง๋ค๋ฉด์๋ ์ข์ ์ฑ๋ฅ์ ๋ด๋ ๋ฐ ์ ๋ ํฉ๋๋ค. ์ ํฌ๋ LLM ์๋์ ๋ค์ํ ๊ธฐํ๋ฅผ ํ์ํ๋ฉฐ, ์ฒจ๋จ ์ฐ๊ตฌ์ ๊ฐ๋ฐ์ ํตํด ์ฌ์ ๊ธฐํ๋ฅผ ์ฐฝ์ถํฉ๋๋ค. ์ด๋ฅผ ํตํด ์ฐ๊ตฌ ์ฑ๊ณผ์ ์ฌ์ ์ฑ๊ณต์ ์ ์ํ ๊ตฌ์กฐ๋ฅผ ๊ตฌ์ถํ๊ณ ์ ํฉ๋๋ค. ์ ํฌ๋ ๊ธฐ์ ์ ๋์ ์ ์ฆ๊ธฐ๋ฉฐ, ์ง์ ๊ฐ๋ฅํ ๋ฐ์ ๊ณผ ๊ธ์ ์ ์ธ ์ํฅ๋ ฅ์ ์ํด ๋ ธ๋ ฅํฉ๋๋ค.
๐ ํด๋น ํฌ์ง์ ์ผ๋ก ํฉ๋ฅํ์ ๋ค๋ฉด
LLM์ ์ง์ฐ ์๊ฐ(latency)๊ณผ ์ฒ๋ฆฌ๋(throughput)์ ์ต์ ํํ๋ฉด์๋ ์ฐ์ํ ์ฑ๋ฅ์ ์ ์งํ ์ ์๋ ๊ธฐ๋ฒ์ ์ฐ๊ตฌ ๋ฐ ๊ฐ๋ฐํฉ๋๋ค. ๋ํ, ๋ค์ํ ํ๋์จ์ด ํ๊ฒฝ์์ LLM์ ํจ๊ณผ์ ์ผ๋ก ๊ตฌ๋ํ ์ ์๋๋ก ํ๋ ์๋น ๊ธฐ์ ์ ๋ํด์๋ ๊น์ด ์๊ฒ ๊ณ ๋ฏผํ๊ณ ์์ต๋๋ค.
๐ ์ฑ๊ณผ ๋ฐ ๊ด๋ จ ์๋ฃ ์ฝ์ด๋ณด๊ธฐ
(์ ์ฐจ๊ฐ์ ์ถ๊ฐ์ ์ธ ๊ณผ์ ๊ฐ ์์ ์ ์์ต๋๋ค.)
์ฐ๋ฆฌ ํ์ ๊ฐ์ธ์ ์ฑ์ฅ๊ณผ ํ์ฌ์ ์ฑ์ฅ์ด ์ผ์นํ๋ ๊ฒ์ ์ถ๊ตฌํฉ๋๋ค. ๊ทธ๋ฌ๊ธฐ์ํด ML/NLP ์ ๋ฌธ๊ฐ๋ค(๋ฐ์ฌ ์กธ์ ๋ฐ ๋๊ธฐ์ ์ฐ๊ตฌ์ ์ถ์ )๊ณผ ํจ๊ป ๊ฐ์ธ์ ์ปค๋ฆฌ์ด ๋ฐ์ ์ ์ค์ง์ ์ผ๋ก ๊ธฐ์ฌํ ์ ์๋ ์ ๋ฌด๋ฅผ ์ ๊ณตํ๊ธฐ ์ํด ๋ ธ๋ ฅํ๊ณ ์์ต๋๋ค.
์ ๋ํ ๋ชจ๋ธ ๊ฒฝ๋ํ ์ ๋ฌธ๊ฐ๋ ์๋์์ง๋ง, ๋ ธํ์์ ML ๋ชจ๋ธ ๊ฒฝ๋ํ์ ์ฐ๊ด๋์ฌ๋ฌ ์ ๋ฌด์ ํ๋ก์ ํธ๋ฅผ ์งํํ๋ฉฐ AI ๋ชจ๋ธ์ ๋ํ ๊น์ ์ดํด๋ฅผ ์ป๊ฒ ๋์์ต๋๋ค. ๋ ๋์๊ฐ ๋ชจ๋ธ์์ ๋นํจ์จ์ ์ธ ๋ถ๋ถ์ ํ์ ํ๊ธฐ ์ํด์๋ ํด๋น ๋ชจ๋ธ์ ์ธ๋ฐํ๊ฒ ๋ถ์ํ ์ค ์๋ ์ญ๋์ ํค์ฐ๋ ๊ฒ์ด ํ์์ ์ด๋ผ๋ ๊ฒ๋ ์๊ฒ ๋์์ต๋๋ค. ์ฑ๋ฅ์ ๋ณต์ํ๊ธฐ ์ํด์ ํ์ต ๊ณผ์ ์ ์์ธํ ๊ฒํ ํ๋ค๊ฑฐ๋ ๋น ๋ฅด๊ฒ ๋ฐ์ ํ๋ ML ๋ถ์ผ์ ์ต์ ์ง์์ ์ดํผ๊ณ , ์๋ก์ด ์ ๊ทผ ๋ฐฉ์์ ๋ชจ์ํ๋ ๊ณผ์ ์์ ๋ง์ ๊ฒ์ ๋ฐฐ์ ์ต๋๋ค. ์ด ๊ณผ์ ์ ํญ์ ์ฆ๊ฑฐ์ด ๊ฒ ๋ง์ ์๋์์ง๋ง, ๊ฒฐ๊ตญ ์ ์ค๋ ฅ ํฅ์์ ํฌ๊ฒ ๊ธฐ์ฌํ๋ค๊ณ ํ์ ํฉ๋๋ค.
๐ ์ฝ์ด๋ณด๋ฉด ๋์ ๋๋ ๊ด๋ จ ์๋ฃ
LLM (Large Language Model)์ ๋น ๋ฅด๊ณ ํจ์จ์ ์ผ๋ก ๋ง๋ค๋ฉด์๋ ์ข์ ์ฑ๋ฅ์ ๋ด๋ ๋ฐ ์ ๋ ํฉ๋๋ค. ์ ํฌ๋ LLM ์๋์ ๋ค์ํ ๊ธฐํ๋ฅผ ํ์ํ๋ฉฐ, ์ฒจ๋จ ์ฐ๊ตฌ์ ๊ฐ๋ฐ์ ํตํด ์ฌ์ ๊ธฐํ๋ฅผ ์ฐฝ์ถํฉ๋๋ค. ์ด๋ฅผ ํตํด ์ฐ๊ตฌ ์ฑ๊ณผ์ ์ฌ์ ์ฑ๊ณต์ ์ ์ํ ๊ตฌ์กฐ๋ฅผ ๊ตฌ์ถํ๊ณ ์ ํฉ๋๋ค. ์ ํฌ๋ ๊ธฐ์ ์ ๋์ ์ ์ฆ๊ธฐ๋ฉฐ, ์ง์ ๊ฐ๋ฅํ ๋ฐ์ ๊ณผ ๊ธ์ ์ ์ธ ์ํฅ๋ ฅ์ ์ํด ๋ ธ๋ ฅํฉ๋๋ค.
๐ ํด๋น ํฌ์ง์ ์ผ๋ก ํฉ๋ฅํ์ ๋ค๋ฉด
LLM์ ์ง์ฐ ์๊ฐ(latency)๊ณผ ์ฒ๋ฆฌ๋(throughput)์ ์ต์ ํํ๋ฉด์๋ ์ฐ์ํ ์ฑ๋ฅ์ ์ ์งํ ์ ์๋ ๊ธฐ๋ฒ์ ์ฐ๊ตฌ ๋ฐ ๊ฐ๋ฐํฉ๋๋ค. ๋ํ, ๋ค์ํ ํ๋์จ์ด ํ๊ฒฝ์์ LLM์ ํจ๊ณผ์ ์ผ๋ก ๊ตฌ๋ํ ์ ์๋๋ก ํ๋ ์๋น ๊ธฐ์ ์ ๋ํด์๋ ๊น์ด ์๊ฒ ๊ณ ๋ฏผํ๊ณ ์์ต๋๋ค.
๐ ์ฑ๊ณผ ๋ฐ ๊ด๋ จ ์๋ฃ ์ฝ์ด๋ณด๊ธฐ
(์ ์ฐจ๊ฐ์ ์ถ๊ฐ์ ์ธ ๊ณผ์ ๊ฐ ์์ ์ ์์ต๋๋ค.)
์ฐ๋ฆฌ ํ์ ๊ฐ์ธ์ ์ฑ์ฅ๊ณผ ํ์ฌ์ ์ฑ์ฅ์ด ์ผ์นํ๋ ๊ฒ์ ์ถ๊ตฌํฉ๋๋ค. ๊ทธ๋ฌ๊ธฐ์ํด ML/NLP ์ ๋ฌธ๊ฐ๋ค(๋ฐ์ฌ ์กธ์ ๋ฐ ๋๊ธฐ์ ์ฐ๊ตฌ์ ์ถ์ )๊ณผ ํจ๊ป ๊ฐ์ธ์ ์ปค๋ฆฌ์ด ๋ฐ์ ์ ์ค์ง์ ์ผ๋ก ๊ธฐ์ฌํ ์ ์๋ ์ ๋ฌด๋ฅผ ์ ๊ณตํ๊ธฐ ์ํด ๋ ธ๋ ฅํ๊ณ ์์ต๋๋ค.
์ ๋ํ ๋ชจ๋ธ ๊ฒฝ๋ํ ์ ๋ฌธ๊ฐ๋ ์๋์์ง๋ง, ๋ ธํ์์ ML ๋ชจ๋ธ ๊ฒฝ๋ํ์ ์ฐ๊ด๋์ฌ๋ฌ ์ ๋ฌด์ ํ๋ก์ ํธ๋ฅผ ์งํํ๋ฉฐ AI ๋ชจ๋ธ์ ๋ํ ๊น์ ์ดํด๋ฅผ ์ป๊ฒ ๋์์ต๋๋ค. ๋ ๋์๊ฐ ๋ชจ๋ธ์์ ๋นํจ์จ์ ์ธ ๋ถ๋ถ์ ํ์ ํ๊ธฐ ์ํด์๋ ํด๋น ๋ชจ๋ธ์ ์ธ๋ฐํ๊ฒ ๋ถ์ํ ์ค ์๋ ์ญ๋์ ํค์ฐ๋ ๊ฒ์ด ํ์์ ์ด๋ผ๋ ๊ฒ๋ ์๊ฒ ๋์์ต๋๋ค. ์ฑ๋ฅ์ ๋ณต์ํ๊ธฐ ์ํด์ ํ์ต ๊ณผ์ ์ ์์ธํ ๊ฒํ ํ๋ค๊ฑฐ๋ ๋น ๋ฅด๊ฒ ๋ฐ์ ํ๋ ML ๋ถ์ผ์ ์ต์ ์ง์์ ์ดํผ๊ณ , ์๋ก์ด ์ ๊ทผ ๋ฐฉ์์ ๋ชจ์ํ๋ ๊ณผ์ ์์ ๋ง์ ๊ฒ์ ๋ฐฐ์ ์ต๋๋ค. ์ด ๊ณผ์ ์ ํญ์ ์ฆ๊ฑฐ์ด ๊ฒ ๋ง์ ์๋์์ง๋ง, ๊ฒฐ๊ตญ ์ ์ค๋ ฅ ํฅ์์ ํฌ๊ฒ ๊ธฐ์ฌํ๋ค๊ณ ํ์ ํฉ๋๋ค.
๐ ์ฝ์ด๋ณด๋ฉด ๋์ ๋๋ ๊ด๋ จ ์๋ฃ