비버의 Data log

[ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까?

비버데이터 — Sat, 2 Apr 2022 23:51:51 +0900

velog 로 글을 옮겼습니다!

[ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까?

회사에서 현재 기획 단계에 있는 새로운 시스템을 위해 ETL을 설계 & 구현해야 할 일이 생겼다. 수집된 raw data 가 서비스에 사용되기까지 많은 가공 단계를 거쳐야 할 것으로 예상되는데... 이 정

velog.io

[Tensorflow 2.0] 굳이 dtype float32 를 사용하는 이유

비버데이터 — Sat, 2 Apr 2022 09:23:58 +0900

velog 로 글을 옮겼습니다!

[Tensorflow 2.0] 굳이 dtype float32 를 사용하는 이유

sample data 를 tensorflow 로 생성하다 보면 dtype 을 float32 로 지정하는 경우가 자주 보인다. float32 는 32 비트 숫자, float64 는 64 비트 숫자이다.때문에 float64 는 숫자를 더 정밀하게 표현할 수 있고, floa

velog.io

2022년 3월 회고_비버의 Data log

비버데이터 — Thu, 31 Mar 2022 09:49:14 +0900

1. 공시 분석 시스템

AI 모델을 탑재한 공시 분석 시스템의 초기 기획을 진행하고 있다. 기획자와 협업을 하고 있는 것이 아니라... 직접 기획을 하고 있다. 신규 서비스 론칭을 줄줄이 앞두고 있는 상황이라, 현재 우리 연구소에 배정해줄 기획 인력이 없기 때문이다.

다른 개발팀 사람들에게 이 얘기를 했더니 '업무 일정표'를 작성하고 계시는 거냐는 질문을 받았다. 아니다... 어딜 누르면 어디로 넘어가고, 어디에 커서를 올리면 어떤 팝업이 뜨고, 무슨 문구를 어디에 배치하면 되는지 등... 말 그대로 페이지 구성을 하고 있다.

내가 할 수 없는 일이라는 생각은 들지 않는데, 내가 하는 것이 과연 효율적인가에 대한 의문이 문득문득 짓쳐든다. 업무 일지를 들여다봤더니 최근 한 달간은 개발보다 구글 프레젠테이션 파일을 작성하는 업무 항목이 더 많았다. 흠...

(대표님 저는 기획자가 아닌데요...!)

그래도 어쩔 수 없다. 속으로 울어봐야 뭐가 달라지나. 나도 기획팀 상황을 모르지는 않아서 대표님의 입장이 이해가 되었다.

효율과 비효율을 떠나서, 일단 내가 할 수 있는 건 모두 해보는 수밖에. 긍정 회로를 돌려보자. 아이디어 제안부터 기획, 개발까지 프로젝트의 전반적인 단계를 모두 직접 해보는 경험도 나중엔 다 뼈와 살이 되어 날 성장하게 해 줄 거다. (부디! 제발! ㅎㅎ)

2. 알고리즘 공부

알고리즘 공부를 다시 시작했다. 실서비스를 개발하면 할수록 실무에는 백엔드적인 지식이 중요하다는 걸 느끼기 때문이다. 우리 회사에는 MLOps 조직이 따로 없고, 인프라팀도 최근에 새롭게 막 재조직되었다. 그래서 자신이 개발한 모델들이 연구적 의미 그 이상으로 효용성을 가지길 원한다면 백엔드 엔지니어링은 필수다.

(그러니까 한마디로 AI 모델 개발할 줄 아는 백엔드 엔지니어가 되어야... 읍읍!)

아무튼! 그래서 작년 말쯤부터 느리지만 꾸준히 공부는 해오고 있는데... 공부를 하면 할수록 드는 찝찝함이 있었다. 그게 뭘까 했더니 결국 '기본'이다. 땅을 잘 다져야 그 위에 튼튼한 집을 지을 수 있다는 것.

새로운 기술, 더 좋은 기술을 적용하는 것도 좋지만... 역시 서버 개발의 시작은 자료구조와 알고리즘이 아닐까. 우리 회사도 그렇지만, 대다수의 IT기업들이 코딩 테스트를 시행하고 있는 건 다 그만한 이유가 있는 걸 테다.

그래서 프로그래머스에서 운영하는 알고리즘 파이썬 스터디를 신청해 진행하고 있다. 코딩 테스트 준비 코스이긴 한데 코테에 응시하려는 목적은 아니고, 커리큘럼이 짧고 효율적으로 짜여있는 것 같아서 골랐다.

이 코스의 장점은, 다른 사람들과 풀이에 대한 리뷰를 서로 주고받으며 공부할 수 있다는 점이다. 굉장히 창의적인 접근으로 문제를 푸는 사람들이 많아서 재밌다. 그리고 내가 여전히 발전해야 할 부분이 많다는 것도 새삼 깨닫게 된다. (취업 준비를 하던 시기에 알고리즘 공부를 꽤 했다고 생각했었는데도 말이다...)

3. 사내 스터디

우리 연구소에는 주마다 한 번씩 모이는 팀 스터디가 있었다. 인공지능 분야의 최신 트렌드를 파악하고, 서로 모르는 것을 물어보며 궁금증을 해결하는 유익한 시간이었다. 그런데 최근 1년, 회사가 급격한 변동을 겪는 동안 시급한 업무에 치이면서 흐지부지 사라져 버렸다.

현재 우리 팀은 채용을 적극적으로 진행하고 있다. 앞으로 신입분들이 많이 들어오게 될 텐데, 이 문화를 다시금 되살려 서로 도우며 함께 성장해나가는 분위기를 만들고 싶다. 진행 방식이나 주제에 대한 아이디어가 몇 가지 잡히면 팀장님과 팀원들에게 말씀드려 보려고 한다.

[python] np.linspace(), tf.linspace() 1차원 배열 생성 함수 정리

비버데이터 — Sun, 27 Mar 2022 15:30:58 +0900

velog 로 글을 옮겼습니다!

[python] np.linspace(), tf.linspace() 1차원 배열 생성 함수 정리

보다시피 전자는 numpy 의 함수, 후자는 tensorflow 의 함수이다.linspace 는 Linear Space(선형 공간)의 줄임말 같다.모든 함수가 그렇듯 이름에서 그 기능이 유추된다. 두 개 함수 모두 1차원 배열을 생

velog.io

2022.03.20 _ 회고록을 쓰기로 결심한 이유

비버데이터 — Sun, 20 Mar 2022 02:02:56 +0900

앞으로 종종 회고록을 써야겠다고 결심했다.

오류를 해결했던 방법이나, 새롭게 공부한 것을 요약정리한 내용이 아니라

개발자로 성장해가며 느끼는 나의 솔직한 경험을.

이제야 내가 주니어 개발자가 된지 겨우 1년 반 정도 되었다는 사실을 불현듯이 깨달았다. 불과 1년 하고도 몇 개월이 넘었을 뿐. 그럼에도 지금의 내가 1년 전의 나와 같은 사람이라는 사실이 믿기지 않는다. ssh 포트 번호를 엉뚱하게 입력해두고선 개발 서버 접근이 되지 않는다며 선임들에게 도움을 요청하던 나는 어디로 간 것일까?

입사한 시기와 꼭 맞물려서 회사가 급격한 변동을 겪었다. 12명 남짓했던 같은 팀 시니어 개발자들이 몇 개월 만에 모두 퇴사하고 팀장님까지도 예고없이 빠르게 이직을 하셨다. 입사한 지 1년도 채 지나지 않아 나는 팀에서 가장 연차가 오래된 개발자가 되었다. 그야말로 낙동강오리알 신세가 된 셈이었다.

회사는 학교가 아니다. 그래서 '저는 아직 모르는 것이 많은 주니어이기 때문에 그런 일은 할 수 없습니다.'라는 말은 할 수 없었다. 차라리 내가 할 수 있을 것 같은 업무를 먼저 찾아서 가져가자는 생각이 들었다. 이미 경험이 있는 사람처럼 능숙하지는 못해도, 남들보다 노력과 시간을 더 들여 공부한다면 어쩌면 나 혼자서라도 해낼 수 있을 것 같은 그런 일들을 말이다. (다행히 우리 회사의 새로운 CEO가 되신 대표님은 구성원들의 의견을 열린 마음으로 귀 기울여 들어주시는 분이셨다. 그 직원이 입사한 지 1년도 채 되지 않은 주니어 개발자라고 하더라도 말이다.)

그렇게 지나간 1년이었다.

마치 계단을 오르는 기분이었다고 생각한다. 한 계단을 오르면 기다렸다는 듯 다시 한 계단이 나타나는 계단. 하지만 언제나 그래 왔듯 성취감과 보람, 그리고 거기서부터 오는 재미가 나를 포기하지 않고 계속해서 움직이게 해 주었다.

그래서 나는 1년 후의 내가 지금의 나와는 또 달라져 있을 것임을 믿는다.

1년 만에 무슨 천재 개발자라도 된 양 말하나 싶기도 하다. 하지만 하늘과 땅 차이처럼 느껴지는 지난 1년이, 개발자로서의 전체 인생을 놓고 보면 겨우 한 발짝 정도 걸었을 뿐이라는 사실을 알고 있다.

그렇기 때문에 회고록을 써야겠다는 결론에 다다르게 된 것이다. 2023년, 2024년의 나는 지금보다 분명 더 성장해있을 테니까. 그 과정을 잊어버리고 싶지 않다.

어느 정도의 빈도로 작성할 수 있을지는 모르겠다. 천천히 할 수 있는 만큼 해보면서 적당한 텀을 잡아가 보려고 한다.

····그럼 이번에도 늘 하는 마무리!

나 자신 화이팅

[MacOS] default 쉘 zsh 에서 bash 로 변경하기

비버데이터 — Sat, 26 Feb 2022 20:04:31 +0900

velog 로 글을 옮겼습니다!

[bash/zsh] 쉘 변경하기

MacOS 에 아직 익숙하지 않다. 터미널의 기본 쉘인 zsh 도 여전히 낯설어서 그냥 평소 자주 사용했던 bash 로 변경하고 싶었다. 마침 친절하게 안내 문구로 명령어를 알려주길래 'chsh -s /bin/bash' 을 실

velog.io

[GitLab] git lfs 로 깃랩에서 모델 가중치 파일 관리하기

비버데이터 — Tue, 22 Feb 2022 17:56:51 +0900

velog 로 글을 옮겼습니다!

[GitLab] git lfs 로 깃랩에서 모델 가중치 파일 관리하기

딥러닝 모델은 '모델 구조' + '가중치 파일' 2 개의 구성요소로 이루어져 있다고 볼 수 있습니다.모델 구조 = 껍데기, 가중치 파일 = 알맹이인 셈이고요. 당연히 뭐가 더 중요하다고는 할 수 없습니

velog.io

[JMeter/Linux] 리눅스 환경에서 JMeter non GUI 모드로 사용하기

비버데이터 — Tue, 8 Feb 2022 21:33:51 +0900

안녕하세요. 비버입니다. :D

API 성능 테스트를 위한 툴 JMeter 를 리눅스 환경에서 non GUI 모드로 사용하는 방법에 대해 정리해두려고 합니다.

저는 최근 회사의 새로운 서비스에 사용될 '문서 카테고리를 분류 모델'을 개발하였습니다. BentoML 을 활용하여 API 개발 & 도커라이징까지 완료했고, 연구용 서버에서 curl GET 요청으로 데이터 송수신 테스트까지 마친 상황이었죠. 저희 팀은 매주 한 번씩 대표님과 개발 실장님이 참석하시는 회의에서 지난 주간 동안 진행한 업무 내용을 보고드리는데요. 개발 실장님께서 제가 개발한 문서 분류 API의 성능 테스트가 필요할 것 같다고 하시며 JMeter 를 말씀하셨습니다. (API 성능 테스트를 위한 툴이 여럿 있는 것을 압니다. 하지만 이러한 이유로 저는 이번에 JMeter 를 사용하게 되었습니다. )

사용해본 적이 없었던 터라 구글링을 해보았는데, 윈도우 환경에서 GUI 모드로 사용하는 방법에 대해서는 설명해둔 글이 많았지만 non GUI 모드로 사용하는 방법에 대해 설명해둔 글은 많지 않았습니다. 때문에 우분투 OS 가 설치된 회사 서버를 사용해야 하는 저는 어쩔 수 없이 약간의 삽질을 거칠 수밖에 없었는데요. 다행히 어렵지 않게 해결하였지만, 혹 저와 같은 상황을 겪을 분들을 위해 내용을 정리합니다.

0. 시작하기 전에

JMeter 를 non GUI 모드로 사용하더라도 테스트 실행에 필요한 jmx 파일은 JMeter GUI 창을 활용해 생성하는 것이 편리합니다. JMeter GUI 모드 사용 방법은 구글링을 하면 설명글이 많이 나오니, 원하는 글을 참고하셔서 JMeter GUI 실행 방법을 확인해주세요.

1. JMeter 설치하기

Apache JMeter - Apache JMeter™

Apache JMeter™ The Apache JMeter™ application is open source software, a 100% pure Java application designed to load test functional behavior and measure performance. It was originally designed for testing Web Applications but has since expanded to oth

jmeter.apache.org

위 링크의 Download Releases 에서 Binaries 를 다운로드 받습니다.

OS 종류에 따라 필요한 Binaries 를 선택해 다운 받으면 됩니다.
Ubuntu 환경인 저의 경우는 .tgz 파일을 다운 받았습니다.
wget 을 활용하세요. 편리합니다.

Download Releases &amp;amp;amp;gt; apache-jmeter-버전.tgz

cd 다운로드를 원하는 디렉토리 경로

# 다운로드
wget https://dlcdn.apache.org//jmeter/binaries/apache-jmeter-5.4.3.tgz

# 압축 풀기
tar -xvz apache-jmeter-5.4.3.tgz

2. jmx 파일 만들기

0. 시작하기 전에에서 언급했던 것처럼 jmx 파일을 생성하는 것은 JMeter GUI 창을 활용하는 것이 편리합니다. 윈도우 OS가 설치되어 있는 여분의 노트북 등을 활용하세요. (저는 윈도우 환경의 사무실 PC가 한 대 있었기 때문에 이를 활용했습니다.)

2-1. jmeter.bat 파일을 실행하여 JMeter GUI 창 열기

윈도우 PC 의 jmter.bat 파일 위치

2-2. Thread Group 추가

좌측 상단 TestPlan 우클릭 > Add > Threads (Users) > Thread Group

Thread Group 이란?

JMeter 에서 Thread 란 곧 사용자(User)라고 생각하면 됩니다.
따라서 Thread Group 이란, 우리가 API 를 테스트하기 위해 가상으로 생성할 '사용자 그룹' 을 뜻합니다.

Thread Group 설정 세팅

Number of Threads (users) : 몇 명의 동시 사용자를 설정할 것인지
Ramp-up period (seconds) : 몇 초에 한 번씩 사용자들이 요청을 보내도록 할 것인지
Loop Count : 사용자들이 요청을 몇 번 반복하여 보내도록 할 것인지

예시)&amp;nbsp; 10 명의 동시 사용자가&amp;nbsp; 1초 에 한 번씩 요청을 보내도록 하며, 이를&amp;nbsp; 10번 &amp;nbsp;반복하는 테스트

2-3. HTTP Request 추가

어떤 API 의, 어떤 주소에, 어떻게 요청을 날릴 것인지 설정하는 곳입니다.

Thread Group 우클릭 > Add > Sampler > HTTP Request

HTTP Request 설정 세팅

Protocol : http (또는 https)
Server Name or IP : 서버 도메인명 또는 IP 주소
Port Number : 포트 번호
Method : Parameter 를 받아오는 방식 (Default 는 Get)
Path : 페이지의 주소 (ex. /predict)
Body Data : 전송할 입력 데이터

2-4. HTTP Header Manager 추가

HTTP Request 우클릭 > Add > Config Element > HTTP Header Manager

아래 이미지와 같이 Content-Type, Content-Encoding 등 HTTP 요청 헤더 정보를 입력하세요. (아래 부분에 Add 버튼이 있습니다.)

2-5. jmx 파일로 저장하기

File > Save Test Plan as

저장한 jmx 파일은 리눅스 환경 PC 로 옮겨주세요.

3. 리눅스 환경에서 JMeter 실행

# Jmeter 실행 파일이 있는 경로로 이동
cd ~/apache-jmeter-5.4.3/bin

# jmeter 실행
./jmeter -n -t <파일명>.jmx -l <로그파일명>.log

# 사용예시
./jmeter -n -t my_test.jmx -l my_test_result.log

옵션 설명

-n : non GUI 모드
-t : 우리가 생성한 jmx 파일 경로
-l : 테스트 결과를 기록할 로그 파일 경로

테스트가 완료된 후 log 파일을 확인하면 테스트의 결과를 확인할 수 있습니다.

축하합니다. 짝짝짝!

오늘도 도움이 되셨다면 아래 공감 버튼을 꾹! 부탁드립니다.
제 기분이 좋아지니까요.
감사합니다!

[kafka/python] 에러 해결! import KafkaConsumer "cannot import name 'IncompatibleBrokerVersion' from 'kafka.errors'"

비버데이터 — Tue, 23 Nov 2021 17:22:57 +0900

velog 로 글을 옮겼습니다!

[kafka/python] 에러 해결! import KafkaConsumer "cannot import name 'IncompatibleBrokerVersion' from 'kafka.errors'"

파이썬에서 kafka 패키지의 KafkaConsumer 를 임포트 할 수 없다.pip install kafka 로 kafka 를 설치했더니 원인을 알 수 없는 syntax 에러가 발생했었다.때문에 pip install -U kafka-python 로 카프카 패키지를 재

velog.io

[Linux] 좀비 프로세스 <defunct> 죽이기 간단 정리!

비버데이터 — Mon, 15 Nov 2021 09:51:23 +0900

velog 로 글을 옮겼습니다!

[Linux] 좀비 프로세스 <defunct> 죽이기 간단 정리!

GPU에 올린 train 작업을 종료하기 위해 nvidia-smi에서 확인된 PID 를 kill 했다. 그런데 해당 프로세스에 묶인 GPU 메모리가 free 되지 않는다. 모델과 데이터가 여전히 디바이스에 올라가 있다는 뜻이다

velog.io

Contact

비버데이터 — Thu, 2 Sep 2021 19:02:23 +0900

안녕하세요. 비버입니다! :D

제 블로그와 관련하여 문의 혹은 연락할 일이 있으면 아래 이메일 주소로 연락해 주세요.

rue7862@gmail.com

[머신러닝] 앙상블 (Ensemble) 은 항상 모델의 성능을 향상시킬까?

비버데이터 — Thu, 2 Sep 2021 18:28:00 +0900

velog 로 글을 옮겼습니다!

[머신러닝] 앙상블 (Ensemble) 은 항상 모델의 성능을 향상시킬까?

Hi! I'm Jaylnne ✋ 저는 최근에 검색어(=쿼리 키워드) 분류 모델을 개발하고 있습니다. 저와 연구소 팀원 한 분(총 2명)이서 데이터 수집부터 개발까지 1~2개월간 진행한 프로젝트였습니다. 상당히

velog.io

[NLP] BertAdam optimizer 의 개념 & Adam 과의 차이점 정리!

비버데이터 — Thu, 8 Jul 2021 15:42:18 +0900

velog 로 글을 옮겼습니다!

[NLP] BertAdam optimizer 의 개념 & Adam 과의 차이점 정리!

Hi! I'm Jaylnne. ✋오늘은 BERT 모델을 공부하던 중 BERTAdam이라는 독특한 옵티마이저(optimizer)를 접하게 되어서 이것에 대해 정리해보고자 글을 써보기로 했습니다.아래 huggingface 깃헙 링크에 BERTAdam

velog.io

[python] 파이썬 ravel() 배열 1차원 변경 메소드 정리

비버데이터 — Fri, 23 Apr 2021 22:36:50 +0900

velog 로 글을 옮겼습니다!

[python] 파이썬 ravel() 배열 1차원 변경 메소드 정리

.ravel() 과 .flatten() 의 기능이 비슷해 아래와 같이 정리했다.다차원 배열(array)을 1차원 배열(array)로 평평하게 펴주는 넘파이(numpy) 함수1차원 배열을 다차원 배열로 바꾸는 .reshape()과 반대의 기능

velog.io

[python] 파이썬 str.maketrans() 문자열 치환 메소드 정리

비버데이터 — Mon, 19 Apr 2021 13:25:54 +0900

velog 로 글을 옮겼습니다!

[python] 파이썬 str.maketrans() 문자열 치환 메소드 정리

문자열을 치환할 때 사용하는 매핑 변환 테이블을 만들 때 사용한다.가장 간단하게 이용하는 방식은 intab, outtab 두 옵션 값에 문자열 형태로 입력해주는 것이다. 숫자도 가능하다.단, intab이 outtab

velog.io

[python] 파이썬 dict.fromkeys() 딕셔너리 생성 메소드 정리

비버데이터 — Mon, 19 Apr 2021 13:08:19 +0900

Velog 로 글을 옮겼습니다!

[python] 파이썬 dict.fromkeys() 딕셔너리 생성 메소드 정리

딕셔너리를 생성할 때 편리하게 사용할 수 있는 메소드. seq 옵션 값에 문자열을 입력할 수도 있다.seq: 생성하려는 dictionary의 키(key)의 목록value: 생성하려는 dictionary의 값(value)

velog.io

[python] 파이썬 upper(), lower(), isupper(), islower() 함수

비버데이터 — Mon, 5 Apr 2021 13:30:22 +0900

velog 로 글을 옮겼습니다!

[python] 파이썬 upper(), lower(), isupper(), islower() 함수

1\. str.upper(): 문자열을 대문자로 변경2\. str.lower(): 문자열을 소문자로 변경3\. str.isupper(): 문자열이 대문자인지 확인4\. str.islower(): 문자열이 소문자인지 확인

velog.io

[python] 파이썬 집합 관련 자료형 set(), frozenset() 함수

비버데이터 — Thu, 1 Apr 2021 13:44:57 +0900

파이썬의 자료형 종류

1. 시퀀스 타입 (sequence type): 저장된 값의 순서 정보가 있고, 중복된 값을 허용한다. ex) list, tuple, range, str

2. 매핑 타입 (mapping type): 순서 정보가 포함되는 것이 본질은 아니나, 파이썬 3.7 이상부터는 dict 도 순서 정보를 유지한다.

3. 셋 타입 (set type): 저장된 값의 순서 정보가 없고, 중복된 값을 허용하지 않는다. 수학의 집합과 비슷하다. ex) set, frozenset

set(), frozenset() 차이

frozenset과 set은 거의 모든 문법과 기능이 동일하다. 단, frozenset은 그 이름에서도 짐작할 수 있듯이 할당된 집합의 값을 그 상태 그대로 '얼려'서 저장한다. 즉, 수정이 불가한 객체이다. (immutable)

s = {1, 2, 3, 4}
fs = frozenset([1, 2, 3, 4])

s.add(5)
#  fs.add(5) 불가능
s.discard(5)
#  fs.discard(5) 불가능

s.update({5, 6, 7})
#  fs.update({5,6,7}) 불가능

[머신러닝 기초] K겹 교차 검증(K-fold cross validation) 이란? 초보자를 위한 쉽고 간단한 정리!

비버데이터 — Sat, 6 Mar 2021 13:31:35 +0900

안녕하세요. 비버입니다!

새롭고 어려운 지식을 많이 아는 것도 좋지만 기본기를 단단히 다지는 일도 못지않게 중요하다고 생각합니다. 그래서 저는 시간이 날 때마다 틈틈이 내가 알고 있다고 생각했던 기본 개념들을 하나씩 짚어보며 복습하고는 하는데요. 개념을 처음 접하는 초보자분들도 쉽게 이해하실 수 있었으면 해서, 쉽게 풀어 정리해볼까 합니다.

오늘은 K겹 교차 검증에 대해 복습하고, 정리해두도록 하겠습니다.

1. K겹 교차 검증의 출발

"왜 K겹 교차 검증을 생각해내게 되었을까?"

처음 이 개념을 배울 때는 'K겹'이라는 단어를 보고서는 얇은 반죽이 켜켜이 겹쳐져 있는 페스츄리 빵을 떠올릴 뿐이었습니다. 하하. 무엇을 어떻게 왜 겹겹이 교차해서 검증하겠다는 건지, 이름만으로는 전혀 감이 잡히질 않았죠.

머신 러닝 모델을 학습시킬 때 우리는 주로 데이터를 '학습 데이터'와 '테스트 데이터'로 나누어 작업합니다. 그렇죠? 테스트 데이터는 모델을 학습시킬 때는 사용하지 않고, 과적합을 방지하면서 모델이 잘 학습되었는지 테스트해보기 위해 사용합니다. 하지만 이 말은 즉, 학습 데이터로 사용한 데이터는 모델 테스트 과정에선 전혀 사용되지 않는다는 뜻이기도 합니다.

학습 데이터와 테스트 데이터 일반적 비율 한눈에 보기

학습 데이터와 테스트 데이터의 비율을 보통 7:3으로 나눈다는 것을 생각해보면 아깝습니다. 70% 데이터를 모델 테스트 과정에서도 사용할 방법이 있다면 좋겠죠! (물론 현업에서는 데이터에 따라 7:3이 아닌 다른 비율로 나누는 경우도 많습니다.)

그렇게 K겹 교차 검증이라는 개념이 생겨나게 된 겁니다.

2. K겹 교차 검증 (K-fold cross validation) 의 의미

그래서 K겹 교차 검증이 뭔데? 어떻게 전체 데이터셋을 모델 테스트에 활용할 수 있게 하는 건데?라는 생각이 듭니다. 이제 본격적으로 개념의 의미에 대해 알아보아요.

"집합을 체계적으로 바꿔가면서 모든 데이터에 대해 모형의 성과를 측정하는 검증 방식"

위 말은 K겹 교차 검증의 간단한 정의입니다. 하지만 대부분의 사전적 정의가 그렇듯 초보자는 무슨 말인지 이해할 수가 없습니다. (삑- 정상입니다. 괜찮습니다.) 그러니 우리는 차근차근 하나씩 떼어 이해해 봅시다!

2-1. 'K겹'

우선 'K겹' 이 가리키는 의미는 전체 데이터셋을 K개의 부분집합으로 나눈다는 것입니다. 별거 아닙니다. 그냥 아래 그림을 보세요!

이렇게 k개로 나눈 부분집합 데이터를 fold 라고 부른답니다. 앞에 숫자만 붙여 불러주면 되겠네요. 1번 fold, 2번 fold, 3번 fold ······ k번 fold, 이렇게요. 앞서 말씀드린

"집합을 체계적으로 바꿔가면서 모든 데이터에 대해 모형의 성과를 측정하는 검증 방식" 정의에서 '집합'이 무엇을 의미하는지 이제 알겠네요.

2-2. 교차

'K겹'이 무슨 말인지 알았으니 다음 단어를 봅시다. 무엇을 '교차' 한다는 뜻일까요? 이번에도 그림으로 이해하는 게 훨씬 쉽습니다. 아래를 보세요.

주황색 칸: 학습 데이터, 하얀색 칸: 테스트 데이터

k개로 나눈 데이터셋의 부분집합들 (더 쉽게 말하자면, 위 그림에서 막대기들의 칸 한 칸씩이요)을 1번 fold, 2번 fold ······ 이렇게 부른다고 했죠. 바로 그 fold 들을 차례대로 교차해 테스트 데이터로 사용한다는 말입니다.

위 예시로 보여드린 그림의 맨 위 작대기를 보세요. 아하. 그러니까 예시에서는 첫 번째 모델 학습에서는 5번 fold를 테스트 데이터로 사용한다고 것으로 이해할 수 있겠네요. 맨 마지막 다섯 번째 fold 가 하얀색이니까요. 그리고 다음 모델 학습에서는 4번 fold가 테스트 데이터이고, 그다음엔 3번 fold ····· 이런 식으로 이어지면서 마지막 다섯 번째 모델 학습까지- 차례대로 fold가 테스트 데이터로 교차되어 사용되고 있습니다.

"집합을 체계적으로 바꿔가면서 모든 데이터에 대해 모형의 성과를 측정하는 검증 방식" 라고 하는 정의에서 '체계적으로 바꿔가면서 모든 데이터에 대해' 부분이 무엇을 의미하는지 이제 알겠네요.

2-3. '검증'

검증의 의미는 깊게 생각할 것도 없습니다. 테스트 데이터는 모델이 데이터를 잘 학습했는지 '검증'해보기 위해 사용하는 데이터잖아요! 사실 검증을 영어로 말하면 테스트일 뿐인 겁니다.

"집합을 체계적으로 바꿔가면서 모든 데이터에 대해 모형의 성과를 측정하는 검증 방식" 이라고 말한 정의에서 '검증'이 뜻하는 부분은 어디인지 너무 쉽게 아시겠죠?

3. K겹 교차 검증의 결과

이제 K겹 교차 검정의 의미와 원리는 대충 알겠네요. 만약 우리가 모델의 정확도(accuracy)를 측정해보고 싶다면 1번 fold가 테스트 데이터일 때 모델을 학습시켜 정확도를 산출하고, 2번 fold가 테스트 데이터일 때 모델을 학습시켜 정확도를 산출하고, 3번 fold가 테스트 데이터일 때 모델을 학습시켜 정확도를 산출하는 이 과정을 k번 fold까지 반복하는 겁니다. 어라. 그럼 여기서 한가지 의문이 들죠.

❓ 잠깐, 그럼 정확도가 대체 몇 개 나오는 거야? 그러니까 모델 검증 결과가····· k개나 나오는 거야?

네, 맞습니다.

K겹 교차 검증의 결과는 K개

테스트 데이터를 다르게 설정할 때마다 학습 데이터의 구성도 당연히 달라집니다. (위 그림에서 하얀색 칸 위치가 달라질 때마다 주황색 칸의 구성도 달라지고 있는게 보이죠.) 약간씩 다른 구성의 학습 데이터로 학습하는 모델이 총 k번 돌아가게 되는 셈이죠! 모델이 총 k번 돌아갔으니 결과물도 총 k개 나오게 되는 겁니다. 그리고 이 k개의 결과물들의 평균값이 K겹 교차 검증 방식을 활용한 모델의 성능이 되는 거죠!.

4. K값 설정

그럼 K값은 몇으로 설정해주어야 할까요. 일반적으로는 5나 10으로 설정해준다고 합니다.

하지만 일반적으로 그렇다는 말이지 절대적으로가 아니라는 것 아시죠? 데이터와 모델의 종류, 혹은 컴퓨터의 성능 등에 따라서 언제든 상황에 맞추어 다르게 설정해줄 수 있습니다. 초보자 입장에서는 이런 옵션 값을 설정해주는 것이 까다롭게 느껴집니다. 무엇이 적정값일지 감도 잘 잡히지 않고요. 그게 정상이니 걱정하지 마세요. 공부를 점차 해나가시고, 실습 경험이 쌓이다 보면 언젠가 그에 대한 감이 잡히실 겁니다.

Tip❗ 파이썬에서는 sklearn(사이킷런) model_selection 패키지의 cross_val_score 모듈을 활용하여 쉽게 K겹 교차 검증을 실시할 수 있습니다.

from sklearn.model_selection import cross_val_score

이렇게 'K겹 교차 검증'에 대해 정리해보았습니다. 저도 오랜만에 개념에 대해 복습할 수 있어서 좋았네요.

[파이토치] 머신러닝 Pytorch 모델의 성능을 극대화하는 7가지 팁!

비버데이터 — Fri, 26 Feb 2021 16:33:40 +0900

velog 로 글을 옮겼습니다.

Pytorch 머신러닝 모델의 성능을 극대화하는 7가지 팁!

Hi! I'm Jaylnne. ✋페이스북에서 공개한 파이토치 모델을 돌려보던 중, GPU 환경은 건드리지 않고 모델 성능을 향상시킬 수 있는 방법이 없을까? 하는 궁금증이 들었다. 그런 방법이 없을 리 없다고

velog.io

[파이토치] The given NumPy array is not writeable, and PyTorch does not support non-writeable tensors. This means you can write to the underlying (supposedly non-writeable) NumPy array using the tensor.

비버데이터 — Thu, 12 Nov 2020 10:29:18 +0900

안녕하세요. 비버입니다!

오늘은 Pytorch(파이토치) 독학을 위해 MNIST 데이터를 실습해볼 예정이었어요. MNIST란 손글씨 이미지 분류를 실습해볼 수 있도록 제공되고 있는 공개 데이터셋을 말해요. Iris(아이리스), Titanic(타이타닉) 처럼 연습용으로 널리 쓰이는 유명한 데이터셋이랍니다.

어김없이 시작과 함께 오류를 만났는데, 한 번 자세히 뜯어보고 싶단 생각에 글로 정리하게 되었습니다! ㅎㅎ

UserWarning: The given NumPy array is not writeable, and PyTorch does not support non-writeable tensors. This means you can write to the underlying (supposedly non-writeable) NumPy array using the tensor. You may want to copy the array to protect its data or make it writeable before converting it to a tensor. This type of warning will be suppressed for the rest of this program. (Triggered internally at /pytorch/torch/csrc/utils/tensor_numpy.cpp:141.)
return torch.from_numpy(parsed.astype(m[2], copy=False)).view(*s)

내가 예상하지 않은 출력이 뜨면 일단 살짝 당황스럽기 마련이죠. 다행히 해당 문구는 'UserWarning' 이라는 단어로 시작하고 있어요. 제가 앞서 오류를 만났다고 표현했는데 사실 오류는 아니고, 경고였던 거죠. 무시하고 넘어가도 코드 실행에는 문제가 되지 않겠으나, 사실 꺼림칙하잖아요. 뭘 경고하려고 하는 건지, 내가 혹시 코드에 실수한 거라도 있는 건지.

그래서 왜 이 경고문구가 뜨는지 알아보기로 했답니다.

참고로 위 경고문구는 아래 코드를 실행했을 때 발생했어요.

# MNIST 실습을 위해 파이토치로 데이터셋을 편리하게 다운로드 해오는 코드

mnist_train = dsets.MNIST(root='MNIST_data/',
                          train=True,
                          transform=transforms.ToTensor(),
                          download=True)

mnist_test = dsets.MNIST(root='MNIST_data/',
                         train=False,
                         transform=transforms.ToTensor(),
                         download=True)

자, 그럼 경고문구를 찬찬히 하나씩 뜯어볼까요?

우선 영어로 되어 있는 경고문구를 앞부분부터 일부 직역하면,

주어진 Numpy array(Numpy 배열)는 쓰기 불가 상태입니다. 그리고 Pytorch(파이토치)는 쓰기불가(non-writeable) 상태인 텐서들은 지원하지 않습니다. 즉, 당신은 텐서를 이용하여 underlying Numpy array에 쓰기가 가능합니다. 데이터를 보호하거나 그것을 쓰기 상태로 변경하고 싶다면 array를 텐서로 변환하기 전에 그 데이터를 복사해서 이용하세요.

아하, 감이 잡히네요. 그러니까 제가 다운로드 받은 MNIST 데이터는 현재 '쓰기 불가' 상태라는 거예요. 쓰기불가 상태가 뭔지 정확히는 모르겠지만 말 그대로 직접적인 수정이 불가한 어떤 상태라는 거겠죠. 그리고 이 쓰기불가 상태인 넘파이 배열은 파이토치가 지원하지 않는대요. (참고로 저는 파이토치 1.7.0 버전을 이용하고 있습니다.)

왜?라는 생각이 드는 순간 바로 설명이 이어지네요. '데이터를 보호하거나' 아- 그렇죠. 원본 데이터를 직접 수정하면 나중에 '앗 잘못 수정했네 다시 되돌리고 싶어 ㅠ' 하는 상황이 발생해도 원본 데이터로 쉽게 되돌릴 수 없겠죠. 그러니까 원본 데이터는 직접 수정이 불가한 상태로 해두고 원본 데이터를 하나 복사해서 복사한 데이터를 이용해 이것저것 하는 게 안전하다는 거예요.

아하 아하! 이제 왜 이런 경고문구를 띄웠는지 알 것 같네요. 경고문구의 내용이 영 신경 쓰인다면 데이터의 복사본을 만들어 사용하고, '귀찮다! 원본 데이터는 다시 다운받으면 된다!' 하면 그냥 사용하고 그렇게 하면 되겠네요.

경고문구는 오류가 아니기 때문에 무시하고 넘어가도 되지만 가끔 이렇게 얘네가 어떤 내용을 말하고자 하는지 유심히 살펴보는 것도 앞으로의 공부에 많은 도움이 될 것 같습니다!

그럼! 비버였습니다! :D

# 참고, 파이토치 버전을 확인하는 코드
import torch
print(torch.__version__)

[WSL 설치 에러] Error: 0x80370102 간단하게 해결해봅시다!

비버데이터 — Wed, 4 Nov 2020 15:11:37 +0900

velog 로 글을 옮겼습니다.

[WSL] Error: 0x80370102 해결

WSL2 를 설치하는 도중 아래와 같은 에러가 발생했다.Error: 0x80370102열심히 구글링을 거친 결과 Microsoft 공식 페이지에서 아래 내용을 발견했다.해당 페이지에서 제안하고 있는 항목을 하나씩 확인

velog.io

[Keras 설치 에러] Keras requires TensorFlow 2.2 or higher. Install TensorFlow via `pip install tensorflow`

비버데이터 — Sun, 1 Nov 2020 01:28:30 +0900

velog 로 글을 옮겼습니다.

[keras] import keras 에러 해결

keras 를 import 할 때 아래와 같은 에러가 발생하면 어떻게 해야할까?ImportError: Keras requires TensorFlow 2.2 or higher. Install TensorFlow via pip install tensorflow에러 메시지를

velog.io

[TensorFlow 2.0] 사라진 Session 모듈 "쉬운 대체 방법!"

비버데이터 — Wed, 25 Mar 2020 01:20:12 +0900

안녕하세요! 비버입니다! :D

저는 요즘 유튜브에서 김성훈 교수님의 '모두를 위한 딥러닝 강좌 시즌1' 를 들으며 텐서플로우를 이용한 딥러닝을 복습해보고 있어요. 그런데 시작부터 부닥치는 문제점이 참 많아요. 그중에 하나가 바로 TensorFlow의 Session 모듈!

그렇습니다.. 교수님이 강의를 촬영할 당시 TensorFlow의 버전은 1.0.0. 그러나 현재 내 파이썬에 설치된 TensorFlow는 버전 2.0...

2.0으로 업그레이드된 TensorFlow는 더이상 Session 모듈을 지원하지 않는다!

교수님 강의 캡처 이미지. 보다시피 Session 모듈을 이용한 코드를 예제로 보여주고 계심.

유튜브 영상의 댓글에는 한 친절한 수강생(?)분께서 다음과 같은 댓글을 달아두셨어요.

영상 아래 댓글창에 올라와 있는 한분의 댓글

저 말대로 코드를 입력하면 Session 모듈을 이용하실 수 있어요.

하지만!

실행 결과창에 끊임없이 경고 메세지가 뜬답니다.

위 댓글창의 코드를 입력하면 뜨는 경고 메세지

영어로 어쩌구 저쩌구. 복잡해보이지만 어쨌든 위 코드 또한 조만간 지원하지 않게 될 거라는 내용이에요.

그렇다면 결국 TensorFlow 2.0에 맞춰서 새로운 방식의 코드 작성 방식을 익힐 수밖에 없겠죠.

구글링 했습니다. 새로운 업데이트 내용들, Session 모듈 관련된 내용만 걸러 읽었어요.

그랬더니 오- 확실히 2.0 버전 방식이 더 직관적이고 편리해졌더라고요.

김성훈 교수님의 코드 예제를 2.0 방식으로 바꾸어 써보았는데 아래를 참고하시면 바로 이해가 되실 거라고 생각해요.

! ) 3 과 4를 더해서 7이 나오게 만드는 간단한 예제에요.

TensorFlow V1 방식

1
2
3
4
5
6
7
8
9
10
11
12

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
 
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
 
node1 = tf.constant(3.0, tf.float32)
node2 = tf.constant(4.0, tf.float32)
node3 = tf.add(node1, node2)
 
sess = tf.Session()
print(sess.run(node3))

TensorFlow V2 방식

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

# Info 로그를 필터링하려면 1, Warning 로그는 2, Error 로그는 3
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
 
import tensorflow as tf
 
# 앞쪽 레이어의 노드 빌드하기
node1 = tf.constant(3.0, tf.float32)
node2 = tf.constant(4.0, tf.float32)
 
# 뒷쪽 레이어의 노드(즉 node3)를 함수로 정의하기
@tf.function
def forward() :
    return node1 + node2
 
# 그래프를 실행시키고 output을 확인해보기
out_a = forward()
print(out_a)
 

두 개를 비교해보세요. 차이를 아시겠나요?

V1에서는 node들을 모두 빌드업 해둔 다음 Session 모듈을 이용해 그래프를 실행시켰어요.

하지만 V2에서는 입력값 (input)이 들어가는 node들만 빌드업 해둔 후 그 다음 node (이 예제에서는 node3)은 미리 빌드업 해둔 게 아니라 함수로 정의해서 실행시켰죠.

딥러닝 공부를 위해 파이썬 기초 문법을 공부해보신 분들에게는 Session 이라는 낯선 모듈보다 def가 훨-씬 익숙하실 거예요. 그렇죠? 그래서인지 저는 개인적으로 V2의 코딩 방식이 더 마음에 들었어요.

결과는 둘다 똑같이 7

1
2
3
4

#V1의 결과 (앞서 말한 경고 메시지가 함께 뜸)
Instructions for updating:
non-resource variables are not supported in the long term
7.0
 

1
2

#V2의 결과
tf.Tensor(7.0, shape=(), dtype=float32)

둘다 오류 없이 결과값(output)이 잘 나오지만, 앞으로 사용하지 못하게 될 가능성이 있는 V1 방식보단 V2 방식에 익숙해지는 게 좋을 것 같아요.

이상! 비버였습니다! :D