TIL

[ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까?

velog 로 글을 옮겼습니다! 🚚 [ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까? 회사에서 현재 기획 단계에 있는 새로운 시스템을 위해 ETL을 설계 & 구현해야 할 일이 생겼다. 수집된 raw data 가 서비스에 사용되기까지 많은 가공 단계를 거쳐야 할 것으로 예상되는데... 이 정 velog.io

[python] np.linspace(), tf.linspace() 1차원 배열 생성 함수 정리

velog 로 글을 옮겼습니다! 🚚 [python] np.linspace(), tf.linspace() 1차원 배열 생성 함수 정리 보다시피 전자는 numpy 의 함수, 후자는 tensorflow 의 함수이다.linspace 는 Linear Space(선형 공간)의 줄임말 같다.모든 함수가 그렇듯 이름에서 그 기능이 유추된다. 😌두 개 함수 모두 1차원 배열을 생 velog.io

[MacOS] default 쉘 zsh 에서 bash 로 변경하기

velog 로 글을 옮겼습니다! 🚚 [bash/zsh] 쉘 변경하기 MacOS 에 아직 익숙하지 않다. 터미널의 기본 쉘인 zsh 도 여전히 낯설어서 그냥 평소 자주 사용했던 bash 로 변경하고 싶었다. 마침 친절하게 안내 문구로 명령어를 알려주길래 'chsh -s /bin/bash' 을 실 velog.io

[GitLab] git lfs 로 깃랩에서 모델 가중치 파일 관리하기

velog 로 글을 옮겼습니다! 🚚 [GitLab] git lfs 로 깃랩에서 모델 가중치 파일 관리하기 딥러닝 모델은 '모델 구조' + '가중치 파일' 2 개의 구성요소로 이루어져 있다고 볼 수 있습니다.모델 구조 = 껍데기, 가중치 파일 = 알맹이인 셈이고요. 당연히 뭐가 더 중요하다고는 할 수 없습니 velog.io

[JMeter/Linux] 리눅스 환경에서 JMeter non GUI 모드로 사용하기

안녕하세요. 비버입니다. :D API 성능 테스트를 위한 툴 JMeter 를 리눅스 환경에서 non GUI 모드로 사용하는 방법에 대해 정리해두려고 합니다. 저는 최근 회사의 새로운 서비스에 사용될 '문서 카테고리를 분류 모델'을 개발하였습니다. BentoML 을 활용하여 API 개발 & 도커라이징까지 완료했고, 연구용 서버에서 curl GET 요청으로 데이터 송수신 테스트까지 마친 상황이었죠. 저희 팀은 매주 한 번씩 대표님과 개발 실장님이 참석하시는 회의에서 지난 주간 동안 진행한 업무 내용을 보고드리는데요. 개발 실장님께서 제가 개발한 문서 분류 API의 성능 테스트가 필요할 것 같다고 하시며 JMeter 를 말씀하셨습니다. (API 성능 테스트를 위한 툴이 여럿 있는 것을 압니다. 하지만 이러한 ..

[kafka/python] 에러 해결! import KafkaConsumer "cannot import name 'IncompatibleBrokerVersion' from 'kafka.errors'"

velog 로 글을 옮겼습니다! 🚚 [kafka/python] 에러 해결! import KafkaConsumer "cannot import name 'IncompatibleBrokerVersion' from 'kafka.errors'" 파이썬에서 kafka 패키지의 KafkaConsumer 를 임포트 할 수 없다.pip install kafka 로 kafka 를 설치했더니 원인을 알 수 없는 syntax 에러가 발생했었다.때문에 pip install -U kafka-python 로 카프카 패키지를 재 velog.io

[Linux] 좀비 프로세스 <defunct> 죽이기 간단 정리!

velog 로 글을 옮겼습니다! 🚚 [Linux] 좀비 프로세스 죽이기 간단 정리! GPU에 올린 train 작업을 종료하기 위해 nvidia-smi에서 확인된 PID 를 kill 했다. 그런데 해당 프로세스에 묶인 GPU 메모리가 free 되지 않는다. 모델과 데이터가 여전히 디바이스에 올라가 있다는 뜻이다 velog.io

[python] 파이썬 ravel() 배열 1차원 변경 메소드 정리

velog 로 글을 옮겼습니다! 🚚 [python] 파이썬 ravel() 배열 1차원 변경 메소드 정리 .ravel() 과 .flatten() 의 기능이 비슷해 아래와 같이 정리했다.다차원 배열(array)을 1차원 배열(array)로 평평하게 펴주는 넘파이(numpy) 함수1차원 배열을 다차원 배열로 바꾸는 .reshape()과 반대의 기능 velog.io