전체 글

[ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까?

velog 로 글을 옮겼습니다! 🚚 [ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까? 회사에서 현재 기획 단계에 있는 새로운 시스템을 위해 ETL을 설계 & 구현해야 할 일이 생겼다. 수집된 raw data 가 서비스에 사용되기까지 많은 가공 단계를 거쳐야 할 것으로 예상되는데... 이 정 velog.io

[Tensorflow 2.0] 굳이 dtype float32 를 사용하는 이유

velog 로 글을 옮겼습니다! 🚚 [Tensorflow 2.0] 굳이 dtype float32 를 사용하는 이유 sample data 를 tensorflow 로 생성하다 보면 dtype 을 float32 로 지정하는 경우가 자주 보인다. float32 는 32 비트 숫자, float64 는 64 비트 숫자이다.때문에 float64 는 숫자를 더 정밀하게 표현할 수 있고, floa velog.io

2022년 3월 회고_비버의 Data log

1. 공시 분석 시스템 AI 모델을 탑재한 공시 분석 시스템의 초기 기획을 진행하고 있다. 기획자와 협업을 하고 있는 것이 아니라... 직접 기획을 하고 있다. 신규 서비스 론칭을 줄줄이 앞두고 있는 상황이라, 현재 우리 연구소에 배정해줄 기획 인력이 없기 때문이다. 다른 개발팀 사람들에게 이 얘기를 했더니 '업무 일정표'를 작성하고 계시는 거냐는 질문을 받았다. 아니다...😭 어딜 누르면 어디로 넘어가고, 어디에 커서를 올리면 어떤 팝업이 뜨고, 무슨 문구를 어디에 배치하면 되는지 등... 말 그대로 페이지 구성을 하고 있다. 내가 할 수 없는 일이라는 생각은 들지 않는데, 내가 하는 것이 과연 효율적인가에 대한 의문이 문득문득 짓쳐든다. 업무 일지를 들여다봤더니 최근 한 달간은 개발보다 구글 프레젠테..

[python] np.linspace(), tf.linspace() 1차원 배열 생성 함수 정리

velog 로 글을 옮겼습니다! 🚚 [python] np.linspace(), tf.linspace() 1차원 배열 생성 함수 정리 보다시피 전자는 numpy 의 함수, 후자는 tensorflow 의 함수이다.linspace 는 Linear Space(선형 공간)의 줄임말 같다.모든 함수가 그렇듯 이름에서 그 기능이 유추된다. 😌두 개 함수 모두 1차원 배열을 생 velog.io

2022.03.20 _ 회고록을 쓰기로 결심한 이유

앞으로 종종 회고록을 써야겠다고 결심했다. 오류를 해결했던 방법이나, 새롭게 공부한 것을 요약정리한 내용이 아니라 개발자로 성장해가며 느끼는 나의 솔직한 경험을. 이제야 내가 주니어 개발자가 된지 겨우 1년 반 정도 되었다는 사실을 불현듯이 깨달았다. 불과 1년 하고도 몇 개월이 넘었을 뿐. 그럼에도 지금의 내가 1년 전의 나와 같은 사람이라는 사실이 믿기지 않는다. ssh 포트 번호를 엉뚱하게 입력해두고선 개발 서버 접근이 되지 않는다며 선임들에게 도움을 요청하던 나는 어디로 간 것일까? 입사한 시기와 꼭 맞물려서 회사가 급격한 변동을 겪었다. 12명 남짓했던 같은 팀 시니어 개발자들이 몇 개월 만에 모두 퇴사하고 팀장님까지도 예고없이 빠르게 이직을 하셨다. 입사한 지 1년도 채 지나지 않아 나는 팀에..

[MacOS] default 쉘 zsh 에서 bash 로 변경하기

velog 로 글을 옮겼습니다! 🚚 [bash/zsh] 쉘 변경하기 MacOS 에 아직 익숙하지 않다. 터미널의 기본 쉘인 zsh 도 여전히 낯설어서 그냥 평소 자주 사용했던 bash 로 변경하고 싶었다. 마침 친절하게 안내 문구로 명령어를 알려주길래 'chsh -s /bin/bash' 을 실 velog.io

[GitLab] git lfs 로 깃랩에서 모델 가중치 파일 관리하기

velog 로 글을 옮겼습니다! 🚚 [GitLab] git lfs 로 깃랩에서 모델 가중치 파일 관리하기 딥러닝 모델은 '모델 구조' + '가중치 파일' 2 개의 구성요소로 이루어져 있다고 볼 수 있습니다.모델 구조 = 껍데기, 가중치 파일 = 알맹이인 셈이고요. 당연히 뭐가 더 중요하다고는 할 수 없습니 velog.io

[JMeter/Linux] 리눅스 환경에서 JMeter non GUI 모드로 사용하기

안녕하세요. 비버입니다. :D API 성능 테스트를 위한 툴 JMeter 를 리눅스 환경에서 non GUI 모드로 사용하는 방법에 대해 정리해두려고 합니다. 저는 최근 회사의 새로운 서비스에 사용될 '문서 카테고리를 분류 모델'을 개발하였습니다. BentoML 을 활용하여 API 개발 & 도커라이징까지 완료했고, 연구용 서버에서 curl GET 요청으로 데이터 송수신 테스트까지 마친 상황이었죠. 저희 팀은 매주 한 번씩 대표님과 개발 실장님이 참석하시는 회의에서 지난 주간 동안 진행한 업무 내용을 보고드리는데요. 개발 실장님께서 제가 개발한 문서 분류 API의 성능 테스트가 필요할 것 같다고 하시며 JMeter 를 말씀하셨습니다. (API 성능 테스트를 위한 툴이 여럿 있는 것을 압니다. 하지만 이러한 ..