EunChan's Tech Blog

스마일프로 수술 후기 (당일~일주일) #고도근시

EunChan_Kim — Tue, 3 Oct 2023 12:00:00 +0900

수술 전

안경 탈출 결심

전에는 안경 쓰는 게 불편해도 수술을 생각할 정도 까진 아니었다.

근데 최근들어 눈이 더 나빠져서 안경 압축을 3번이나 하기도 했고,

크로스핏을 시작하면서 안경이 더 거슬리게 되어 시력교정수술을 하고 싶어졌다.

수술 방법 고민

어떤 시력교정수술을 받을지

시력교정술 관련 논문을 찾아보았다.

(어떤 정보 찾을 때 논문 보는 버릇이 있다)

전문적인 의료지식은 없어 잘은 모르지만

여러 수술 관련 논문과 유튜브를 서치 해본 결과 본 결과

[스마일라식]이 지금 있는 수술방법 중

가장 안전한 방법이라는 결론이 났다.

그래서 스마일라식을 잘하는 병원을 찾아보았다.

병원 찾기

서울에 스마일라식 하는 여러 병원이 있어서 비교를 해보았다.

일단 스마일라식 건수,수술기계 등 비교해서 몇개의 병원을 추려놓았다.

그중 처남이 스마일라식 수술한 병원도 있었는데 수술 만족도가 높다고 해서 더 자세히 알아보았다.

(참고로 와이프는 강남에 한 병원에서 예전에 라식 수술받고 부작용으로 엄청 힘들어해서 내 눈수술을 극구 반대했는데,

남동생이 한 스마일라식은 라식과 수술방법이 다르고 부작용도 거의 없다고 해서 마지못해 허락한 상태였다.)

처남이 받은 병원을 자세히 알아보니 수술 건수,수술 기계가 기준에 맞았고

스마일라식 관련 논문도 대표원장이 대부분 다 제1저자로 쓰고 있었다.

그 외에도 스마일라식 특허 기술도 있고 여러 면에서 꽤 믿을만하겠다는 생각이 들었다.

마침 상황적으로도 수술을 하기 적합하게 되어 이 병원으로 예약을 했다.

복도 사진

수술 당일

대기

토요일에 당일 검사&수술을 예약했다.

첫 타임으로 했는데도 사람이 많았다.

병원 tv에 수술 영상이 나오는데..

수술 장면을 보니까 겁이 났다.

(수술에 자신감이 있으니까 틀어놨겠지

싶지만 볼수록 점점 더 무서워졌다.)

검사&상담

한 검안사 분이 담당해서 검사랑 상담해 주셨다. 검사 기계마다 어떤 검사인지 설명해 주시고, 검사 끝나고 바로바로 검사 결과도 설명해 주셔서 좋았다.

상담도 궁금한 것들 다 친절하게 대답을 해주셨고, 스마일라식을 생각하고 갔는데 스마일프로에 대해서 설명도 해주셨다.

스마일프로에 대한 정보는 인터넷에서 얼핏 보았는데, 기계가 비쥬맥스 800이라고 본 기억이 있었다.

설명해 주시기로,

스마일라식 (비쥬맥스 500)의 업그레이드 버전인 스마일프로 (비쥬맥스 800) 기계가 나왔고,

스마일프로는 기존 스마일라식 병원 중에서 선정된 병원만 수술이 도입되었다고 했다.

(스마일프로는 서울에 10개 병원만 선정됐다고 했던 거 같다.)

여러 설명을 들어보니,

스마일라식과 스마일프로가 수술 방법은 같은데 기계 스펙이 스마일프로(비쥬맥스 800)가 더 빠르고 더 진보된 부분이 있어서 결과적으로 더 좋을 것 같았다. 그래서 스마일프로로.. 받기로 했다.!

(스마일프로가 스마일라식보다 비용이 더 비싸긴 하지만 한번 하는 눈 수술 더 좋은 기계로 하는 것이 낫겠다는 생각이 들었다.)

비쥬맥스 800모형

수술 진행

검사 결과 수술하기 적합한 눈임이 판정되고 나서 당일 수술을 결정하였다.

수술센터 들어가서 수술복 입고

피 뽑고(자가혈청용) 얼굴 소독하고..

수술이 시작되었던 것 같다.

(긴장해서 자세히 기억은 안 남)

수술대에 누었을 때 급속도로 긴장되었는데 그만큼 수술도 빨리 끝났던 거 같다.

진짜 스마일프로라서 그런지(?) 왼쪽 눈 오른쪽 눈 수술이 금방 끝나서 다행이었다.

원장님도 수술 바로 끝내시고

잘되었어요~ 하고 가셨던 거 같다.

수술 후 받은 카드

수술 후

수술 당일

수술 끝나고 나오니 시야가 뿌옜다.

그래도 앞은 보고 다닐 순 있는 정도.

근처에서 밥을 먹고 출발하려고 하니

그쯤부터 마취가 풀렸는지 엄청 아팠다..

그래서 진통제 먹고 안약 넣고

끙끙 참으면서 집 가서 계속 잠잤다.

:: 수술 당일은 통증이 밤까지 있었다.

통증은 사람마다 다르다고 했는데 나는 통증이 있는 편이었다.

수술 1일차

뿌연 건 많이 없어졌고, 보이는 것도 꽤 보였다. 안통은 가끔 살짝 있는 편.

그래도 일상생활은 할 수 있었고, 운전도 낮운전 2시간 하는데 무리는 없었다.

빛 번짐, 건조증도 이 정도면 괜찮은 수준.

수술 2일차

통증은 없어졌고 뿌연 것은 살짝 남아있음.

보이는 것은 더 잘 보임.

:: 산동검사를 하러 병원에 방문했다.

동공이 커지는 안약을 넣고, 검사를 받고 나오는데 안내해 주신 대로 빛 번짐이 너무 심했다..

(동공이 거의 검은 동자를 다 차지하도록 커짐.)

수술 직후보다 산동검사 후가 앞에 보는 게 어려워서 개인적으론 이때가 보호자가 더 필요할 것 같다.

이날은 밤까지 동공이 잘 안 돌아와서

집에서 거의 잠을 잤다.

수술 3일차

동공은 돌아왔고,

산동검사 전보다 빛 번짐 더 있고 가까운 것 초점이 잘 안 맞는낌.

건조함은 비슷하고, 뿌연 것도 비슷.

수술 4일차

눈 상태 어제와 비슷.

밤운전을 해야 했는데, 빛 번짐이 심해서 불편했다. (야간 운전은 1~2개월 정도 주의라고 안내받음)

수술 5일차

눈 상태는 비슷.

어제 야간운전을 오래 해서

눈이 좀 피곤한 느낌.

쉬는 날이라 잠을 많이 잠.

수술 6일차

어제 잠을 많이 자서 그런지 눈 상태 호전.

빛 번짐은 산동검사 전처럼 줄어들었고

뿌연 것도 거의 없어짐

(잠이 보약임)

수술 7일차~

수술 6일 차 이후로 눈상태는 비슷. (현재 9일 차) 시력 어느 정도 잘 나오고, 뿌연 감도 많이 좋아짐

건조함은 원래도 눈이 건조했어서, 건조한 게 불편함으로 다가오진 않음

빛 번짐은 살짝 있음, 야간 운전은 어느 정도 가능한 정도지만 주의해야 함.

(시간 지남에 따라 더 좋아지는 부분이라고 해서 걱정은 안 함)

수술 후 관리

처방받은 안약 5주 동안 넣어야 하고

인공눈물 건조할 때 종종 넣고 있음.

오메가 3랑 비타민C가 좋다고 해서 먹는 중

총평

일주일 차에 이 정도면 만족!

빛 번짐은 한 달 정도 지켜봐야 할 것 같음. (야간 운전 주의)

이 부분은 개인차가 있고 한 달 정도 지나면서 개선된다고 함.

무튼 수술은 잘 되었으니

나머지 회복은 나의 각막에게 맡기고

안약 잘 넣으며 지켜보기로!

+ 병원 관계자 분들이 너무 친절함. 수술 후 카톡상담도 일일이 친절하게 답변해 주심.

[Docker]Docker에서 RViz 실행하기(ROS Error log)

EunChan_Kim — Mon, 27 Mar 2023 11:16:49 +0900

최근 ROS1를 사용할 일이 생겨서 그냥 우분투 18.04 위에서 사용하고 있었는데 우분투를 20.04로 업데이트를 해버려서 디펜던시 에러가 났다. 우분투 버전에 따라 ROS 버전도 달라져서 그냥 도커를 써버리기로 했다.

도커를 사용할때 ROS Visualizaion Tool 인 RViz의 GUI사용이 docker 내에서 작동이 안 되는데 간단하게 볼륨 마운트를 통해 도커 내에 GUI사용을 가능하게 할 수 있다.

ROS의 상징인 거북이

ROS 버전

Ubuntu 14.04 + ROS Indigo
Ubuntu 16.04 + ROS Kinetic
Ubuntu 18.04 + ROS Melodic
Ubuntu 20.04 + ROS Noetic

위에처럼 버전이다다르고 다른 버전끼리 충돌 나니 docker를 사용하는 게 정신 건강에 이롭다.

Open Source Robotics Foundation 에서 제작한 ROS도커 이미지를 사용해도 되지만 Ubuntu 18.04 이미지로 ROS 설치해 진행했다.

RViz

Docker 실행

sudo docker run -it -d \     
--network="host" \
--ipc="host" \
--gpus all \
--privileged \
--name="ros" \
-e DISPLAY=$DISPLAY \
-v $XAUTHORITY:$XAUTHORITY \
-e XAUTHORITY=$XAUTHORITY \
-e QT_X11_NO_MITSHM=1 \
-v /tmp/.X11-unix:/tmp/.X11-unix:ro \
ubuntu:18.04

위와 같이 host옵션으로 실행하고 privileged(도커내에서 호스트 컴퓨터의 옵션을 바꿀 수 있음→ 필수) 모드로 실행 후 ROS관련 패키지를 설치한다.

그리고 디스플레이들은 다 연결하였지만 만약 아래와 같은 에러가 발생하는경우

[ WARN] [1678170522.800490847]: OGRE EXCEPTION(3:RenderingAPIException): Unable to create a suitable GLXContext in GLXContext::GLXContext at /build/ogre-1.9-B6QkmW/ogre-1.9-1.9.0+dfsg1/RenderSystems/GL/src/GLX/OgreGLXContext.cpp (line 61)
rviz::RenderSystem: error creating render window: OGRE EXCEPTION(3:RenderingAPIException): Unable to create a suitable GLXContext in GLXContext::GLXContext at /build/ogre-1.9-B6QkmW/ogre-1.9-1.9.0+dfsg1/RenderSystems/GL/src/GLX/OgreGLXContext.cpp (line 61)
[ERROR] [1678170522.800518308]: Unable to create the rendering window after 100 tries.
terminate called after throwing an instance of 'std::logic_error'
  what():  basic_string::_M_construct null not valid
[ INFO] [1678170522.834817415]: I0307 15:28:42.000000 22420 ordered_multi_queue.cc:172] All sensor data for trajectory 0 is available starting at '638137673228306087'.
[ INFO] [1678170522.907428787]: I0307 15:28:42.000000 22420 local_trajectory_builder_2d.cc:127] Extrapolator not yet initialized.
[ INFO] [1678170522.933869912]: I0307 15:28:42.000000 22420 local_trajectory_builder_2d.cc:138] Extrapolator is still initializing.
===============
=================================================================REQUIRED process [rviz-7] has died!
process has died [pid 22456, exit code -6, cmd /opt/ros/melodic/lib/rviz/rviz -d /root/catkin_ws/src/STELLA_N1_REMOTEPC_X4_ROS1_v2.0/stella_slam/rviz/stella_cartographer.rviz __name:=rviz __log:=/root/.ros/log/443acb9e-bcb1-11ed-9f7b-04421a0bc2f4/rviz-7.log].
log file: /root/.ros/log/443acb9e-bcb1-11ed-9f7b-04421a0bc2f4/rviz-7*.log
Initiating shutdown!
================================================================================
[rviz-7] killing on exit
[ WARN] [1678170523.082931502]: global_costmap: Parameter "plugins" not provided, loading pre-Hydro parameters

구글에 찾아봐도 안 나와서 다양한 방법을 시도해 보다가 그냥 컨테이너 내에서 그래픽카드를 새로 설치하였다.

sudo apt install nvidia-driver-470 libnvidia-gl-470 libnvidia-compute-470 libnvidia-decode-470 libnvidia-encode-470 libnvidia-ifr1-470 libnvidia-fbc1-470

그 후 컨테이너 재실행을 하니 제대로 실행이 되었다.

[Linux] ldconfig

EunChan_Kim — Mon, 6 Mar 2023 22:23:08 +0900

ldconfig

공통적인 라이브러리를 사용하는 것을 동적 라이브러리라고 하는데, 바이너리를 실행할 때 shared object(.so) 등의 동적 라이브러리를 연결해 주는 링커 설정 명령어이다. 리눅스에서 .so 파일을 제대로 인식하지 못할 때 공유 라이브러리 캐시를 재설정한다.

ldconfig는 존재하는 파일을 조사하고, /etc/ld.so.cache 캐시 파일을 설정하면서 필요한 라이브러리를 적재하고 심볼릭 링크를 만드는 역할을 한다.

/etc/ld.so.conf.d/ 에 .conf 파일을 추가, 수정하거나 LD_LIBRARY_PATH 를 변경하게 된다면 ldconfig를 통해 라이브러리를 다시 설정해야 한다.

ldconfig 옵션

-C cache : /etc/ld.so.cache 파일 대신 지정한 파일을 이용한다.
-f conf : /etc/ld.so.conf 파일 대신 이용할 설정 파일을 지정한다.
-l : 수동으로 각각의 라이브러리를 링크한다.
-n : 명령 행에서 지정한 디렉터리만을 대상으로 하며, /usr/lib, /lib, /etc/ld.so.conf 파일은 진행하지 않는다.
-N : 캐시를 업데이트하지 않고, 단지 링크만을 업데이트한다.
-p --print-cache : 현재 캐시에 저장된 디렉터리와 라이브러리 목록을 출력한다.
-r root : 루트 디렉터리(root)를 지정한다.
-v, --verbose : 현재 버전 정보와 관련된 디렉터리와 링크들을 상세하게 출력한다.
-V, --version : 버전 정보를 출력한다.
-X : 링크를 업데이트하지 않고, 단지 캐시만을 업데이트한다.
-?. --help, --usage : 사용법을 출력한다.

참고자료

https://itwiki.kr/w/%EB%A6%AC%EB%88%85%EC%8A%A4_ldconfig

[Python] 타이핑, 타입 힌트 (typing / type hint)

EunChan_Kim — Sun, 6 Nov 2022 22:06:04 +0900

최근 회사 프로젝트에서 AI모델 개발, 웹 개발, 배포까지 혼자서 해야 했던 프로젝트가 있습니다.

집에 가서도 모델을 튜닝하고 백엔드 로직을 작성하고 DB도 만들고... 프론트도 하고.. 개발 중에 여기저기서 발생하는 문제들을 해결하다가 보면 어느 순간 제가 작성한 코드를 보면 많은 변수들의 타입을 알지 못해서 맨탈이 나갈 때가 있습니다. 프로그램의 복잡도가 높아지고 거대해질수록 이러한 문제는 빈번하게 발생합니다.

파이썬은 동적타입언어(dynamically typed language)여서 변수에 타입을 알아서 동적으로 지정해주기 때문에 빠르게 개발을 좋지만 프로그램이 점점 거대해질수록 타입을 알지 못하는 변수들 때문에 생상성이 급격하게 하락할 수 있습니다. 이러한 단점을 보안하기 위해 Python에서는 3.5 버전부터 타입 어노테이션(type annotation) 또는 타입 힌트(type hint)라는 기능을 지원합니다.

이 변수의 type은 무엇인지, 또는 이 함수의 인수는 어떤 type이고, 어떤 type의 결과를 return하는지 명시해주는 것입니다.

타입 힌트(type hint)가 나오기 전에는 주석이나 독스트링 이용해 타입을 표시했지만 정해진 표준이 없었고 일반 주석과 구분이 어려웠었습니다.

반면에 타입 힌트에서는 타입 어노테이션이라는 새로운 방법으로 파이썬 코드의 타입 표시를 표준화합니다. 코드 편집기(IDE)나 린터(linter)에서도 해석할 수 있도록 고안되었으며 코드의 자동완성이나 정적 타입 체킹에서도 사용됩니다.

타입 힌트(type hint)을 사용할 때 주의할 점은 타입 힌트(type hint) 부정확하다고 해서 경고나 오류가 발생하지 않는다는 점입니다.

간단하게 타입 힌트를 어떻게 사용하는지 보겠습니다.

변수 타입 어노테이션

먼저 매우 간단한 변수에 타입 힌트를 추가하는 방법에 대해서 알아보겠습니다. 변수 이름 뒤에 콜론(:)을 붙이고 타입을 명시해주면 됩니다.

함수 타입 어노테이션

콜론(:)과 화살표(->)를 사용할 때는 파이썬의 관행을 따라 콜론은 뒤에만 한 칸을 뛰우고, 화살표는 앞뒤로 한 칸을 띄웁니다.

Typing 모듈

내장 타입을 이용해서 복잡한 타입 힌트를 추가할 때는 Typing 모듈을 사용할 수 있습니다.

typing 모듈에 대한 자세한 설명은 추후에 포스팅을 하도록 하겠습니다. 조금더 자세한 내용은 파이썬 공식 레퍼런스를 참고 바랍니다.

오늘은 파이썬에서 타입 힌트(type hint)의 개념과 어떻게 추가하는지 알아보았습니다.

타입 힌트는 비강제적이고 선택적으로 적용할 수 있기 때문에 모든 프로젝트에서 부담없이 점진적으로 적용할 수 있습니다.

협업하는 개발자들을 위해 개발이 끝난 프로젝트의 코드를 볼 미래의 나 자신을 위해서 타입 힌트(type hint)를 사용하는 것을 고려해보셨으면 좋겠습니다.

[Linux] tar 와 tar.gz 차이 압축, 압축 해제

EunChan_Kim — Fri, 8 Jul 2022 11:54:56 +0900

tar

리눅스에서 압축 파일을 다룰때 대부분 tar를 많이 사용하는데 tar, tar.gz, tar.bz2 다양하게 사용된다. tar는 (Tape ARchiver)의 앞 글자들을 따서 tar라는 이름으로 만들어졌다.

"tar로 압축(compress)한다"는 표현을 쓰는 경우가 많은데, 정확히 말하자면 tar 자체는 "데이터의 크기를 줄이기 위한 파일 압축"을 수행하지 않는다. 아래의 그림과 같이 여러파일을 하나의 파일로 묶는 용도로 사용된다. 대신, tar옵션을 사용하여 데이터의 크기를 줄이기 위한 파일 압축(gzip, bzip2)를 수행할 수 있다.

tar가 많이 사용되는 이유 중 한가지는, 단순 아카이버 기능에 더해, tar로 묶여지기 전 파일들의 속성과 심볼릭 링크, 디렉토리 구조등을 그대로 가져갈 수 있는 특징 때문이다.

https://recipes4dev.tistory.com/146

tar 명령어 옵션

# tar --help를 통해 옵션을 확인할 수 있다. 
tar [OPTION...] [FILE]...
        -f     : 대상 tar 아카이브 지정. (기본 옵션)
        -c     : tar 아카이브 생성. 기존 아카이브 덮어 쓰기. (파일 묶을 때 사용)
        -x     : tar 아카이브에서 파일 추출. (파일 풀 때 사용)
        -v     : 처리되는 과정(파일 정보)을 자세하게 나열.
        -z     : gzip 압축 적용 옵션.
        -j     : bzip2 압축 적용 옵션.
        -t     : tar 아카이브에 포함된 내용 확인.
        -C     : 대상 디렉토리 경로 지정.
        -A     : 지정된 파일을 tar 아카이브에 추가.
        -d     : tar 아카이브와 파일 시스템 간 차이점 검색.
        -r     : tar 아카이브의 마지막에 파일들 추가.
        -u     : tar 아카이브의 마지막에 파일들 추가.
        -k     : tar 아카이브 추출 시, 기존 파일 유지.
        -U     : tar 아카이브 추출 전, 기존 파일 삭제.
        -w     : 모든 진행 과정에 대해 확인 요청. (interactive)
        -e     : 첫 번째 에러 발생 시 중지.

tar 명령어 사용 예시

현재 디렉토리의 모든 파일과 디렉토리를 tar로 묶기	tar cvf T.tar *
대상 디렉토리를 포함한 모든 파일과 디렉토리를 tar로 묶기	tar cvf T.tar [PATH]
파일을 지정하여 tar 아카이브로 묶기	tar cvf T.tar [FILE_1] [FILE_2]
tar 아카이브를 현재 디렉토리에 풀기	tar xvf T.tar
tar 아카이브를 지정된 디렉토리에 풀기	tar xvf T.tar -C [PATH]
tar 아카이브의 내용 확인하기	tar tvf T.tar
현재 디렉토리를 tar로 묶고 gzip으로 압축하기	tar zcvf T.tar.gz *
gzip으로 압축된 tar 아카이브를 현재 디렉토리에 풀기	tar zxvf T.tar.gz
현재 디렉토리를 tar로 묶고 bzip2로 압축하기	tar jcvf T.tar.bz2 *
bzip2로 압축된 tar 아카이브를 현재 디렉토리에 풀기	tar jxvf T.tar.bz2
tar 아카이브 묶거나 풀 때 파일 별 진행 여부 확인하기	tar cvfw T.tar *

압축하기

tar 압축

# tar 압축
tar -cvf [파일명.tar] [폴더명]
tar -cvf test_dir.tar test_dir/

tar.gz 압축

# tar gz 압축
tar -zxvf [파일명.tar.gz]
tar -zxvf test_dir.tar.gz test_dir/

tar.bz2 압축

# tar bz2 압축
tar -jxvf [파일명.tar.bz2]
tar -jxvf test_dir.tar.bz2 test_dir/

압축 해제 하기

tar 압축 해제

# tar 압축 해제
tar -xvf [파일명.tar] 
tar -xvf test_dir.tar

tar.gz 압축 해제

# tar.gz 압축 해제
tar -zxvf [파일명.tar.gz] 
tar -zxvf test_dir.tar.gz

tar.bz2 압축

# tar bz2 압축 해제
tar -jxvf [파일명.tar.bz2] 
tar -jxvf test_dir.tar.bz2

참고자료

https://recipes4dev.tistory.com/146

[Algorithm]_2. 파이썬으로 피보나치수를 구하는 방법들

EunChan_Kim — Fri, 3 Jun 2022 14:44:58 +0900

피보나치수열

이탈리아의 수학자 피보나치는 아라비아에서 발전된 수학을 유럽에 소개하여 유럽 전역에 수학을 발전시키는데 기여하였습니다. 피보나치는 1202년 자신의 저서 Liber abaci 에서 다음과 같은 토기 번식에 문제를 제시하였습니다.

갓 태어난 토끼 암수 한 쌍이 있다. 이 토끼 한 쌍은 태어난 지 두 달이 되는 달부터 매달 암수 한 쌍의 토끼를 낳으며, 새로 태어난 토끼 한 쌍도 태어난 지 두 달이 되는 달부터 매달 아뭇 한 쌍의 토끼를 낳는다. 일 년 후 토끼는 모두 몇 쌍이 될까? (토끼는 중간에 죽지 않는다.)

이를 수열로 나타내면 아래와 같습니다.

"1,1,2,3,5,8,13,21..."

위와 같이 어떤 수열의 항이, 앞의 두 항의 합과 같은 수열을 레오나르도 피보나치의 이름을 따서 피보나치 수열이라고 합니다.

알고리즘 입문 문제에 피보나치수열에 대한 문제가 종종 등장하는데요 오늘은 피보나치의 수를 구할 수 있는 방법들에 알아보려고 합니다.

피보나치 넘버스

1. 반복문

가장 기본적으로 사용되고 직관적인 방법입니다. 반복문이 시작되면 a의 값이 b 값으로 변경되며 b 는 a+b 로 변경됩니다.

def fib(n):
    a, b = 0, 1
    for _ in range(n):
        a, b = b, a + b 
    return a

2. 재귀 함수

자기 자신을 호출하는 방법으로 알고리즘 문제에 자주 나오는 방법입니다.

def fib(n):
    if n == 0:
        return 0
    elif n == 1 or n == 2:
        return 1
    else:
        return fib(n - 1) + fib(n - 2)

재귀 함수의 단점은 n이 증가하면 시간 복잡도(O(2n))가 가파르게 증가한다는 점입니다. 이러한 문제를 해결하기 위해 메모이제이션(Memoization)을 적용할 수 있습니다.

3. 메모이제이션(Memoization)

이전에 계산한 값을 저장해 중복된 계산을 하지 않는 방법입니다. 메모이제이션을 통해 재귀 함수의 속도를 대폭 향상할 수 있습니다. 파이썬에서는 functools을 임포트 해 간단히 구현할 수 있습니다.

from functools import lru_cache


@lru_cache 
def fib(n):
    if n == 0:
        return 0
    elif n == 1 or n == 2:
        return 1
    else:
        return fib(n - 1) + fib(n - 2)

이 외에도 다양한 방법이 있겠지만 자주 사용하는 방법들 위주로 정리해보았습니다.

[Docker]Docker 설치하기(Ubuntu)

EunChan_Kim — Tue, 10 May 2022 21:48:42 +0900

최근 들어 MSA(Micro Service Architecture)가 대세로 떠오르면서 MSA의 단점인 관리의 복잡성을 해결해주기 위해 서비스의 컨테이너화가 이루어지면서 Docker를 활발이 사용하게 되었습니다. 컨테이너 == Docker 가 될 만큼 Docker 성장세는 무섭게 올라가고 있습니다. 오늘은 우분투(Ubuntu) 환경에 도커를 설치해보겠습니다.

Docker

컨테이너 기술을 사용하여 애플리케이션에 필요한 환경을 신속하게 구축하고 테스트 및 배포를 할 수 있게 해주는 소프트웨어 플랫폼 입니다. 컨테이너란 애플리케이션 소스 코드를 임의의 환경에서 해당 코드의 실행에 필요한 운영체제 라이브러리 및 종속 항목과 결합하는 실행 가능한 표준 컴포넌트를 말합니다. Docker를 사용하지 않고도 컨테이너를 구축할 수 있지만 Docker 플랫폼을 이용하면 쉽고 간편하고 안전하게 컨테이너를 빌드, 배포, 관리할 수 있습니다.

Docker-CE

패키지 저장소 추가

오래된 버전의 도커가 설치되어 있다면 먼저 삭제합니다.

sudo apt-get remove docker docker-engine docker.io

Apt 패키지 관리자를 업데이트 Docker 설치에 필요한 패키지들을 설치합니다.

sudo apt-get update && sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    software-properties-common

아래의 명령어를 사용하여 Docker 공식 gpg key와 저장소를 추가합니다.

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"

현재의 우분투 버전에서 Docker 패키지가 검색이 되는지 확인합니다.

sudo apt-get update && sudo apt-cache search docker-ce

# 정상적으로 패키지가 검색된다면 아래와 같은 내용이 출력됩니다. 
docker-ce - Docker: the open-source application container engine

Docker CE Install

아래의 명령어로 Dokcer CE 버전을 설치합니다.

sudo apt-get update && sudo apt-get install docker-ce

그리고 일반 사용자 계정으로 docker 명령어를 사용하기 위해서 아래의 명령어로 그룹을 추가 후 도커를 재실행합니다.

sudo usermod -aG docker $USER

sudo systemctl restart docker

일반 사용자를 docker 그룹에 추가하지 않을 경우, sudo 권한이 아닌 일반 사용자로 docker 명령 실행 시 아래와 같은 오류가 발생할 수 있습니다.

Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.39/containers/json?all=1: dial unix /var/run/docker.sock: connect: permission denied

설치가 제대로 되었는지 확인합니다.

docker run hello-world

Nvidia-docker 설치

Docker 안에서 NVIDIA의 GPU를 이용하시면서 여러 환경의 CUDA Tookit을 이용하실 경우 호스트 운영체제에 NVIDIA 드라이버가 설치되어 있는 상태에서 nvidia-docker라는 확장 기능을 사용해야 합니다.

NVIDIA 드라이버가 설치 되어 있는 상태에서 아래의 명령어를 사용하여 nvidia-docker gpg key와 저장소를 추가합니다.

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -
  
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

그리고 아래의 명령어로 nvidia-docker를 설치 후 docker를 다시 실행합니다.

sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

호환되는 CUDA 버전의 컨테이너를 docker hub에서 다운로드하여 아래와 같이 실행해서 gpu 가 사용 가능한지 확인합니다.

docker run --gpus all nvidia/cuda:11.2-base nvidia-smi

[Django]Startproject, Startapps 명령어로 생성되지 않은 파일에서 장고 사용하기

EunChan_Kim — Fri, 6 May 2022 14:56:50 +0900

오류

파이썬 장고에서 프로젝트나 앱을 만들면 해당 이름의 폴더와 .py 파일이 생성되는데

생성한 프로젝트 안에서 다른 .py파일을 생성하고 장고에 등록된 모델 또는 함수를 사용할 때 다음과 같은 애러가 발생됩니다.

django.core.exceptions.ImproperlyConfigured:

Requested setting INSTALLED_APPS, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings.

 ImproperlyConfigured(
django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings.

from graph.models import Covid -> 장고 프로젝트 파일이 아닌 임의로 생성한 python 파일에서 장고의 모델을 불러오려고 하다가 실패

위와 같은 오류를 해결하기 위해서는 환경을 장고에 맞춰주는 코드를 form graph.models import Covid 과 같은 파일 위에 선언해주어야 합니다.

장고 환경 설정 코드

import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "config.settings")

import django
django.setup()

from user.models import Users

os.environ 는 운영체제에 등록되어 있는 환경변수에 접근하는 명령어로서 단순히 os.environ을 작성하게 되면 자신의 컴퓨터에 있는 환경변수가 출력됩니다. os.environ.setdefault(A, B) 는 A라는 이름으로 B를 값으로 등록하겠다는 의미입니다.

저 같은 경우에는 settings파일이 chart 패키지에 있기때문에 import chart를 해줍니다.

[Django]Django CORS Error

EunChan_Kim — Thu, 5 May 2022 14:56:23 +0900

CORS

CORS(Cross Origin Resource Sharing) 웹 페이지 상의 제한된 리소스를 최초 자원이 서비스된 도메인 밖의 다른 도메인으로부터 요청할 수 있게 허용하는 구조입니다.

CORS Error

대부분 웹 브라우저는 Javascript를 이용한 AJAX(Asynchronous Javascript XML) 통신을 통한 데이터 송수신을 하는데, 다른 도메인을 가진 서버의 URL을 호출해 데이터를 가져오려고 하는 경우 보안 문제인 Cross Domain 에러를 발생시킵니다.

왜냐하면 내가 웹 서비스에서 사용하기 위해 다른 서브 도메인을 가진 API 서버를 구축했는데, 내가 아닌 다른 웹 서비스에서 이 API 서버에 접근해서 마음대로 API를 호출해서 사용하면 안 되기 때문입니다.

동일 출처 정책(Same Origin Policy) 때문에 CORS가 발생하는데, 브라우저에서 외부 서버가 cross-origin HTTP로 요청한 데이터를 보안 목적으로 차단해서 데이터를 받을 수 없습니다.

즉, 자신과 동일한 도메인에 한해서만 요청을 허용하고 처리해줍니다.

Django CORS Error 해결 방법

1. pip install로 django-cors-headers 앱을 설치합니다.

django-cors-headers는 Cross-Origin Resource Sharing(CORS) 에 필요한 서버의 헤더를 조작하기 위한 Django 앱입니다.

pip install django-cors-headers

2. Settings의 installed apps 목록에 corsheaders를 추가합니다.

INSTALLED_APPS = [
    ...
    'corsheaders',
    ...
]

3. Settings의 Middlewar 목록 맨위에 아래의 코드를 추가합니다.

MIDDLEWARE = [
    'corsheaders.middleware.CorsMiddleware', 
    'django.middleware.common.CommonMiddleware', 
    ...
]

4. Django settings에서 미들웨어 동작을 구성합니다.

CORS_ORIGIN_ALLOW_ALL = True # <- 모든 호스트 허용

#CORS_ORIGIN_ALLOW_ALL를 False로 하고 아래의 화이트리스트로 허용하고 싶은 호스트만 입력해 사용할 수 있습니다. 

CORS_ORIGIN_WHITELIST = (
    "http://localhost:8080",
    "http://127.0.0.1:9000",
    "https://example.com"
)

CORS_ORIGIN_WHITELIST에는 cross-site 요청을 허용하는 호스트들을 추가합니다.

또는 모든 호스트를 허용하고 싶으면 CORS_ORIGIN_ALLOW_ALL을 True로 설정합니다. 만약 CORS_ORIGIN_ALLOW_ALL이 True 이면, whitelist는 쓰이지 않고, 모든 origin에서의 요청이 허용됩니다.

CORS_ORIGIN_WHITELIST의 Default값은 False입니다.

[Python] List보다 Numpy 가 빠른이유

EunChan_Kim — Sat, 23 Apr 2022 11:50:42 +0900

List vs Numpy

파이썬에서 List는 여러 값들을 저장할 수 있는 자료구조로써 활용도가 매우 높습니다. 리스트는 다양한 자료형의 데이터를 여러 개를 저장할 수 있으며 쉽게 데이터를 수정할 수 있습니다. 하지만 데이터의 처리 양이 많아지고 처리방법이 복잡해질수록 많은 사람들은 Numpy ndarray를 사용합니다. 오늘은 많은 사람들이 왜 List 보다 Numpy ndarray를 더 많이 사용하는지 알아보도록 하겠습니다.

Numpy

큰 matrix 처리 및 다양한 연산 기능을 제공 합니다.
반복문 없이 데이터 배열에 대한 처리를 지원합니다.
선형대수와 관련된 다양한 기능을 제공합니다.
C, C++, 포트란 등의 언어와 통합이 가능합니다.

Built-in List 보다 Numpy의 ndarray 가 왜 빠른가?

메모리 접근 방식에 대한 차이

ndarray는 int type의 data를 저장할 때 element들이 메모리에 연속적으로 저장되어 있지만 list의 경우 int type data의 값들이 메모리에 연속적으로 저장돼있지 않고 element의 주소를 가지고 있습니다. 주소를 타고 가더러도 객체 자체가 있고, 객체 내에서 ob_digit으로 간 다음 element에 접근해야 합니다. ndarray에 비해 list가 접근 단계가 많습니다.
리스트는 여러 가지 dtype을 하나의 array에 넣을 수 있지만 numpy의 ndarray는 하나의 배열에 하나의 dtype만 넣을 수 있습니다.

출처 : https://www.youtube.com/watch?v=fiYD0yCou4k&t=107s

Numpy 병렬 처리

하나의 작업을 여러 개의 서브 작업으로 나눠서 처리합니다.

C언어와 포트란으로 구현

코드를 기계어로 변환 과정 없이 한 줄 한줄 해석해서 실행하는(인터프린터) 파이썬 보다 코드를 모두 기계어로 변환한 후에 기계어 코드로 실행하는(컴파일) 언어로 만들어져 있습니다.

넘파이의 배열 안에는 동일한 타입의 데이터만 지정할 수 있어서 속도적인 측면에서 리스트에 앞서지만 리스트처럼 여러 가지 데이터 타입을 저장할 수 없습니다.

[Git,GitHub]Git 로그인 실패 Error, Access Token 발급 받는법

EunChan_Kim — Mon, 4 Apr 2022 14:34:59 +0900

안녕하세요 오늘은 깃 로그인 실패 오류를 포스팅해보려 합니다.

회사에서 프로젝트 레포지토리리를 클론 하러려고 하는데 갑자기 잘되다가 오류 하나를 만나게 되었습니다.

에러를 보니까 이제 비밀번호 로그인 방식은 2021년 8월 13일 이후로 지원을 안 하고 토큰이 필요하다고 하네요

토큰에 대해서는 다른 포스팅에서 다루기로 하고 오늘은 빠르게 토큰을 발급받아 오류를 해결해 보십시다

아래의 링크에 토큰에 대해 조금 더 자세히 나와 있습니다!

https://github.blog/2020-07-30-token-authentication-requirements-for-api-and-git-operations/

Token authentication requirements for API and Git operations | The GitHub Blog

Beginning November 13th, 2020, we will no longer accept account passwords when authenticating with the GitHub REST API. In the future, we will similarly no longer accept account passwords when authenticating Git operations.

github.blog

깃허브 토큰 발급받기

먼저 깃허브에 로그인을 한 뒤 프로필 사진을 클릭합니다!

Settings을 클릭하고

Developer setting을 클릭하고 Personal access tokens을 클릭

위의 사진처럼 여러 가지 옵션이 나오는데 여기서 각자 옵션에 맞게 선택하고 generate token 버튼을 클릭해서 토큰 발급을 진행하면 됩니다! 다 진행하고 나면 token 코드가 나오는데 복사해서 안전한 곳에 보관해둡니다.!

자 그럼 다시 clone을 해보겠습니다!

다시 ID/PASSWORD를 요구한다면 PASSWORD 대신 Personal Access Token을 입력해주면 문제없이 잘 작동합니다!

[Python]_8. 튜플(Tuple)

EunChan_Kim — Wed, 17 Nov 2021 23:00:04 +0900

튜플(Tuple)

이번에는 '튜플(Tuple)'에 대해 알아보도록 하겠습니다. 튜플은 리스트와 매우 비슷합니다. 튜플과 리스트가 서로 다른 점이 있다면, 대괄호 대신에 소괄호로 묶어서 표현하며 리스트는 요소의 변경이 가능한 반면에 튜플은 요소의 변경이 불가능하다는 특징을 지니고 있습니다. 우선 튜플이 어떠한 형태를 가지고 있는지 먼저 알아보도록 하겠습니다.

>>> tuples = (1, 2, 3, 4)
>>> type(tuples)
<class 'tuple'>

위의 코드를 보시면 리스트와는다르게 소괄호로 묶어서 정의하며 , 로 각각의 요소를 구분합니다.

아래의 코드처럼 둘러싸고있는 소괄호를 제거하거나 리스트와 똑같이 튜플 안에 튜플을 요소로 가질 수 있습니다.

>>> tuples = ('a',) 
>>> type(tuples)
<class 'tuple'>
>>> tuples = 'a', 'b', 'c' 
<class 'tuple'>
>>> tuples = ('a', 'b', ('c', 'd'))


###### ,를 하지 않은 경우 #######
>>> tuples = ('a')
>>> type(tuples)
<class 'str'>

위의 코드를 보시면 마지막의 쉼표에 따라 타입이 달라지는것을 볼 수 있습니다. 튜플을 정의할 때 많이들 하는 실수인데요 1개를 정의할 때는 꼭 마지막에 쉼표를 넣어야 튜플로 인식이 되는 점을 유의해야 합니다. 그리고 4행처럼 소괄호로 둘러싸지 않은 형식을 사용할 수 있으며 6행처럼 튜플 내에서 튜플을 요소로 가질 수 있습니다

튜플(Tuple) 인덱싱 슬라이싱

문자열과 리스트와 동일하게 튜플에서도 인덱싱과 슬라이싱을 사용할 수 있습니다. 인덱싱과 슬라이싱의 문법도 리스트와 문자열과 동일하게 사용 가능합니다.

# 인덱싱
>>> tuples = (0, 1, 2, 3, 4) 
>>> tuples[1] 
1 
>>> tuples[-1] 
4

# 슬라이싱
>>> tuples = (0, 1, 2, 3, 4, 5, 6)
>>> tuples[1:3]
(1, 2)
>>> tuples[3:]
(3, 4, 5, 6)

튜플(Tuple)의 연산

슬라이싱 인덱싱도 되면 연산도 되는 게 당연하겠죠 간단하게 + 연산자 * 연산자를 살펴보도록 하겠습니다

# + 연산자
>>> tuples = ('a', 'b', 'c') 
>>> tuples + ('d', 'e', 'f') 
('a', 'b', 'c', 'd', 'e', 'f') 

# * 연산자
>>> tuples = ('a', 'b', 'c') 
>>> tuples * 3 
('a', 'b', 'c', 'a', 'b', 'c', 'a', 'b', 'c')

3행을 보면 + 연산자를 사용하여 튜플은 연결해서 사용할 수 있고 7행을 보면 * 연산자를 사용해 튜플이 반복되는 것을 확인할 수 있습니다. 오늘은 여기까지 튜플에 대해 알아보았습니다.

[Python]Splitfloders 한줄로 Train/Test/Validation 나누기

EunChan_Kim — Mon, 15 Nov 2021 23:24:33 +0900

딥러닝이나 머신러닝에서는 Dataset을 분할하는 것은 필수적입니다. 보통은 딥러닝 또는 머신러닝 프레임워크에 데이터셋을 분할하는 함수나 클래스가 있지만 불가피하게 수작업으로 분할해야 할 때가 있습니다. 그럴 때는 보통 glob, os, shutil, re 등의 라이브러리를 사용해 분할을 하지만 이것 또한 귀찮을 때가 있습니다... 그럴 때 사용하는 라이브러리를 소개할까 합니다!..(저도 귀찮아서 검색하다가 찾았습니다!)

Train/Test/Validation

Train set : 모델이 학습하는데 사용 되는 훈련용 데이터입니다.
Test set : 학습 후에 모델의 성능을 평가하기 위해서만 사용되는 테스트용 데이터입니다. (수능 데이터!)
Validation set : 모델의 일반화 능력을 높이기 위해 학습 중에 평가에 사용되는 데이터 입니다 (모의고사 데이터)

Splitfolders

Install

pip install split-floders /
pip install split-floders tqdm  #저는 많은 양의 데이터를 처리하다보니 progress bar를 보면서 사용하려고 tqdm을 같이 설치하였습니다

Use

원하는 비율로 데이터셋을 잘라주면 됩니다. type 1은 train validata test를 8 : 1: 1로 잘랐고 type 2은 train test를 8 : 2로 잘랐습니다.

import splitfolders  # or import split_folders

# seed 는 random.seed

# type 1
# train / validation / test
splitfolders.ratio("데이터 경로", output="스플릿된 아웃풋 폴더 경로", seed=1337, ratio=(.8, .1, .1))


# type 2
# train / test
splitfolders.ratio("데이터 경로", output="스플릿된 아웃풋 폴더 경로", seed=1337, ratio=(.8,.2))

**데이터 폴더의 구조는 아래와 같아야 작동합니다.**

전체 폴더 밑에는 클래스가 클래스 밑에는 데이터들이 있어야 합니다.

data/
    class1/
        img1.jpg
        img2.jpg
        ...
    class2/
        imgWhatever.jpg
        ...
    ...

이렇게 해서 코드를 실행시키면 아래와 같은 구조로 output폴더가 만들어집니다

output/
    train/
        class1/
            img1.jpg
            ...
        class2/
            imga.jpg
            ...
    val/
        class1/
            img2.jpg
            ...
        class2/
            imgb.jpg
            ...
    test/
        class1/
            img3.jpg
            ...
        class2/
            imgc.jpg
            ...

정해진 숫자만큼 데이터 나누기

또 아래와 같이 정해진 숫자만큼만 데이터를 나눌 수도 있습니다.

아래의 코드는 train / test 데이터의 개수를 각각 1000개씩으로 만들 때의 예시입니다.

# train / test
splitfolders.fixed("데이터 경로", output="스플릿된 아웃풋 폴더 경로", seed=1337, 
					fixed=(1000,1000), oversample=False, group_prefix=None)

oversample의 기본값은 False입니다. True로 변경하면 데이터의 중복 복사를 허용해 fixed에 설정한 숫자만큼 데이터를 채워서 사용합니다

Annotation 파일 (txt , json, xml )과 함께 나누기

group_prefix의 값을 설정해주면 Annotation파일과 함께 사용할 수 있습니다.

예를 들어 이미지와 텍스트 파일이 있을 경우에 group_perfix의 값에는 2가 들어갑니다( 이미지, 텍스트)

Annotation파일이 json과 txt 이렇게 2개가 있을 경우에는 group_perfix=3 (이미지, txt, json)으로 바꿔주면 됩니다.!

# train / validation / test
splitfolders.ratio("데이터 경로", output="스플릿된 아웃풋 폴더 경로", seed=1337, 
					ratio=(.8, .1, .1), group_prefix=2)

오늘은 Splitfloders 라이브러리 사용법에 대해 알아보았습니다

조금 더 자세한 설명을 원하시면 github에 가시면 있습니다!

https://github.com/jfilter/split-folders

GitHub - jfilter/split-folders: Split folders with files (i.e. images) into training, validation and test (dataset) folders

Split folders with files (i.e. images) into training, validation and test (dataset) folders - GitHub - jfilter/split-folders: Split folders with files (i.e. images) into training, validation an...

github.com

[Linux]쉘 스크립트(Shell Script)란?

EunChan_Kim — Sun, 14 Nov 2021 22:38:21 +0900

리눅스 계열의 환경에서 개발을 업무를 수행하는 데에 있어서 Shell Script에 대한 이해와 능숙하게 다룰 수 있는 스킬이 있으면 그 점은 굉장한 경쟁력이 됩니다. 저는 입사 초기에 서버에서 업무를 수행하면서 Shell Script를 익혔지만 Shell Script조금 배우고 입사를 했으면 업무의 생산성이 크게 증가했을 텐데라는 아쉬움이 남기도 합니다.

오늘부터 Shell Script 공부하면서 Shell Script에 대해 포스팅을 해 보록 하겠습니다.

쉘 스크립트(Shell Script)

쉘 스크립트는 리눅스/유닉스에서 실행하기 위해 고안된 스크립트입니다.여러 명령을 작성하여, 반복적이고 단순한 형태의 작업을 프로그래밍하고 실행 가능한 파일 형태로 저장하여 사용할 수 있도록 합니다.

Bourne Shell -sh

Bourne Shell(sh)는 유닉스 쉘의 오리지널이라고 할 수 있습니다. AT&T 벨 연구소의 스티븐 본(Stephen Bourne)이 개발했고 1977년에 처음으로 유닉스 버전 7에 포함되었다. 본의 이름을 따 Bourne Shell이라고 부르며 오리지널 쉘인 만큼 모든 유닉스 운영체제에서 사용할 수 있으나 부족한 기능들이 많습니다. 그중 가장 큰 단점은 상호 대화식 방식을 취하고 있지 않는 것입니다.

쉘의 기능

사용자와 커널 사이에서 명령을 해석해 전달하는 명령어 해석기 기능이 있습니다.
쉘 자체 내에 프로그래밍 기능이 있어서 프로그램을 작성할 수 있습니다. 쉘 프로그래밍 기능을 이용하면 여러 명령을 사용해 반복적으로 수행하는 작업을 하나의 프로그램으로 제작할 수 있습니다. 쉘 프로그램을 쉘 스크립트라고 부릅니다
초기화 파일 기능을 이용해 사용자의 환경을 설정할 수 있습니다.

쉘의 종류

현재 가장 리눅스/유닉스에서 가장 많이 사용되는 5가지 오픈 소스 쉘들이 있습니다.

출처:https://www.tecmint.com/

현재 가장 리눅스/유닉스에서 가장 많이 사용되는 5가지 오픈 소스 쉘들이 있습니다. 간단히 한번 알아보겠습니다.

1. Bash Shell

Bash는 Bourne Again Shell의 약자이며 1989년에 출시되어 지금까지도 대부분의 리눅스 계열의 운영체제에서 많이 사용되는 기본 쉘입니다. sh 단점을 보완하여 프로그래밍 및 대화식 사용을 개선하였습니다.

Command line editing
Job Control
Unlimited size command history
Shell Functions and Aliases
Unlimited size Indexed arrays
Integer arithmetic in any base from two to sixty-four

2. Tcsh.Csh Shell

Tcsh은 Berkely Unix csh에서 파생되어 초기 유닉스 시스템에서 사용되어 가장 긴 역사를 가지고 있습니다. C언어 문법과 매우 유사한 특징을 가지고 있습니다.

C like syntax
Command-line editor
Programmable word and filename completion
Spelling correction
Job control

3.Ksh Shell

Korn shell, Ksh은 1983년 AT&T의 벨 연구소에서 근무하던 데이비드 콘이 설계하고 개발하였습니다. sh(Bourne Shell)을 확장해서 확장해서 개발하였며, 벨 연구소 사용자의 요청으로 Csh Shell의 특징을 모두 제공하면서 처리속도가 빠르다는 장점을 가지고 있다.

4. Zsh Shell

Zsh은 Unix / GNU Linux Shell의 많은 기능을 통합하여 설계된 Shell로서 1990년도에 출시된 강력한 Shell입니다. 다양한 확장 스크립트 및 문법을 제공하며, 개발자들 사이에서 많이 사용되는 Shell이다. 위에 나열한 모든 쉘들의 장점들을 포함하여 만든 쉘이라고 생각하시면 될 것 같습니다.

Filename generation
Startup files
Login/Logout watching
Closing comments
Concept index
Variable index
Functions index
Key index and many more that you can find out in man pages

5. Fish Shell

Fish는 “friendly interactive shell”을 의미하며 2005년에 개발되었습니다. Fish을 사용하면 구문 강조, 자동 제안 및 탭 완성 등과 같은 기능을 제공하며, 사용하기 위해 위에서 설명한 Shell 종류보다 간편하고 복잡한 구성이 필요 없다는 특징을 가지고 있습니다. 개인적으로 ㅅFash Shell을 쓰면서 느꼈던 점은 쉘계의 파이썬 같은 느낌이었습니다

Man page completions
Web based configuration
Auto-suggestions
Fully scriptable with clean scripts
Support for term256 terminal technology

현재 OS에 설치된 쉘 확인하기

 (base)  ✘ eunchan⚡️ cat /etc/shells
/bin/bash
/bin/csh
/bin/dash
/bin/ksh
/bin/sh
/bin/tcsh

cat /etc/shells 을 입력하면 현재 사용할 수 있는 쉘들이 보입니다

사용하고 있는 쉘 확인하기

(base)  ✘ eunchan⚡️ echo $SHELL
/bin/zsh

echo %SHELL 을 입력하면 현재 사용하고 있는 쉘이 보입니다. 저는 zsh 쉘을 사용하고 있습니다.

다음 포스팅에서는 쉘 문법에 기초에 대해서 포스팅하도록 하겠습니다!

[Linux]사용자 위주의 모니터링 도구 htop

EunChan_Kim — Fri, 12 Nov 2021 23:56:31 +0900

Htop이란 작업 관리자와 비슷한 개념으로 리눅스에서 시스템 사용량 즉 CPU 사용량, 메모리 사용량 등을 비주얼적으로 모니터링할 수 있는 프로그램입니다.

리눅스에는 이러한 시스템 자원 상황을 모니터링하는 프로그램에는 Top, Htop, Atop, Nmom, Glances, Saider 등이 있는데요.

Hisham Muhammad가 2004년에 개발했는데 아직까지도 많이 사용되고 있는 프로그램입니다.

저도 디테일한 모니터링을 하고 싶을때는 Top보다 Htop을 주로 사용하고는 합니다.

설치방법

sudo apt-get install htop
brew install htop ## mac 도 homebrew에서 다운할 수 있습니다

특징

htop 화면을 살펴보면 왼쪽 상단에 CPU, swap메모리,메모리 사용률이 표현되어 있으며, 하단에는 모니터링되고 있는 프로세스가 보이며 1초에 한 번씩 갱신됩니다
선택된 프로세스를 죽이거나, 우선순위를 변경할 수 있습니다.특정 프로세스 이름으로 검색, 필터링하여 현황을 볼 수 있습니다.
pstree와 top을 함께 보는 기능이 있습니다.
cpu의 코어 갯수를 확인해서 각 프로세스의 정보를 top보다 더 디테일하게 모니터링이 가능합니다.

시스템 전체 CPU 사용률

최상단 왼쪽에 CPU/코어별 사용률이 보이는데 게이지바의 색깔이 의미하는 바는 다음과 같습니다.

파랑: 우선 순위가 낮은 프로세스(nice > 0)
초록: 일반(사용자) 프로세스
빨강: 커널 프로세스
노랑: IRQ time
자주: Soft IRQ time
회색: IO Wait time

시스템 전체 메모리 사용률

CPU 사용률 아래에 메모리와 스왑 사용량이 보이는데 게이지바의 색깔이 의미하는 바는 다음과 같습니다.

초록: 사용 중인 메모리 페이지
파랑: 버퍼 페이지
노랑: 캐쉬 페이지

평균 부하율(Load average)

일정 시간 동안의 평균 부하율로 top이나 uptime과 마찬가지로 1, 5, 15분 간격으로 평균 수치가 나옵니다. 싱글 코어 CPU일 때 1.0이면 사용률이 100% 임을 의미합니다. 쿼드 코어라면 4.0이 100%입니다. 다만 이때 1.0을 넘을 수도 있는데 이는 CPU를 할당받기 위해 프로세스들이 기다려야 함을 뜻합니다.

프로세스 정보

PID: 프로세스의 프로세스 ID 번호
USER: 프로세스의 소유자
PR: 프로세스의 우선순위
NI: 우선순위에 영향을 주는 프로세스의 nice 값
VIRT: 프로세스가 사용 중인 가상 메모리 양
RES: 프로세스가 사용 중인 물리 RAM의 양(단위는 킬로바이트)
SHR: 프로세스가 사용 중인 공유 메모리 양
S: 프로세스의 현재 상태(zombied, sleeping, running, uninterruptedly sleeping, traced)
%CPU: 프로세스가 프로세서를 사용한 시간의 백분율
%MEM : 프로세스가 사용 중인 물리 RAM의 백분율
TIME+: 프로세스가 프로세서를 사용한 시간
COMMAND: 프로세스 시작에 사용한 명령어

단축키 설명

F1 : htop의 도움말을 볼 수 있으며, 단축키의 기능을 알 수 있습니다.
F2 : 설정, 설정에서는 상단에 보여줄 CPU. 메모리에 대한 정보를 추가/제거 할 수 있으며, 디스플레이 옵션 설정도 가능합니다.
F3 : F3 또는 “/” 눌러 해당 프로세스를 검색할 수 있습니다.
F4 : 원하는 프로세스만 모니터링 할 수 있는 기능입니다.(grep과 유사)
F5 : pstree명령어와 같은 기능으로 프로세스의 부모 자식 관계를 트리 형태로 보여주는 기능이며, 한번 더 키를 입력하면 트리를 보여 주거나 그 반대 기능을 합니다.“+”.”-” 키를 이용해 트리를 펼치거나 접을 수 있습니다.
F6 : 프로세스를 CPU,메모리,사용자,우선순위, 프로세스이름 등 원하는 방식으로 정렬하여 보다 쉽게 모니터링 할 수 있습니다.
F7, F8: 프로세스의 우선 순위을 바꾸는 단축키 입니다.
F9 :프로세스를 종료 시키는 단축키입니다. 보통 프로세스를 종료 시키려면ps명령어로 해당 PID를 찾아 kill -9 PID 명령어로 종료 시킵니다. htop에서 해 당 프로세스를 선택 후 F9 또는 “k”키를 입력하여 해당 프로세스를 종료시킬 수 있습니다.
F10 : htop을 종료 합니다.
l : 그 프로세스가 열고 있는 파일들을 볼 수 있습니다.
u : 특정 사용자의 프로세스만 볼 수 있습니다.
k: 현재 또는 선택된 프로세스를 종료 합니다.
M 메모리 사용량으로 프로세스를 정렬 합니다.
P: CPU 사용량으로 프로세스를 정렬 합니다.

[Python]Python의 유용한 라이브러리들

EunChan_Kim — Thu, 16 Sep 2021 10:22:35 +0900

파이썬이 많은 인기를 누리고 있는 중에 하나의 이유를 뽑자면 광범위한 라이브러리를 쉽게 다운받아서 사용할 수 있는 장점이 있기 때문입니다. 오늘은 파이썬의 유용한 라이브러리들을 소개해보도록 하겠습니다.

먼저 라이브러리에 개념에 대해 알고가야 합니다.

라이브러리 (Library)

파이썬 라이브러리는 내가 필요한 코드를 작성할 필요 없이 많은 동작을 수행할 수 있게 해주는 함수와 메서드의 집합입니다. 마치 도서관 (library)에서 내가 필요한 책을 꺼내어 보듯이 프로그래밍 중에 파이썬 라이브러리를 꺼내어 사용할 수 있습니다. 여러 파일로 이루어져 있을 수 있고, 함수 메서드 속성들이 하나의 패키지로 모여져 있습니다. 라이브러리에는 이미 우리가 수행하고자 하는 기능과 동작들이 이미 정의되어 모여져 있기 때문에, 이를 가져다 쓰기만 하면 됩니다.
일반적으로 .py파일의 상단에 import Libray 로 불러올 수 잇습니다.

Pypi(https://pypi.org)

Pypi(Python Package Index)는 Python으로 만든 Packages를 관리하고 사용할 수 있게 만들어 놓은 저장소입니다.
Libray의 버전 정보와 다운방법이 나와 있어서 편리하게 사용할 수 있습니다.

유용한 라이브러리

파이썬을 사용하면서 생산성을 높여주는 유용한 라이브러리들을 정리해보았습니다.

OS/런타임

명령줄 옵션과 인수 - argparse
파이썬 인터프리터 제어 - sys
스트림 관련 - io
운영체제 기능 사용 - os

파일 디렉터리

특정 패턴에 대한 파일 경로 취득 - glob
파일 위치 찾기, 입출력 - pathlib
임시파일 및 디렉터리 생성 - tempfile
파일 이동, 복사, 삭제 - shutil

날짜와 시각

날짜와 시간 - datetime
시각 다루기 - time
datetime의 확장 - dateutil
전 세계 표준시간대 - pytz

데이터 압축

zlib 라이브러리로 데이터 압축 - zlib
zip 파일 - zipfile
gzip 압축 파일 - gzip
bzip2 압축 파일 - bz2
lzma 압축 파일 - lzma
tar 파일 - tarfile

특정 데이터 포맷

Data fream(panel datas) - Pandas
JSON - json
CSV 파일 - csv
이미지 - Pillow
INI 파일 - configparser
YAML - PyYAML
Excel - openpyxl
Data Split - splitfolders

텍스트 처리

정규 표현식 - re
Unicode DB 접근 - unicodedata

자료형과 알고리즘

컨테이너 데이터 - collections
힙, 큐 - heapq
열거형 데이터 - Enum
이터레이터 - itertools
Pretty Print - pprint

수치, 수학

기본적인 계산 - math
난수 - random
통계 - statistics
수치 연산 - Numpy
Numpy의 확장 - Scipy

병렬처리

멀티 프로세스 - multiprocessing
서브 프로세스 - subprocess

[GAN]Generative Adversarial Networks(NIPS 2016)

EunChan_Kim — Fri, 10 Sep 2021 13:31:39 +0900

딥러닝의 3대 석학이라고 불리는 얀 르쿤(Yann LeCun) 교수가 GAN(Generative Adversarial Network)을 가리켜 최근 10년간 머신러닝 분야에서 가장 혁신적인 아이디어라고 할 만큼 GAN은 가장 많은 관심을 받고 있는 기술 중에 하나이고 재미있는 연구 분야입니다. 오늘은 Generative Adversarial Networks에 대해서 포스팅해보도록 하겠습니다.

GAN에서 다루고자 하는 모든 데이터는 확률분포를 가지고 있는 랜덤변수(Random Variable)이기 때문에 먼저 확률분포의 개념을 알아야 합니다.

확률분포

확률 번수가 특정한 값을 가질 확률을 나타내는 함수를 의미합니다.

예를 들어 주사위를 던젔을때 나올 수 있는 확률 변수 X라고 합시다.

확률 변수 X는 1, 2, 3, 4, 5, 6의 값을 가질 수 있습니다.
P(X=1)는 1/6 입니다.
P(X=1)=P(X=2)=P(X=3)=P(X=4)=P(X=5)=P(X=6)

확률 분포는 크게 2가지로 구분할 수 있습니다.

이산 확률 분포 : 확률 변수 X의 개수를 정확히 셀 수 있는 함수
연속 확률 분포 : 확률 변수 X를 셀 수 없는 함수

이산 확률 분포

이산 확률 분포의 나타낼 때 사용되는 대표적인 그림인 주사위 확률 그림입니다.
확률 변수 X의 개수를 정확히 셀 수 있고 모든 확률변수 X를 다 더하면 1이 됩니다.
대표적인 이산 확률분포에는 이산 균등 분포, 포아송 분포, 이항 분포가 있습니다.

연속 확률 분포

연속 확률분포의 대표적인 그림인 정규분포(가우스 분포) 그림입니다.
연속적인 값의 예시는 : 키, 달리기, 성적 같은 값들을 말합니다.
대표적인 연속 확률 분포에는 정규 분포, 연속 균등 분포, 카이제곱 분포, 감마 분포가 있습니다.

Generative Adversarial Networks(NIPS 2016)

Unsupervised의 대표주자인 GAN은 분류 모델(판별자 Discriminator)과 회귀 모델(생성자 Generator)로 구성되어 있습니다. 두 모델은 GAN이란 이름에서 쉽게 알 수 있듯이, 생성자 Generator와 판별자 Discriminator가 서로의 성능을 개선해 적대적(Adversarial)으로 경쟁해 나가는 모델입니다. 위의 그림과 같이 경찰과 지폐 위조범의 대립과 같은 방식으로 이해할 수 있습니다.

Model architecture

모델의 구조는 다음과 같습니다.

생성자 Generator가 Latent space에서 Latent V를 뽑아서 Fake이미지를 생성합니다.
판별자 Discriminator가 Real Image와 Fake Image 이미지를 판별하는데 Real Image는 1 Fake는 0으로 판별합니다
생성자 Generator는 Fake Image 가 들킬 가능성을 최소화하고 판별자 Discriminator는 속을 가능성을 최소화합니다

Loss function

Gan의 Loss function는 일반적인 Loss function처럼 한 방향으로(최대화하거나 최소화하는) 진행되는 게 아니라 G는 V를 최소화하고 D는 V를 최대화하는 Loss function입니다.

Generator Loss function

Discriminator Loss function

Gan의 학습과정

(a) z에서 x(이미지) 공간으로 맵핑이 원래 이미지의 분포와는 다른 분포를 생성합니다.
(b) 생성자 G를 고정하고 판별자 D를 학습을 합니다
진짜 이미지에 대해서 안정적으로 1에 가까울 확률, 반에의 경우 0에 가까운 확률을 반환하게끔 학습을 합니다.
(c) 판별자 D를 고정하고 생성자 G를 학습을 합니다.
z에서 x로의 맵핑이 (a)의 상태와 다르게 좀 더 실제 이미지 분포에 가까운 분포를 형성합니다.
(d) z에서 x로 맵핑이 실제 이미지 분포와 거의 동일한 분포를 생성하면 D는 위의 그림과 같이 1/2로 판별 확률을 반환합니다.

Gan의 목표는 생성자의 분포가 원본 학습 데이터의 분포를 잘 따를 수 있는가입니다.

즉 학습이 다 이루어진 후에 판별자가 진짜 이미지와 가짜 이미지를 구분할 수 없는 가짜 이미지를 생성하는 것입니다.

Generative Adversarial Network Pytorch

https://github.com/eriklindernoren/PyTorch-GAN

GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks.

PyTorch implementations of Generative Adversarial Networks. - GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks.

github.com

위의 Github에 Pytorch으로 구현한 GAN이 정리가 잘 되어 잇습니다

참고 자료

[Computer Vision]Pose Estimation

EunChan_Kim — Sat, 31 Jul 2021 13:29:56 +0900

Pose Estimation에 딥러닝을 적용하는 알고리즘이 나오자 빠른 발전을 이루었습니다. Pose Estimation도 2D Pose Estimation, 3D Pose Estimation으로 나뉘는데요 오늘은 2D Pose Estimation을 간략하게 요약해 포스팅해보도록 하겠습니다

Pose Estimation

사람의 신체 관절인 Key Point가 어떻게 구성되어있는지 위치를 측정(Localization)하고 추정(Estimation)하는 문제입니다.
주요 Key Point → Head, Neck, Sholder, Elbow, Wrist, Hip, Knee, Ankle
Pose Estimation의 대표적인 성능평가 지표 성능평가지표는 데이터셋에 따라 조금씩 명칭이 바뀌는 것 같습니다.
- Percentage of Correct Keypoints - PCK특정 threshold 보다 detected-true 간의 차이가 작다면 correct 로 간주하는 평가 지표입니다.
- 기본적으로 PCK @ 0.2 는 threshold 가 0.2 * torso diameter 로써, 여기서 torso는 사람의 몸통(팔다리를 제외한 몸 부분)을 말합니다.
- Detected-joint is considered correct if the distance between the predicted and the true joint is within a certain threshold.
- PCKh @ 0.5 : threshold = 50% of the head segment length(head bone link) threshold 로써 몸통이 아닌 머리 부분의 길이를 사용한 변형 평가 지표입니다.

2D Pose Estimation

Direct regression based

빠르고 직접적으로 end-to-end 방법으로 학습이 가능하고, 3D 이미지에 대해서 큰 변화 없이 적용 가능합니다.
Multi-person에 대해 적용 할 수 없고 현재는 좋은 성능을 얻지 못해서 많이 사용하지 않고 있습니다.
현시점에서는 좋은 성능을 얻지 못해 많이 사용하지 않습니다.

Heatmap based

출력된 heatmap에서 최댓값을 가지는 좌표를 keypoint로 예측하는 방법입니다.
시각화가 쉽고, 보다 복잡한 경우에 적용하기 좋습니다.
Memory 사용양이 많고, 3D 이미지에 대해 적용하기가 어렵습니다.

Top-down

영상에서 사람을 Detection 하고, Bounding Box 내부에서 포즈를 추정하는 방식입니다.
Pose Estimation의 SOAT가 대부분 이 방식의 알고리즘에서 달성됩니다.
Detector가 감지한 Bounding Box를 기준으로 사진을 잘라낸 뒤, 일정한 크기로 리사이즈하고서 pose estimator에 넣어주기에 사람의 상대적 크기에서 자유롭습니다.
먼저 Detection을 하고 사람을 찾기 때문에 Bottom-up 보다는 정확도가 좋지만 속도가 느립니다.

Bottom-up

영상에 포함된 사람의 Key Point를 모두 추정하고, Key Point 간의 상관관계를 분석하여 포즈를 추정하는 방식입니다.
Top-down 방식에 비해 정확도가 떨어집니다.
Detection 과정을 거치지 않기 때문에 빠르다는 장점이 있어서 Real-time 에 적용하기 적합합니다.

2D Pose Estimation Dataset

2D Pose Estimation 분야의 논문에서는 주로 아래와 같은 데이터셋이 많이 사용됩니다. 이중에서도 MPII 데이터 셋과 COCO데이터 셋으로 평가가 많이 이루어집니다.

MPII : 약 4만 명의 인물이 포함된 2만5천 장의 이미지로 구성된 데이터 셋입니다. 이미지는 유튜브 비디오에서 추출이 되었고 각 이미지에는 관절 좌표뿐만 아니라 신체 부분 폐색, 3D torso and head 방향, 410개의 활동 레이블링이 제공됩니다.
COCO : 약 15만 명의 인물이 포함된 6만 장의 이미지로 구성된 데이터 셋이 입니다.
Leeds Sports Post(LSP) : 단일 인물사진들이며 스포츠 경기 이미지를 수집하여 만든 데이터 셋으로 14개의 관절 좌표가 있으며 10,000장의 이미지로 구성된 데이터 셋입니다.

[Computer Vision]Object Detection

EunChan_Kim — Sat, 10 Jul 2021 21:57:41 +0900

Computer Vision에 다양한 분야가 있습니다. 그중에서도 가장 활발이 연구되고 있는 Object Detection에 대해서 포스팅해보도록 하겠습니다.

Object Detection

Object Detection이란 여러 물체에 대해 어떤 물체인지 분류하는 Classification 문제와 그 물체가 어디 있는지 Bounding Box 위치 정보를 나타내는 Localization 문제를 해결하는 분야입니다.

Object Detection Milestiones

Object Detection in 20 Years: A Survey

위의 이미지를 보면 Object Detection에 많은 영향을 미친 알고리즘들을 시간의 흐름에 따라 정리되어 있습니다. 요약하자면 다음과 같습니다.

Traditional Detection 알고리즘 - VJ det, HOG det …
Pascal VOC 데이터 기반에서 딥러닝 기반인 AlexNet 이나 오면서 딥러닝이 화두가 되었습니다
딥러닝 탐지 알고리즘 → 1-Stage detector와 2-Stage detector로 나누어졌습니다. (Region Proposal, Classification)

2-Stage detector

Localization을 진행한 다음에 순차적으로 Classification을 진행합니다
대표적인 2-Stage detector 입니다
R-CNN(Selective Search), SPPNet(Spatial Pyramid Pooling), Fast-RCNN(RoI projection, SPPNet) , Faster R-CNN(Region Proposal Network, Non-Maximum Suppression)
객체 검출하는 정확도 측면에서는 좋은 성능을 냈지만 속도(FPS) 측면에서 너무 느립니다
Real-time detection을 하기 위해서 약 20~30 fps정도가 적정하다고 하지만 2-Stage detector 중에 좋은 성능을 지닌 Faster R-CNN 약 5 fps 정도라 2-stage detector는 Real-time 적합하지 않습니다.

1-Stage detector

Localization와 Classification 동시에 진행합니다.
대표적인 1-Stage detector입니다
YOLO(Grid), SSD(Default bbox), RetnaNet(Focal loss)
2-stage detector의 속도(FPS) 문제를 개선하였지만 정확성 부분에서 조금 떨어집니다.

대표적인 Object detector들의 장점과 단점

대표적인 Object detector들의 비교

A review: Comparison of performance metrics of pretrained models for object detection using the TensorFlow framework 에서 Object Detector을 다방면으로 비교한 자료가 있어서 참고하시면 좋을 듯합니다!

Tensor flow를 사용하였고 Dataset은 COCO입니다.

FPS

Comparison of frames processed per second (FPS) implementing the Faster RCNN, R-FCN, SSD and YOLO models using input images with different resolutions.

FPS성능 지표에서는 YOLO가 앞도적으로 높은 것을 알 수 있습니다.

AP

Comparison of accuracy Faster R-CNN, R-FCN, SSD and YOLO models using the database MS COCO

조사를 하면서 느꼈지만 절대적으로 가장 좋은 알고리즘은 없고 조사를 하는 순간에도 다양한 방법들이 많이 생기고 있기 때문에 프로젝트 상황에 맞는 적합한 알고리즘을 잘 적용 시면 좋을 것 같습니다.

참고

- Object Detection in 20 Years: A Survey

- A review: Comparison of performance metrics of pretrained models for object detection using the TensorFlow framework

[RNN]Recurrent Neural Network(RNN)

EunChan_Kim — Mon, 21 Jun 2021 16:04:30 +0900

이번에는 자연어(NL, Natural Language)나 음성신호, 주식과 같은 연속적인(sequential) 시계열(time series) 데이터에 많이 사용되는 모델인 순환 신경망(Recurrent Neural Network)에 대해 포스팅해 보도록 하겠습니다

순차 데이터(Sequential Data)

Sequential Data

순환 신경망(RNN)을 공부하기 전에 먼저 순환 신경망(RNN)에 사용하는 순차 데이터(Sequential Data)에 대해 알아야 합니다
순차 데이터(Sequential Data)란 순서가 의미가 있으며, 순서가 달라질 경우 의미가 손상 되는 데이터를 순차 데이터(Sequential Data)라고 합니다.

시간적 의미가 있는 경우 Temporal Sequence라고 하며, 일정한 시간차라면 Time Series 라고 합니다.

일반적으로 순환 신경망(RNN)에서는 Time Series형태의 데이터를 많이 사용하게 되는데요

Temporal Sequence를 Time Series로 변환하기 위해서는 Resample을 해주어야 합니다.

취득된 데이터(Temporal Sequence)를 이용해 신호를 보간(Imterpolation)하고, 이를 균일 시간 간경으로 샘플링합니다.

기억 시스템(Memory System)

순차 데이터(Sequential Data)를 처리하려고 하면 기본적으로 기억 시스템이라는 것이 전제가 되어있어야 합니다.

위의 그림과 같이 입력이 여러 가지가 들어왔을 때 모든 입력을 다 분석을 해서 출력을 하기 위해서는 모든 입력들을 기억을 하고 있어야 합니다. 올바른 대답을 하려면, 입력받을 때마다 그 내용을 '기억' 할 수 있어야 합니다.

이전 입력을 기억하지 않는 시스템은 무기억 시스템(Memoryless System)이라고 하는데 얕은 신경망(Shallow Neural Network), 합성곱 신경망(Convolution Neural Network) 등이 있습니다.

순환 신경망(Recurrent Neural Network)

기본적인 순환 신경망(RNN)은 위의 그림과 같습니다.

얕은 신경망(Shallow Neural Network)에 '순환'이 추가된 것으로 이해하면 될 것 같습니다.

입력에서 얕은 신경망(Shallow Neural Network)과는 다르게 n-1번째 히든 레이어를 입력받아 더해서 사용을 합니다

그러면 자연스럽게 입력의 길이가 길어지면서 데이터가 끊임없이 갱신될 수 있는 구조입니다.

수식에서도 알 수 있든 히든 레이어의 활성화 함수는 비선형 함수인 하이퍼볼릭 탄젠트를 많이 사용합니다.

이러한 순환 신경망(RNN)은 입력값과 출력 값이 Sequential의 길이에 관계없이 받아들일 수 있는 구조이기 때문에 언어 모델링, 번역, 음성 인식 등에 다양하게 사용이 가능합니다

순환 신경망(Recurrent Neural Network)의 한계

순환 신경망(RNN)은 순차 데이터의 장기 의존관계(Long-Term Dependency)를 학습하는 것에 한계가 있습니다. 길이가 길어지어짐에 따라 신경망을 하나 통과할 때마다 기울기의 값이 조금씩 작아져서, 이전 시각 t까지 역전파 되기 전에 0이 되어 소멸하게 되는 기울기 소실(Gradient Vanishing) 또는 반대로 기울기가 너무 커지는 기울기 폭발(Gradient Exploding) 문제가 일어나기 때문입니다.

다음 포스팅에는 RNN의 한계를 해결하는 방법을 포스팅하도록 하겠습니다.

[Deep Learning]Depthwise Separable Convolution

EunChan_Kim — Mon, 14 Jun 2021 14:53:48 +0900

오늘은 Convolution 방법 중 하나인 Depthwise Separable Convolution 내용을 포스팅해보도록 하겠습니다.

Depthwise Separable Convolution 방법은 Xecption, Mobilenet V1, V2에 사용되고 있는데요 오늘의 포스팅은 CodeEmporium의 동영상을 참고하여 만들었습니다!

먼저 기본적인 Convolution을 알아보도록 하겠습니다.

Convolution

일반적인 Convolution

$D_{F}$ 는 Height와 Width의 크기이고 $M$ 은 Channel 크기입니다. 따라서 Input shape은 (D_F,D_F,M) 입니다.
$D_{K}$ 는 필터에 해당합니다. 필터의 채널은 인풋과 같기 때문에 똑같이 M입니다.
인풋이 필터를 거쳐 Convolution을 하게 되면 결과물로 매트릭스가 한 개 나오게 됩니다.
필터의 갯수가 $N$ 에 해당하는데 필터의 종류(N개) 만큼 Convolution 하기 때문에 총 $N$ 개의 매트릭스가 결과물로 나오게 됩니다.
모두 더하면 출력에 (D_G,D_G,N) shape의 volume이 출력물로 나오게 됩니다.

곱연산 기준으로 Standard Convolution 연산량을 알아보겠습니다.
먼저 한 개의 필터가 인풋의 한 위치에서 처리할 때 사용되는 곱연산은 ×M이 됩니다.
이 때, 이동할 수 있는 위치의 경우의 수가 $D_{G} \times D_{G}$ 의 경우가 있기 때문에( $D_{G}$ 는 아웃풋의 height, wdith 크기) 필터 하나가 인풋 하나를 처리하는 데 필요한 연산 수는 M이 됩니다.
마지막으로 $N$ 개의 필터가 있다면 아웃풋은 크기를 가지고 연산량도 가 됩니다.
연산량을 줄이는 것이 Depthwise Separable Convolution목표입니다.

Depthwise Separable Convolution

Depthwise Separable Convolution은 2가지의 프로세스로 진행됩니다.

Depthwise Convolution과 Pointwise Convolution 입니다.

Depthwise Convolution

Standard Convolution 에서는 한 개의 필터가 $M$ 채널 전체에 Convolution을 하였습니다.
Depthwise Convolution에서는 한 개의 필터가 한 개의 채널에만 연산을 합니다. 인풋의 첫번째 채널에 해당하는 영역을 이라고 한다면 이 1채널 인풋과 유일하게 연산되는 필터 이 존재합니다.
는 와 대응하기 때문에 이 연산에서는 총 $M$ 개의 필터가 존재하게 됩니다.
연산을 마치면 최종적으로 의 volume이 출력됩니다.

Pointwise Convolution

Pointwise Convolution 핵심은 1 x 1 Convolution을 적용하는 것이 입니다. 에 필터를 Convolution 을 합니다.
$(D_{G}, D_{G}, M) \otimes (1, 1, M) = (D_{G}, D_{G}, 1)$ 됩니다. 이 연산을 $N$ 개의 필터를 이용하여 적용하면 총 $N$ 개의 매트릭스( 가 $N$ 개)가 출력 됩니다.
이 출력물들을 쌓으면 하면 결과적으로 의 출력물을 만들 수 있습니다.

입력과 출력 기준으로 보면 Standard Convolution과 Depthwise Separable Convolution 모두 을 입력으로 넣어서 의 출력을 얻는다는 점은 같습니다.
하지만 내부 Convolution 연산 과정에서 Depthwise Separable 기법으로 연산량과 파라미터 수를 줄였다는 것이 핵심입니다.

Depthwise Convolution의 연산량

한 위치에서 필터가 연산되는 곱연산은 이고 한 채널 전체에서 필터가 연산되는 곱연산은 입니다.
마지막으로 $M$ 개의 채널에 모두 적용되어야 하므로 총 곱연산은 가 됩니다.

Pointwise Convolution의 연산량

한 위치에서 1x1 필터가 연산되는 곱 연산은 M 입니다. 그리고 한 채널 전체에서 연산되는 곱연산은 이 됩니다.
마지막으로 $N$ 개의 필터가 모두 적용되어야 하므로 총 곱연산은 이 됩니다.

Comparison Standard Vs Depthwise

Standard Convolution의 연산량은 이고 Depthwise Separable Convolution의 연산량은 됩니다.
위 슬라이드와 같이 비율을 확인해 보면 $(1 / N) + (1 / D_{K}^{2})$ 이 됩니다.
$N$ 은 아웃풋 채널의 수이고 $K$ 는 필터의 사이즈이므로 일반적인 예를 들어 N=1024,K=3이라고 하면 가 됩니다.
$1 / 9$ 만큼 연산량이 줄어든것을 확인할 수 있습니다.

[자료구조]링크드 리스트(Linked List)

EunChan_Kim — Tue, 8 Jun 2021 14:45:24 +0900

링크드 리스트 (Linked List)

링크드 리스트(Linked List), 연결 리스트는 각 노드가 데이터와 포인터를 가지고 한 줄로 연결되어 있는 방식으로 데이터를 저장하는 자료 구조입니다. 이름에서 말하듯이 데이터를 담고 있는 노드들이 연결되어 있는데, 노드의 포인터가 다음이나 이전의 노드와의 연결을 담당하게 됩니다.

특징

배열은 순차적으로 연결된 공간에 데이터를 나열하는 데이터 구조입니다.
링크드 리스트는 떨어진 곳에 존재하는 데이터를 화살표로 연결해서 관리하는 데이터 구조입니다.
본래 C언어에서는 주요한 데이터 구조이지만, 파이썬은 리스트 타입이 링크드 리스트의 기능을 모두 지원합니다.
장점
- 배열은 미리 데이터의 공간을 할당해야하지만 링크드 리스트는 미리 데이터 공간을 미리 할당하지 않아도 됩니다.
단점
- 연결을 위한 별도 데이터 공간이 필요하므로, 저장공간 효율이 낮습니다.
- 연결 정보를 찾는 시간이 필요하므로 접근 속도가 느립니다.
- 중간 데이터 삭제시, 앞뒤 데이터의 연결을 재구성해야 하는 부가적인 작업 필요합니다.
링크드 리스트 기본 구조와 용어
- 노드(Node): 데이터 저장 단위 (데이터 값, 포인터)로 구성되어 있습니다.
- 포인터(pointer): 각 노드 안에서, 다음이나 이전의 노드와의 연결 정보를 가지고 있는 공간입니다.

다양한 링크드 리스트 구조

더블 링크드 리스트(Doubly linked list)

이중 연결 리스트라고도 부릅니다.
장점
- 양방향으로 연결되어 있어서 노드 탐색이 양쪽으로 모두 가능합니다.

원형 링크드 리스트(Circular linked list)

리스트의 마지막 노드의 링크가 첫 번째 노드를 가리키는 연결 리스트입니다.
장점
- 반복적인 순회에서 연결리스트의 끝을 체크해야 할 필요가 없습니다. 또한 HEAD와 같은 메타데이터가 필요하지 않기 때문에 시간, 메모리의 효율이 높습니다.

[자료구조]배열(Array), 큐(Queue), 스택(Stack)

EunChan_Kim — Thu, 20 May 2021 20:24:41 +0900

배열(Aarry)

배열이란 데이터를 나열하고, 각 데이터를 인덱스에 대응하도록 구성한 데이터 구조입니다.

파이썬에서는 리스트 타입이 배열 기능을 제공합니다

특징

같은 종류의 데이터를 효율적으로 관리하기 위해 사용합니다.
같은 종류의 데이터를 순차적으로 저장합니다.
장점:
- 빠른 접근 가능 : 첫 데이터의 위치에서 상대적인 위치로 데이터 접근(인덱스 번호로 접근)이 가능하기 때문에 데이터 접근 속도가 빠릅니다.
단점:
- 데이터 추가/삭제의 어려움 : 일반적으로 C언어에서는 미리 최대 길이를 지정해야 되지만 파이썬의 list는 자동적으로 늘어나기 때문에 최대길이를 지정하지 않아도 됩니다.

큐(Queue)

큐란 한쪽 끝(rear)에서는 삽입 연산만 이루어지며 다른 한쪽 끝(front)에서는 삭제 연산만 이루어지는 유한 순서 리스트입니다.

쉽게 말해서 음식점에서 가장 먼저 줄을 선 사람이 제일 먼저 음식점에 입장하는 것과 동일한 원리 입니다.

특징

가장 먼저 넣은 데이터를 가장 먼저 꺼낼 수 있는 구조입니다.
FIFO(First-In, First-Out) 또는 LILO(Last-In, Last-Out) 방식으로 스택과 꺼내는 순서가 반대입니다.
Enqueue: 큐에 데이터를 넣는 기능입니다.
Dequeue: 큐에서 데이터를 꺼내는 기능입니다.

파이썬 queue 라이브러리

queue 라이브러리에는 다양한 큐 구조로 Queue(), LifoQueue(), PriorityQueue() 제공합니다.
프로그램을 작성할 때 프로그램에 따라 적합한 자료 구조를 사용하면 효율적으로 프로그램을 만들 수 있습니다.
- Queue(): 가장 일반적인 큐 자료 구조
- LifoQueue(): 나중에 입력된 데이터가 먼저 출력되는 구조 (스택 구조라고 보면 됨)
- PriorityQueue(): 데이터마다 우선순위를 넣어서, 우선순위가 높은 순으로 데이터 출력

대체로 많이 쓰는 큐이며 위의 큐 외에 다양한 정책이 적용된 큐들이 있습니다.

스택 (Stack)

스택은 원소의 삽입과 삭제가 "Top"에서만 이루어지도록 제한되어 있는 유한순서 리스트입니다. 스택은 컴퓨터 내부의 프로세스 구조의 함수 동작 방식 등에 활용됩니다.

특징

데이터를 한쪽 끝에서만 자료를 넣거나 뺄 수 있는 구조입니다.
가장 나중에 쌓은 데이터를 가장 먼저 빼낼 수 있는 데이터 구조입니다.
스택은 LIFO(Last In, Fisrt Out) 또는 FILO(First In, Last Out) 데이터 관리 방식을 따름니다.
- LIFO: 마지막에 넣은 데이터를 가장 먼저 추출하는 데이터 관리 정책입니다.
- FILO: 처음에 넣은 데이터를 가장 마지막에 추출하는 데이터 관리 정책입니다.
push(), append(): 데이터를 스택에 넣는 기능입니다.
pop(): 데이터를 스택에서 꺼내는 기능입니다.
장점
- 구조가 단순해서, 구현이 쉽습니다.
- 데이터 저장/읽기 속도가 빠릅니다.
단점(일반적인 스택 구현 시)
- 데이터 최대 갯수를 미리 정해야 해서 저장공간의 낭비가 발생할 수 있습니다.

[Optimizer] Optimizer-경사하강법(Gradient Descent)

EunChan_Kim — Wed, 19 May 2021 14:34:30 +0900

경사 하강 학습법은 최적화 이론의 한 방법입니다. 최적화 이론은 어떤 함수가 있을 때 함수의 출력이 최적의 값을 찾아내는 이론을 말합니다.

그중에서도 딥러닝에서는 경사 하강법을 많이 사용하는데요 학습한 부분들을 정리하며 포스팅해보겠습니다. 수정해야 할 부분이 있으시면 댓글로 달아주시면 감사하겠습니다

경사 하강법(Gradient Descent)

경사 하강법의 Step

함수 $f(x)$에서 경사를 따라 여러번의 스텝(step)을 통해 최적점(최솟값)으로 다가가는 것을 경사 하강법이라고 합니다

경사는 기울기(미분, Gradient)를 이용해 계산합니다.

경사 하강법(Gradient Descent)의 학습률(Learning rate)

적절한 학습률(Learning rate)을 선택하지 못하는 경우

경사하강법에서 학습률(Learning rate)을 값을 지정해야 해야 합니다.(Step size라고 부르기도 합니다)

위의 수식에서는 $a$가 학습률입니다.

학습률(Learning rate)이 큰 경우 한 번 이동하는 거리가 커지므로 빠르게 수렴할 수 있다는 장점이 있습니다. 하지만, 학습률(Learning rate)을 너무 크게 설정해버리면 최솟값을 계산하도록 수렴하지 못하고 함숫값이 계속 커지는 방향으로 최적화가 진행될 수도 있습니다.

또, 한편 학습률(Learning rate)이 너무 작은 경우 발산하지는 않을 수 있지만 최적의 값을 구하는데 소요되는 시간이 오래 걸린다는 단점이 있습니다. 즉 경사하강법(Gradient Descent)에는 적절한 학습률(Learning rate)를 찾는 것이 중요합니다

경사 하강법(Gradient Descent)의 사용 이유

실제 분석에서 맞딱드리게 되는 함수들은 닫힌 형태(closed form)가 아니거나 함수의 형태가 복잡해 (가령, 비선형함수) 미분계수와 그 근을 계산하기 어려운 경우가 많고, 실제 미분계수를 계산하는 과정을 컴퓨터로 구현하는 것에 비해 경사 하강법(Gradient Descent)은 컴퓨터로 비교적 쉽게 구현할 수 있기 때문입니다.
데이터 양이 매우 큰 경우 경사하강법(Gradient Descent)과 같은 iterative 한 방법을 통해 해를 구하면 계산량 측면에서 더 효율적으로 해를 구할 수 있습니다

경사 하강법(Gradient Descent)의 문제점

Local Minimum

경사하강법(Gradient Descent) 알고리즘을 시작하는 위치는 매번 랜덤 하기 때문에 어떤 경우에는 Local Minimun에 빠져 계속 헤어 나오지 못하는 경우가 생깁니다.

Saddle Point

안장점(Saddle Point)은 다변수 실함수의 변역에서, 어느 방향에서 보면 극대값이지만 다른 방향에서 보면 극소값이 되는 점입니다. 즉 접평면이 수평이 되는 점입니다. 안장점에서는 기울기가 0이기 때문에 더 이상 움직일 수 없습니다.

SGD(Stochastic Gradient Descent)

Gradient Descent 방식에는 크나큰 단점이 있습니다. 최적점을 찾아 나가기 위해서 한 칸 전진할 때마다 모든 데이터 셋을 넣어주어야 하기 때문에 학습이 굉장히 오래 걸리는 비효율적인 문제가 발생합니다. 그래서 나온 것이 Stochastic Gradient Descent입니다.

Stochastic Gradient Descent는 기존의 Gradient Descent와는 다르게 Mini-batch로 분할해 빠르게 전진하는 방법입니다.

Momentum

돌이 굴러 떨어지듯, 이동 벡터를 이용해 이전 기울기에 영향을 받도록 하는 방법입니다.

관성을 이용하면 Local Minimum에 대처할 수 있습니다
이동 벡터(Vt)를 추가로 이용하므로, 경사 하강법에 비해 2배의 메모리를 사용합니다.

AdaGrad (Adaptive Gradient)

각각의 변수별로 학습률이 달라지게 조절하는 알고리즘입니다.

Element-wise 제곱으로 gt가 커져서 학습이 많이 된 변수는 학습률을 감소시키고, 그렇지 못한 변수들이 학습될 수 있도록 합니다.
gt가 계속해서 커지고 한 번 커지면 줄어들지 않기 때문에, 학습이 오래 진행되면 더 이상 학습이 이루어지지 않습니다.

Optimizer 계보

출처 : https://seamless.tistory.com/38

[CNN]Convolutional Neural Networks(CNN)

EunChan_Kim — Mon, 10 May 2021 02:11:57 +0900

이번에는 computer vision에서 가장 기본이 되는 CNN에 대해서 포스팅을 하려고 합니다.

CNN의 등장

Convolutional Neural Networks(CNN)은 Deep Neural Networks에서 기존의 이미지나 영상 데이터를 처리할 때 발생하는 문제점들을 보안한 방법입니다.

기존의 이미지 영상처리 방법은 2차원 이미지(채널 포함 시 3차원)를 1차원 배열로 변환한 다음에 FNN (Fully- connected multi layered Neural Network) 신경망으로 학습시키는 방법입니다.

FNN은 벡터 형태로 표현된 데이터를 입력 받기 때문에 이미지를 반드시 벡터화해야 하는데, 이미지를 벡터화하게 되면 인접 픽셀간의 상관관계가 무시됩니다. 일반적으로 이미지 데이터는 인접한 픽셀 간의 상관관계가 매우 높기 때문에 이미지를 백터화 화는 과정에서 정보 손실이 발생할 수밖에 없습니다.

eye에 영향을 미치는 픽샐은 8칸인데 모두 인접하게 모여있습니다

이미지를 1차원으로 바꾸게 될 경우

위와 같이 FNN문제점을 극복하기위해 만들어진 방법이 CNN입니다.

CNN은 이미지의 형태(2차원)를 보존하도록 행렬 형태의 데이터를 입력받기 때문에 이미지를 백터화 하는 과정에서 발생하는 정보 손실을 방지할 수 있습니다. 즉 CNN의 기본 개념은 "행렬로 표현된 필터의 각 요소가 데이터 처리에 적합하도록 자동으로 학습되게 하자"입니다.

CNN(Convolutional Neural Networks)

CNN은 Convolutional Layer를 통해서 입력 받은 이미지에 대한 특징(Feature)을 추출하고, 이를 기반으로 기존의 전연결된 뉴럴 네트워크를 이용해 분류를 하는 원리입니다.

Convolutional Layer

Convolutional Layer는 입력 데이터로부터 특징을 추출하는 역할을 합니다.

특징을 추출하는 기능의 필터(Filter)와 그 값을 비선형 값으로 바꾸어주는 활성화함수(Activation Function)로 구성됩니다.

활성화 함수를 사용하는 이유는 활성화된 특징만을 다음 계층으로 전달하기 위함입니다. 일반적으로 많이 사용하는 활성화 함수"ReLU"는 음수 값을 0에 매핑하고 양수 값을 유지하여 더 빠르고 효과적인 학습을 가능하게 하는 특징을 가지므로 많이 사용됩니다.

Convolutional Layer에 유입되는 입력 데이터에는 한 개 이상의 필터가 적용됩니다.
또한 1개의 필터는 Feature Map의 채널이 됩니다. 다시 말해 Convolutional Layer에 n개의 필터가 적용된다면 출력 데이터는 n개의 채널을 갖습니다.

Filter

필터는 이미지의 특징을 찾아내기 위한 공용 파라미터입니다.

Filter를 kernel 또는 mask라고 하기도 합니다.

필터는 일반적으로 3,3 또는 5,5와 같은 홀수 정방 행렬로 정의됩니다.

필터는 입력 데이터를 지정된 간격(Stride)으로 순회하며 채널별로 합성곱을 하고 모든 채널의 합성곱의 합을 Feature Map로 만듭니다.

아래 그림은 채널이 1개인 입력 데이터를 3x3 크기의 필터로 합성곱하는 과정을 설명합니다.
stride가 1로 설정되었기 때문에 필터가 1칸씩 이동하면서 합성곱을 계산합니다.

필터는 입력 데이터의 각 채널을 순회하며 합성곱을 계산한 후 채널별 Feature Map을 만들고 그 Feature Map을 합산하여 최종적으로 반환합니다.

Feature Map에서 Activation Function을 적용한 결과를 Activation Map이라고 합니다.

즉 Convolution Layer의 최종 출력 결과는 Activation Map입니다.

Padding

Convolution Layer에서 Filter와 Stride에 작용으로 Feature Map 크기는 입력 데이터보다 작아집니다. Convolution Layer의 출력 데이터가 줄어드는 것을 방지하는 방법이 패딩입니다. 패딩은 입력 데이터의 외각에 지정된 픽셀만큼 특정 값으로 채워 넣는 것을 의미합니다. 보통 패딩 값으로 0으로 채워 넣습니다.

0으로 채운 패딩

Pooling Layer

Pooling Layer에서는 Convolution Layer의 출력 데이터를 입력으로 받아서 출력 데이터(Activation Map)중에서 필요한 특징들만 추려서 사용하는데 이방법을 Pooling 또는 sub sampling이라고 합니다.

Pooling의 대표적인 방법으로는 Max pooling, Average pooling, Min Pooling등이 있는데, 이 중 Max pooling 이 많이 사용됩니다.

Pooling 레이어는 Convolution 레이어와 비교하여 다음과 같은 특징이 있습니다.

학습대상 파라미터가 없음
Pooling 레이어를 통과하면 행렬의 크기 감소
Pooling 레이어를 통해서 채널 수 변경 없음

위의 Feature Learning 과정이 끝난 후에는 한층에 모든 픽셀을 다 검사 하는 FC(Fully Connected) Neural Network를 통해서 Output을 출력하게 됩니다.

[자료구조]Hash, Hashing, Hash Table

EunChan_Kim — Wed, 5 May 2021 17:40:38 +0900

자료구조(Data-Structure)

처리하고자 하는 데이터의 효율적인 접근 및 조작을 가능하게 해주는 저장 및 관리방식입니다.

도서관의 책들이 잘 정리되어 있으면 우리는 우리가 원하는 책을 쉽게 찾을 수 있습니다. 하지만 뒤죽박죽 되어 있는 책들 중에 우리가 원하는 책을 찾으려면 시간이 꽤 오래 걸립니다.

자료구조도 이와 같습니다. 자료구조를 잘 선택하면 사용하는 메모리를 최소화할 수 있으며 시, 공간적으로 효율성을 확보할 수 있습니다.

오늘은 Hash Table 자료구조에 대해 포스팅 하겠습니다.

해시 테이블(Hash Table)

해시 테이블은 해시 함수를 이용해서 key를 고정된 크기의 값으로 변환한 후 해시 함수 결과 값을 인덱스에 key - value를 저장하는 방법입니다. 기본 연산으로는 탐색(Search), 삽입(Insert), 삭제(Delete)가 있습니다.

시간복잡도는 일반적인 경우(충돌이 없는 경우) O(1) 이고 최악의 경우(모든 경우에 충돌이 발생하는 경우) O(n) 입니다.

해시 테이블의 구조

키(key) : 고유한 값이며 해시함수의 input값입니다.
해시 함수(Hash function) : 데이터의 효율적인 관리를 목적으로 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑하는 함수입니다. 서로 다른 키(key)가 같은 해시(hash)가 되는 경우를 해시 충돌(Hash Collision)이라고 하는데, 해시 충돌을 최대한 줄이는 함수를 만드는 것이 중요합니다.
- 해시함수의 종류 : MD1, MD4, MD5, SHS, SHA-1, HAS-160 등이 있습니다.
해시(Hash) : 해시 함수(Hash Function)의 output값입니다. 저장소(bucket, slot)에서 값(value)과 매칭 되어 저장됩니다.
값(Value) : 저장소(bucket, slot)에 최종적으로 저장되는 값으로 키와 매칭되어 저장, 삭제, 검색, 접근이 가능합니다.

충돌해결 - 해시 테이블의 구조 개선

Chaining

체이닝이란 충돌이 발생했을 때 이를 동일한 버킷(Bucket)에 저장하는데 이를 연결 리스트 형태로 저장하는 방법을 말합니다.

위 그림을 보면 John Smith 와 Sandra Dee 의 인덱스가 152 로 충돌이 일어났을때 Sandra Dee 를 John Smith 뒤에 연결함으로써 충돌을 처리하는 것을 말합니다.

Open Addressing

해시함수로 얻은 해시값에 따라서 데이터와 키값을 저장하지만 동일한 주소에 다른 데이터가 있을 경우 다른 주소도 이용할 수 있게 하는 기법입니다. Open Addressing을 사용할 경우 해시테이블은 1개의 해시와 1개의 값(value)가 매칭되어 있는 형태로 유지됩니다.

위 그림을 보면 John Smith 와 Sandra Dee 의 인덱스가 152 로 충돌이 일어났을때 Sandra Dee 153에 저장함으로써 충돌을 해결합니다. 충돌이 일어났을 때 비어있는 해시를 찾는 과정은 다동일해야합니다. 비어 있는 해시를 찾는 규칙은 다음과 같습니다.

선형 탐색(Linear Probing) : n개의 해시를 건너뛰어 비어있는 해시에 데이터를 저장합니다.
제곱 탐색(Quadratic Probing) : 충돌이 일어난 해시의 제곱을 한 해시에 데이터를 저장합니다.
이중 해시(Double Hashing) : 다른 해시함수를 한 번 더 적용한 해시에 데이터를 저장합니다.

[논문 리뷰] StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

EunChan_Kim — Mon, 3 May 2021 18:00:42 +0900

이번에는 CVPR 2018 에서 발표된 논문인 StarGAN을 리뷰하고자 합니다.

처음 시도하는 논문 리뷰이다 보니 부족한 점이 많습니다 수정할 부분이 있으시면 알려주시면 수정하겠습니다.!

용어 정리

attribute: 이미지에 있는 의미있는 특징들을 말합니다. 예를 들어 성별, 나이, 헤어 컬러가 있습니다.
attribute value : attribute의 값을 말합니다. 예를 들어 헤어컬러일경우에 흑발/금발/갈색 입니다.
domain : 같은 attribute value를 공유하는 이미지들의 집합을 말합니다. 예를 들면 여성의 이미지들은 하나의 domain을 구성하고 남성의 이미지들은 또 다른 domain을 구성합니다.

StarGAN

최근의 image-to-image translation은 2개 이상의 도메인을 다루는 데에 scalability와 robustness 제한해왔는데, 이는 서로 다른 모델들이 각 이미지 도메인 쌍에 독립적으로 만들어졌기 때문이다. 이 한계점을 극복하기 위해 StarGAN을 제안합니다.

StarGAN은 image-to-image translations을 scalable한 접근으로, 단 하나의 모델을 사용하여 여러가지 도메인에 대해 image-to-image translation을 할 수 있습니다. 이러한 StarGAN의 특징은 하나의 네트워크 안에서 다양한 도메인의 데이터셋을 동시에 학습시킴으로써 기존의 모델에 비해 기본적으로 많은 데이터를 학습합니다. 이러한 특징 때문에 기존의 모델에 들에 비해서 높은 성능을 만들어냅니다.

위의 사진들은 Celeb A 의 데이터셋을 Multi-domain image-to-image translation한 결과입니다 모든 input은 Celeb A dataset 이지만 우측의 input에 적용 된 attribute는 Celeb A 가 아닌 RaFD dataset 으로부터 학습 된 것입니다. 즉, single generator network로 여러개의 domain을 가진 dataset을 학습한 것을 보여줍니다. 또한 한 domain의 dataset에서 학습 된 attribute를 다른 data set에 적용 시킬 수 있습니다.

Introduction

Image-to-Image translation(I2I)

주어진 이미지의 특정 부분을 다른 이미지로 변경하는 것을 말합니다. 예를 들면, 머리카락의 색깔을 검은색에서 갈색으로 바꾸는 것등이 있습니다. 예를 들어 무표정인 사람의 모습을 웃는 모습으로 바꾼다거나 혹은 머리카락의 색깔을 바꾸는 등 다양한 특징을 가지게 변환하는 작업을 Image-to-Image translation 라고 합니다. 대표적인 예로는 Cycle-GAN이 있습니다.

Cross-domain models 와 StarGAN

기존 모델(CycleGAN, DiscoGAN, pix2pix, cGAN)에서는 한 개의 특징만을 학습해서 변환하는 방법을 제시합니다. 이런 환경에서 다양한 도메인으로 변환하려면 도메인 K당 K(K-1) 개의 네트워크가 필요하기 때문에 비효율적입니다.

크로스 도메인 모델과 StarGAN의 아키텍처

Croos-domain models : 다른 도메인들 사이에서 이미지를 translation 시키기 위해서는 4*(4-1) = 12개의 네트워크가 필요합니다.또한, 각 데이터셋이 부분적으로 라벨링 되어 있기 때문에, jointly training이 불가능합니다.

StarGAN : 다중 도메인에서의 학습 데이터를 얻고, 단일 generator(G)로 모든 가능한 도메인 사이의 맵핑을 학습합니다.

Star Generative Adversarial Networks

StarGAN을 설명하고 이 모델이 어떻게 다양한 데이터셋을 통합하여 유연하게 image translation을 했는지에 대해 다룹니다.

Mutli-Domain Image-to-Image Translation

(a) D : Real Image 와 Fake Image를 구별합니다. 동시에 Real Image 일 때 그것과 상응하는 domain을 분류해내는 것을 학습합니다.
(b) G : Input으로 image와 Target domain label을 받고 Fake image를 생성합니다.
(c) G : Original domain label을 가지고 Fake Image를 다시 Original Image로 복원합니다.
(d) D : Real Image와 구분할 수 없고 D에 의해 Target domain으로 분류 가능한 이미지를 생성하려고 합니다.

Adversarial Loss

만들어진 이미지가 진짜 이미지와 구분되지 않도록 만들기 위해, original GAN과 마찬가지로 Adversarial loss를 이용합니다.

D_src(x) : Discriminator가 이미지를 진짜인지 가짜인지 판별하는 것입니다.
G : loss 함수를 최소화 합니다.
D : loss 함수를 최대화합니다.

Domain Classification Loss

주어진 인풋 이미지 x와 타겟 도메인 라벨 c에 대해 목표는 x를 타겟 도메인 c로 분류된 output image y로 변환하는 것입니다. 예를 들면 여성 이미지 x를 타겟 도메인 라벨 c(남성)으로 변환하는 것입니다.

이러한 조건을 만족시키기 위해 auxiliary classifier를 추가하고 D와 G를 최적화하는 데 사용합니다.

1). D(판별자)를 최적화하기 위해 사용한 Real Image의 domain classification loss

Dcls(c'|x)는 real image x가 주어졌을 때 D 가 계산해낸 domain label c'일 확률분포입니다

2). G(생성자)를 최적화하기 위해 사용한 Fake Image의 domain classification loss

G는 target domain c로 분류될 수 있는 이미지를 생성하도록 이 Loss를 최소화하려고 합니다.

Reconstruction Loss

여기서 한 가지 Loss를 더 추가하게 됩니다. 왜냐하면 위에서 소개한 Loss 들 만으로는 input image의 target domain에 관련된 부분만을 변화시킬 때 input image의 본래 형태를 잘 보존할 수 없기 때문입니다.. 그래서 Generator에 한 가지 loss를 더 적용하게 됩니다.

G는 변환된 image G(x,c)와 original doamin label c'을 input으로 받고 original image x 를 복원합니다.
L1 norm으로 계산을 하게 됩니다.

Full Objective

G와 D에 대한 Objective fucntion입니다.

λcls와 λrec는 hyperparameter로, domain 분류와 reconstruction loss들 의 상대적인 중요도를 컨트롤합니다. 각각 1과 10을 사용합니다.

Training with Multiplel Datasets

StarGAN의 중요한 이점은, 다른 domain을 가진 datasets들을 동시에 포함하는 것입니다. 그러나 다수의 dataset들을 학습할 때의 문제는 label 정보가 각 dataset에 부분적으로만 있다는 것입니다.

예를 들어 Celeb A와 RaFD의 경우에, Celeb A는 hair color와 gender에 대한 attribute만을 가지고 facial expression을 나타내는 happy와 angry 같은 attribute는 가지지 않는다는 것입니다.

이것이 문제가 되는 이유는 변환된 image G(x,c)에서 input image x를 reconstruction 하려면 label vector c'에 완전한 정보가 있어야 하기 때문입니다.

Mask Vector

위와 같은 문제를 해결하기 위해서 mask vector m을 해결방안으로 소개합니다. 이것은 StarGAN이 명시되지 않은 label에 대해서는 무시하게 하고 명시된 label에 대해서는 집중하게 합니다. 여기서 n차원의 one-hot vector를 사용합니다. (n은 dataset의 수)

ci는 i번째의 dataset의 label들의 vector를 나타냅니다. 또한 ci는 binary attribute를 가진 binary vector 또는 categorical attribute를 가진 one-hot vector입니다.

여기서 dataset은 Celeb A와 RaFD이기 때문에 n은 2가 됩니다.

mask vector에 어떤 dataset 인지를 명시해 줌으로써 , 해당 dataset의 attribute에 관련된 label에 집중을 한다는 것입니다. 예를 들면 CelebA를 학습시키려고 명시해 주었다면 RaFD에 관련된 facial expression 들은 무시하고 학습하는 것을 말합니다.

CelebA와 RaFD를 교차시킴으로써 D(판별자)는 두 dataset에서 차이를 구분 짓는 모든 feature들을 학습하게 되고, G(생성자)는 모든 label을 컨트롤하는 것을 학습하게 됩니다.

Experimental Results on CelebA

실험 결과를 보면 맨 왼쪽의 이미지가 네트워크의 입력값, 오른쪽으로 나열된 이미지가 출력 결과입니다.

Conclusion

단일 Generator와 Discriminator를 사용하는 다중 도메인 간의 확장 가능한 이미지 변환 모델을 제시하였습니다.
Multi-task 학습 환경의 일반화 성능 분석을 통해서 비약적으로 성능을 향상했습니다.
Mask vector 통해서 서로 다른 domain label set를 가진 multiple dateset를 활용할 수 있으므로 사용 가능한 모든 label을 처리할 수 있습니다.

Reference

[1] StarGAN : Unified Generative Adversarial Networks for Multi-Domain Image-toImage Translation

StarGAN - 동빈나

[IT용어] API란?

EunChan_Kim — Thu, 29 Apr 2021 00:32:49 +0900

프로젝트를 진행하면서 API용어를 많이 듣고 또 많이 사용하였습니다. 정확히 알고 쓰지는 않았고 프로그램과 프로그램 사이에 연결다리를 하는 정도의 개념으로만 이해하고 있었는데 이번에는 API에 대해서 알아보겠습니다.

https://www.slideshare.net/

API

API(Application Programming Interface 애플리케이션 프로그래밍 인터페이스, 응용 프로그램 프로그래밍 인터페이스)는 응용 프로그램에서 사용할 수 있도록, 운영 체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스를 뜻합니다. 주로 파일 제어, 창 제어, 화상 처리, 문자 제어 등을 위한 인터페이스를 제공합니다. -wikipedia-

API는 어떠한 응용프로그램에서 데이터를 주고받기 위한 방법을 의미합니다. 어떤 특정 사이트에서 특정 데이터를 공유할 경우 어떠한 방식으로 정보를 요청해야 하는지, 그리고 어떠한 데이터를 제공받을 수 있을지에 대한 규격들을 API라고 하는 것입니다

인터페이스

인터페이스(interface)는 컴퓨터 시스템끼리 정보를 교환하는 공유 경계를 의미합니다. 터치 스크린과 같은 일부 컴퓨터 하드웨어 장치들은 인터페이스를 통해 데이터를 송수신할 수 있으며, 마우스나 마이크론 폰과 같은 장치들은 오직 시스템에 데이터를 전송만 하는 인터페이스를 제공합니다. -wikipedia-

인터페이스는 말 그대로 어떤 기계간의 장치끼리 정보를 교환하기 위한 수단이나, 방법을 의미합니다. 예를 들어서 우리가 집에서 TV를 켜기 위해서 리모컨을 들고 TV에 리모콘 전원 버튼을 누름으로써 TV가 켜지게 됩니다. 즉, 사전에 TV와 통신을 하기 위해서 리모컨에서는 TV에 정의된 규격에 의해 어떤 신호를 보낼 수 있도록 만들어진 장치이며, 이러한 신호를 주고받기 위한 방법을 인터페이스라고 하는 것입니다.

Web API

웹 API는 웹 애플리케이션 개발에서 다른 서비스에 요청을 보내고 응답을 받기 위해 정의된 명세를 일컫는 단어입니다. 예를 들어 블로그 API를 이용하면 블로그에 접속하지 않고도 다른 방법으로 글을 올릴 수 있습니다. 그 외에 우체국의 우편번호 API, 구글과 네이버의 지도 API 등 유용한 API들이 많으므로, 요즘은 이런 오픈 API를 가져와 많이 이용하는 추세입니다.

API는 서비스나 제품을 이용하기 위해 만들어놓은 설명서와 결과물입니다. 하나의 서비스를 이용하기 위해서는 사용법을 알아야 합니다. 예를 들어 커피 자판기에 쓰여있는 사용설명서와 커피가 나오는 자판기가 있습니다. 사용설명서에는 동전을 넣고 원하는 제품의 버튼을 누르세요의 설명이 있습니다. 그리고 사용설명서의 내용대로 하면 커피가 나옵니다. 이렇게 사용자로부터 받은 명령을 시스템에 전달해서 결과를 받아서 피드백하는 역할을 하는 것이 API입니다.

A 프로그램이 B프로그램의 API를 호출하고 그 결과를 받아 A프로그램이 가공해서 사용자에게 보여주는 과정입니다. 쉽게 말해서 프로그램들이 서로 소통하는 것을 도와주는 매개체라고 생각하시면 될 것 같습니다. 웹 API는 API의 형태가 웹페이지 형태로 되어있는 것을 말합니다.

API의 활용

데이터 제공

데이터베이스에서 데이터를 제공할 때 API를 많이 사용합니다. 보안상 프로그램이나 사용자가 데이터에 직접 요청하는 방식은 좋지 않기 때문에 중간에 API를 통해 호출하게 만들고, API는 사용자가 올바른 사용자인지 , 권한이 있는 사용자인지 확인한 후에 데이터베이스에서 데이터를 가져와서 호출한 사용자에게 전달합니다.

하드웨어 사용

하드웨어를 사용할 때 많이 사용합니다. 하드웨어를 이용하기 위해서는 운영체제의 도움을 받아 사용합니다. 운영체재는 API를 제공해서 특정 명령어를 이용해서 기기 장치 등을 사용할 수 있게 도와줍니다.

표준화

API는 표준화를 제공합니다. 사용하는 사람들이 서비스를 이용하기 위해 다양한 형태로 접근해서 사용하는데요. API가 있다면, API는 사용하는 방식을 정해서 모두가 표준화된 형태로 사용하게 합니다.

API의 유형

Private API

Private API는 내부 API로, 회사 개발자가 자체 제품과 서비스를 개선하기 위해 내부적으로 발행합니다. 따라서 제삼자에게 노출되지 않습니다.

Public API

Public API는 개방형 API로, 모두에게 공개됩니다. 누구나 제한 없이 API를 사용할 수 있는 게 특징입니다.

Partner API

Partner API는 기업이 데이터 공유에 동의하는 특정인들만 사용할 수 있습니다. 비즈니스 관계에서 사용되는 편이며, 종종 파트너 회사 간에 소프트웨어를 통합하기 위해 사용됩니다.

Pair programming

EunChan_Kim — Mon, 26 Apr 2021 01:42:25 +0900

엔코아 영상 처리를 위한 인공지능(머신러닝/AI) SW개발자 양성 과정을 6개월간 수강하면서 정말 좋은 팀원들을 만나서 빠르게 성장할 수 있었습니다. 다양한 개발 방법론으로 프로젝트를 진행했지만 파이널 프로젝트 때 페어 프로그래밍으로 작업을 했었는데 작업의 생산성은 떨어지지만 한 번에 완성도 높은 코드가 나왔던 기억이 있어서 애자일 개발 방법론 중 하나인 페어 프로그래밍을 진행하면서 느낀 장단점에 대해서 그리고 페어 프로그래밍을 성공적으로 하려면 어떻게 하는 게 좋을지에 대해서 공유해봅니다.

Pair programming

Pair programming은 애자일 개발 방법론 중 하나로 하나의 개발 가능한 PC 에서 두 명의 개발자가 함께 작업하는 것을 말합니다. 네비게이터(navigator)가 전략을 제시하고 드라이버(driver)가 실제 코드를 작성하며, 이 역할을 각자 번갈아가며 수행합니다. 짝 프로그래밍이라고도 합니다.

Source: Tuple’s Pair Programming Guide

파이널 프로젝트에서 보이스 분석 엔진을 구현할 때 서로 번갈아가면서 실시간으로 대화를 하면서 진행을 하였습니다.

페어 프로그래밍의 장점

지식공유

실제로 가장 좋은 장점으로 느꼈던 부분입니다. 웹서버 개발을 할 당시 웹에 대한 기본적인 이해가 없었는데 페어 덕분에 몰랐던 웹의 기초와 Django웹 프레임워크를 조금 더 빨리 배울 수 있었습니다. 또 페어가 모르는 부분을 제가 알려주면서 저도 다시 한번 공부할 수 있어서 복습의 효과도 있었습니다. 같이 페어 프로그래밍을 진행하면 서로가 다른 분야의 기술을 알고 있을 때 혹은 새로운 멤버가 들어올 때, 팀의 개발환경이나 해당 기술에 대해서 공유해 줄 수 있습니다.
이미 개발 문서로 팀의 개발환경이나 개발 스타일 등에 대한 문서를 전달하는 방식보다 빠르게 팀의 지식을 공유하기에 아주 좋은 방법인 것 같습니다.

심리적 안정감

개발을 할 때, 간혹 어려운 문제가 있더라도 ‘페어가 있으니 해결할 수 있겠지?’ ‘페어가 해결해 주겠지?’ 등의 심리적으로 기댈 수 있습니다. 실제로 페어가 해결하기를 기다리는 것이 아니라 같이 고민을 하게 되는 것이지요
생각해보면 새로운 언어나 프레임워크 등을 사용해야 하는 경우에도 혼자서는 중간에 포기하는 경우가 있는데, 페어와 함께 하다 보면 끝까지 도전을 하게 되기도 합니다.

업무에 대한 집중도 상승

출근해서 퇴근할 때까지 페어로 짝과 함께 작업을 하다 보니 개발 외적으로 소비되는 시간이 많이 줄어들게 됩니다.
메신저를 보거나 메일을 확인하는 시간이 페어를 하는 시간에는 불필요한 일이 되기 때문에 오로지 개발에만 집중을 하게 됩니다.
실제로 페어 프로그래밍을 할 때는 개발에만 집중한 시간이 늘어납니다.

코드 리뷰 및 개발 방향의 지속

페어 프로그래밍을 하다 보면 서로가 서로의 코드에 대해서 코드 리뷰를 실시간으로 할 수 있습니다. 타이핑 도중에 발생하는 작은 실수부터 설계 결함까지 소스코드에 대한 피드백을 가장 빠르게 받게 되고, 이를 통해 결함을 줄일 수 있어서 일정한 수준의 코드 품질을 유지할 수 있다. 실제로 저의 경우에는 오타가 많아서 휴먼에러가 많이 발생하는 편인데 페어 프로그래밍을 진행할 때는 페어 덕에 순조롭게 개발이 됐던 것 같습니다.
페어로 함께 개발을 하면 실시간 코드 리뷰와 함께 올바르게 설계를 하고 개발의 목적에 맞는 방향으로 가고 있는지에 대해서 팀원 간의 지속적인 대화를 통해서 확인이 가능합니다.

집단적 코드소유

개발자는 모두 자신의 담당업무가 있고 해당하는 업무에 대해서만 처리가 가능합니다.

다른 팀원이 해당 업무를 처리하기는 쉽지 않지만 페어를 하게 되면 업무에 대한 담당자가 1명 이상이 되기 때문에, 누구라도 해당 업무를 처리할 수가 있게 됩니다. 그리고 팀으로서 해당 업무만이 아니라 전체 제품에 대해서 함께 고민하고 개발을 할 수 있습니다.

특정한 팀원 만이 가능한 일이 줄어들게 되고 업무에 대한 병목을 줄일 수 있어 민첩한 대응이 가능합니다.

피어 리뷰(Peer Review)

페어 프로그래밍을 진행하면서 모든 팀원들과 같이 일을 하고 많은 대화를 나누게 됨으로써 동료들의 장단점을 더 잘 알게 되고, 그 사람의 성장을 위한 진실된 피드백을 해줄 수 있었습니다. 그 결과 자연스럽게 팀워크도 더 좋아지게 된 계기가 되었습니다.

페어 프로그래밍의 단점

생산성 저하

많은 팀이 페어 프로그래밍을 하지 않는 가장 큰 이유라고 생각된다. 관리자 입장에서는 한 명이 할 일을 두 명이 하고 있으니, 생산성이 반으로 줄어든다고 생각하기 때문일 것입니다.
확실히 1/2은 아니더라도 분명히 생산성이 두 명이 각자 개발하는 것에 비해서 많이 떨어진다는 지기는 합니다

오래되긴 했지만 몇몇 논문에서 15% 시간이 더 걸리고, 15% 결함이 줄었다는 연구 결과도 있다고 합니다.

키보드 정복자

페어 프로그래밍을 하다 보면, 시니어와 주니어 개발자가 같이 하는 경우가 많다고 합니다. 드라이버와 네비게이터의 역할이 물 흐르듯 변경되어야 하지만 시니어 개발자는 5분, 10분 더 키보드를 잡고 있거나 중간에 절대반지처럼 키보드를 납치해서 코드를 완성시키고 싶은 욕망에 사로 잡히게 되고 결국 시니어 개발자는 생산성이 저하되는 것을 참지 못하고 아무 말 없이 코드를 완성해 나가고, 그걸 보고 있는 주니어 개발자는 어떤 기능이 완성되었는지 모르고 코드를 따라가기에 바쁩니다.
이렇게 반복되면 점차 대화는 줄어들고 기능은 완성되었지만 주니어 개발자는 더 이상 페어로 작업하는데 대한 흥미를 잃게 되고, 페어를 하지만 방관자가 되어서 개발이 끝나게 된다고 합니다. 제 경우에는 페어와 저와 실력이 비슷해서 이런 경우는 일어나지 않았지만 아무튼 이런 경우도 있다고 합니다.

감정 문제

마음이 잘 맞는 사람과 함께 일을 하면 좋겠지만, 개발하는 스타일이 매우 다르거나 생각하는 바가 다른 사람과 함께 작업을 하다 보면 작업이 힘들어질 때가 있습니다. 이런 부분들은 페어 프로그래밍을 하면서 쉽게 바뀌거나 개선되지 않는 문제이기 때문에 해결하기 어려운 문제라고 합니다. 좋은 팀원들과 함께해서 이런 문제는 없었던 것 같네요!!

피로도 상승

페어를 함께 하루 종일 집중해서 하다 보면 개발에 대한 집중도는 증가하지만 피로도 또한 증가합니다. 하주 종일 끊임없이 대화를 하면서 많은 에너지를 소모하지 않도록 중간중간 쉬는 시간을 가지면서 체력적으로 힘들지 않게 해야 합니다. 저 같은 경우에는 중간에 간식타임을 항상 가지면서 쉬는 시간을 가졌습니다. 필요하다면 페어를 진행하지 않고 각자의 생각을 정리할 시간을 가지고 난 뒤, 서로의 생각을 이야기해보는 시간을 갖는 게 좋습니다.

성공적인 페어 프로그래밍을 위해서

페어 프로그래밍을 성공적으로 이끌어가기 위한 중요한 방법은 많은 대화와 소통인 것 같습니다. 하나부터 열 가지 같이 고민하고 항상 화이트보드는 한 개에서 하되 팬은 두 명 다 잡으면서 서로의 의견을 적으면서 하는 것을 추천합니다. 그리고 머릿속에 있는 생각을 가감 없이 공유하고 꾸준히 생각해야 합니다. 생각이 멈추면 대화도 멈추기 때문에 성공적인 페어 프로그래밍을 위해서는 끊임없이 더 나은 방법을 위해 생각하고 소통해야 합니다 같이 빠르게 성장할 수 있는 방법을 경험할 수 있어서 정말 좋은 시간이 였던것 같습니다.

[AWS]AWS - EC2 사용하기

EunChan_Kim — Sun, 18 Apr 2021 16:23:00 +0900

안녕하세요

오늘은 Amazon Web Service 중 가장 많이 사용하는 EC2를 사용하는 방법에 대해서 알아보겠습니다.

EC2(Amazon Elastic Compute Cloud)란 AWS 클라우드에서 확장 가능한 컴퓨팅 용량을 제공하는 서비스입니다.

AWS-EC2

EC2를 사용하면 하드웨어를 별도로 준비할 필요 없어 더 빠르게 애플리케이션을 개발하고 배포할 수 있습니다.
EC2를 통해 원하는 만큼 가상 서버를 구축하고 보안 및 네트워크 구성과 스토리지 관리가 가능합니다.
EC2는 요건이나 갑작스러운 인기 증대 등 변동사항에 따라 확장하거나 축소가 가능합니다.

AWS접속

-회원가입을 하고 아마존 서비스를 클릭하면 위와 같은 페이지가 보입니다. 리전을 확인하고 EC2를 선택합니다.

EC2 Instance 시작

- EC2 대시보드에는 현재 계정의 인스턴스 상태가 나옵니다. 저는 이미 여러 인스턴스를 만들서 리소스의 숫자가 다다르지만 처음 생성하신 분들은 0으로 되어있습니다. 리전을 확인하시고 인스턴스 시작 버튼을 클릭합니다.

AMI 선택

1단계 화면에서는 생성하고자 하는 인스턴스(서버)의 OS(Windows,Ubuntu,Centos.. etc)를 선택하는 화면입니다.

Deep Learning Base와 같은 머신러닝 또는 딥러닝에 필요한 소프트웨어들이 설치돼있는 패키지 타입도 있습니다.

사용하고자 하는 목적에 따라 OS와 CPU 프로세서를 선택한 후 클릭을 합니다 저는 Ubuntu를 사용하겠습니다.

인스턴스 유형 선택

인스턴스 유형에는 다양한 인스턴스 시리즈가 있지만 대체로 C, D, H, I, M, R, T, Z, G, P 그룹의 인스턴스를 많이 사용합니다. 각 시리즈별로 컴퓨팅 최적화, 메모리 최적화, 스토리지 최적화등 특화된 인스턴스들이 있으니 상황에 맞게 사용하시면 됩니다.

저는 가장 기본적인 t2를 사용하겠습니다. 그룹에 따라 가격이 천차만별이니 만들기 전에 가격을 알아보시고 사용하시길 바랍니다.

인스턴스 구성

인스턴스의 세부 정보 구성입니다. 인스턴스의 개수와 네트워크, 서브넷 등 다양한 구성을 커스텀할 수 있습니다.

기본값으로 설정해 놓고 다음으로 넘기겠습니다.

스토리지 추가

스토리지 추가 화면입니다. 프리티어는 최대 30GB까지 사용할 수 있으니 30으로 설정하겠습니다. 크기는 파란색으로 밑줄 친 부분에서 변경이 가능합니다.

태그 추가

인스턴스의 태그명을 설정할 수 있는 단계입니다. 설정을 하지 않고 넘어가도 상관이 없습니다.

인스턴스를 여러 개 사용할 경우 해당 인스턴스를 알아보기 쉽게 설정해두어도 좋습니다.

보안 그룹 구성

보안 그룹 구성은 쉽게 방화벽을 설정하는 단계라고 생각하시면 됩니다. 해당 인스턴스에 접속을 어디까지 허용할지 설정해줍니다.

기본값은 SSH접속을 22번 포트를 사용하여 IP 0.0.0.0/0 즉 모든 IP의 사용자가 접속할 수 있도록 설정되어있습니다.

검토

지금까지 설정한 인스턴스의 정보를 확인하고 시작하기를 눌러 인스턴스 생성합니다.

키 페어 생성

키 페어로 접속을 해야 하니 다운로드합니다.

인스턴스 상태 확인

인스턴스의 상태가 실행 중인 상태인지 확인합니다.

EC2인스턴스 접속방법

윈도우는 PuTTY를 이용해 접속하셔야 됩니다. 저는 MAC을 사용해 접속을 하겠습니다.

먼저 key파일 test.pem 파일에 권한을 변경해줍니다.

chmod 400 /파일경로/test.pem

권한을 변경하고 터미널을 재실행해주세요

 ssh -i /파일경로/test.pem ubuntu@퍼블릭IP
 #ubuntu가 접속이 안될경우 root나 ec2-user로 접속을 하면 됩니다. 
 root@퍼블릭IP
 ec2-user@퍼블릭IP

위와 같이 접속이 되는 것을 확인!

[AI]_1. 딥러닝(Deep Learning)

EunChan_Kim — Wed, 7 Apr 2021 19:36:37 +0900

딥러닝(Deep Learning)

머신러닝의 한 분야로 연속된 층(Layer)에서 점직적으로 의미 있는 표현을 배우는데 강점이 있으며, 데이터로부터 표현을 학습하는 새로운 방식입니다.
딥러닝에서 딥(Deep)은 연속된 층으로 표현을 학습한다는 개념을 나타냅니다
층 기반 표현 학습(Layered representations learning), 계층적 표현 학습(Hierarchical representations learning)이라고도 합니다.

신경망(Neural Network)

딥러닝은 층(Layer)들을 쌓아서 구성한 신경망(Neural Network)이라는 모델을 사용하여 학습을 진행합니다.
신경망은 뉴런(Neuron)들로 이루어진 그룹을 의미합니다. 신경망은 원래 신경 생물학의 용어입니다. 뉴런들의 끝이 다른 뉴런들과 연결된 구조입니다. 뇌 구조를 이해하는 것에서 영감을 받아서 딥러닝 모델의 핵심 개념을 설명하지만, 실제로 뇌를 모델링하여 만든 것은 아닙니다.
신경망에 구성은 Input Layer(입력층), Output Layer(출력층), Hidden Layer(은닉층)으로 구성돼있습니다.

뉴런(Neural)

생물학적인 뉴런의 개념에 기초한 수학적인 함수를 의미합니다.
뉴런이 활성 중인지에 따라서 활성 함수가 결정됩니다.

생물체의 neuron 과 딥러닝에서의 neuron

신경망 학습

신경망 학습의 목표는 가중치의 정확한 값을 찾아가는 것에 있습니다. 어떤 층이 있을 때, 해당층을 데이터가 거치면서 일어나는 변환은 해당 층의 가중치를 매개변수로 가지는 함수를 통에서 진행됩니다.

Weight(가중치)

뉴런 사이의 연결 강도를 의미합니다.
신경망이 훈련을 하는 동안, 업데이트되어 weight가 변경됩니다.

Bias(편향)

뉴런의 가중치를 의미합니다.
해당 값 또한, 훈련 시 업데이트됩니다.

Activation Function (활성 함수)

주어진 입력값들을 받는 뉴런의 출력 값을 돌려주는 함수입니다.
현재 뉴런의 활성화에 따라 출력값을 결정합니다. 1은 뉴런을 활성화, 0은 뉴런을 비활성화입니다.
대표적인 활성 함수는 Sigmoid, Hyperbolic Tangent, ReLU 등이 있습니다.

Reference - 시작하세요! 텐서플로 2.0 프로그래밍, 밑바닥부터 시작하는 딥러닝

[ML]_1. 머신러닝(Machine Learning)

EunChan_Kim — Sun, 4 Apr 2021 16:53:52 +0900

머신러닝(Machine Learning)

데이터에서부터 학습하도록 컴퓨터를 프로그래밍하는 분야입니다.
해야 할 일(문제) T에 대해서, 그동안 T를 해왔던 경험 E를 바탕으로, 학습하는 System Program을 의미합니다. 해당 Program은 Performance(성능) P를 통해 평가합니다.

왜 머신러닝을 사용하는가?

기존의 프로그래밍 방식은 어떠한 규칙을 하나의 Case로 나누어서 대응하는 코드를 입력하는 방식입니다. 새로는 Case가 발생하면 새로운 Case에 대응하는 코드를 추가로 작성해야 했습니다. 그러나 머신러닝의 방식은 기존의 Data를 학습하면서, 각각의 Case들에 대한 패턴과 규칙을 찾아내는 방법입니다. 머신러닝에서는 새로운 Case가 발생하면, 학습된 패턴과 규칙들을 바탕으로 따로 코드를 작성하지 않아도 대응할 수 있습니다.

기존의 프로그래밍 방식

머신러닝을 사용한 방식

머신러닝의 장점

기존의 프로그래밍에 비해 새로운 규칙 또는 패턴에 대한 유지보수가 기존의 프로그래밍 방식 보다 쉽습니다.
새로운 Case에 대해 빠른 대처가 가능합니다.
상대적으로 짧은 Code로 작성이 가능합니다.
복잡한 적용하기 용이합니다.
평가를 통해 꾸준이 개선이 될 수 있습니다.

머신러닝 시스템의 분류

출처 :rocket source

지도 학습(Supervised Learning)

각각의 학습을 위한 데이터들이 Label을 가지고 있는 경우 사용됩니다. Label이란, 문제와 관련된 여러 Instance들이 있을 때, 해당 data가 의미하는 정답이라고 볼 수 있습니다.
지도 학습에는 크게 분류(Classification)와 회귀(Regreesion)로 나누어집니다.

위의 그림은 스팸 메일 분류를 위한 방식을 그림으로 표현한 것입니다. 메일안의 샘플이 있고, 각각의 메일들에는 기존에 스팸을 구분해 놓은 Label이 있습니다. 여기서 Label은 스팸인지 아닌지 두 가지 경우를 나누어서 나타내었습니다. 기존의 모든 메일 데이터를 Training Set 학습 데이터 세트로 학습시켜서 새로운 메일이 들어왔을 때, Label이 무엇인지를 예측하는 방법입니다.

비지도 학습(Unsupervised Learning)

Label이 없는 학습데이터를 사용하여 기존의 데이터가 어떠한 형태를 지니고 있는지 판단하는 방식입니다.
비지도 학습의 알고리즘 분류는 크게 클러스터링 알고리즘(Clustering Algorithm), 시각화 및 차원 축소(Visualization and dimensionality reduction), 연관 규칙 학습(Association rulelearning) 가있습니다.

Clustering

강화 학습(Reinforcement Learning)

순차적 의사결정 문제에서 누적 보상을 최대화 하기 위해 시행착오를 통해 행동을 교정하는 학습입니다.
Agent가 환경을 인지하고, 정책(Policy)에 맞게 현상황에서의 행동을 선택합니다. 선택한 행동을 수행하고, 보상(Reward) 또는 페널티(Penalty)를 부여하여, 정책을 결과에 맞게 업데이트합니다. 앞의 행동을 계속 반복하여 최적의 정책을 위해 계속 업데이트해나가는 과정을 강화 학습 (Reinforcement Learning)이라고 합니다.
Agent와 정책(Policy)을 선정하는 것이 핵심입니다.
강화학습 사용 예로는 구글의 딥마인드의 알파고(AlphaGo)가 있습니다.

Reference - 핸즈온 머신러닝(2판) 사이킷런, 케라스, 텐서플로 2를 활용한 머신러닝, 딥러닝 완벽 실무 (한빛미디어)

[MacBook]M1 Apple Silicon Tensorflow 설치하기

EunChan_Kim — Wed, 31 Mar 2021 16:17:54 +0900

노트북을 구입할 때가 되서 25년 동안 윈도우를 쓰다가 다른 OS도 한번 써 볼까 하다가 맥북을 구입하게 되었다.

애플에서 어떤 노트북을 살까 보던 중에 새로 나온 Apple M1 을 탑재한 맥북이 기존의 맥북 성능보다 머신러닝 속도가 최대 11배 빠르다고 해서 그냥 사버렸다..(ML용 16코어 뉴럴엔진이 포함되서 빠르다고 한다)

Tensorflow 설치를 하려고 했는데 무수한 에러 메시지가 뜨면서 설치가 안됐다...

이틀 동안이나 깃허브와 구글링을 해서 겨우 설치하게 되었다.

설치는 해서 작동은 잘하지만 아직 가지 메인 프로세서의 아키텍처가 바뀜으로 시행착오가 많이 있는 것 같다.

그래서 오늘은 Tensorflowf를 Apple M1에 설치하는 과정을 정리해보려고 한다.

1. 터미널 환경설정

Apple Silicon이 장착된 Mac 에서는 Intel 프로세서가 장착된 Mac용으로 제작된 앱을 사용하려면 Rosetta를 사용하여 열기를 하면 쉽게 설치가 된다.

하지만 이걸 켜놓고 Tensorflow를 설치하려고하면 충돌에러가 난다.

그렇기 때문에 Rosetta가 켜져있는지 먼저 확인을 하고 터미널을 실행시킨다.

Rosetta란 인텔 프로세서용 이진 바이너리 파일을 맥 osx에서 실행하게 해주는 에뮬레이터이다. (번역가라고 이해하면 편하다)

xcode command Line Tools도 없으면 설치해준다.

xcode-select --install

2. Miniforge 설치하기

homebrew설치하고 miniforge를 인스톨해준다.

Apple Silicon이 장착된 Mac에서 conda를 이용해서 Tensorflow를 설치하려면 현재는 miniforge에서만 호환이 된다고한다.

brew install miniforge

brew info miniforge를 입력해 MacOSX-arm64.sh 로 설치가 되었는지 확인

brew info miniforge

3. conda 가상환경 만들기

enviroment.yml 다운받아 가져와 가상환경을 만들어준다.

conda env create --file=PATHenvironment.yml --name=가상환경이름

environment.yml

0.00MB

4. conda 가상환경 접속후 설치

conda activate 가상환경이름
#가상환경 접속후 입력
pip install --upgrade --force --no-dependencies https://github.com/apple/tensorflow_macos/releases/download/v0.1alpha3/tensorflow_macos-0.1a3-cp38-cp38-macosx_11_0_arm64.whl https://github.com/apple/tensorflow_macos/releases/download/v0.1alpha3/tensorflow_addons_macos-0.1a3-cp38-cp38-macosx_11_0_arm64.whl

설치완료!

설치가 잘됬는지 접속해서 확인한다.

참고:github.com/apple/tensorflow_macos

[AI]_1. 인공 지능(Artificial Intelligence)

EunChan_Kim — Mon, 29 Mar 2021 14:35:48 +0900

인공 지능(AI)

인간의 학습능력, 추론능력, 지각능력, 논증능력, 자연언어의 이해능력 등을 인공적으로 구현한 컴퓨터 프로그램 또는 이를 포함한 컴퓨터 시스템
단순 인지능력에서 발전하여 인지한 환경 속에서 최적의 답을 찾아내고, 여기에 스스로 수행한 학습을 더해 추론 및 예측을 하며, 향후에는 문제를 스스로 발견하고 해결하는 행동 단계에 이르기까기지 다양한 분야의 연구가 진행되고 있음
지능을 갖고 있는 기능을 갖춘 컴퓨터시스템이며, 인간의 지능을 기계 등에 인공적으로 시연(구현)한 것이다.

인공지능과 머신러닝, 딥러닝의 관계의 이해를 쉽게 이해할 수 있도록 이미지로 표현되어있다.

앨런 튜링이 1950년도에 논문에서 발표한 튜링테스트 기점으로 인공지능분야는 활발히 발전

머신러닝(Machine learning)

경험을 통해 자동으로 개선하는 컴퓨터 알고리즘을 연구, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야
머신러닝 알고리즘의 유형에는 크게 지도학습, 비지도학습, 강화학습이 있다.
스팸메일 분류, 추천시스템

딥러닝(Deep learning)

사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야. 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습 알고리즘의 집합 머신러닝의 일종으로 심층 인공신경망을 사용하여 End-to-End 학습 구조를 가지는 학습 모델
딥러닝의 알고리즘 유형에는 크게 심층신경망, 합성곱 신경망, 순한신경망 등이있고 빠른 발전으로 다양한 알고리즘등이 활발이 개발 및 연구되고 있다.

머신러닝과 딥러닝 차이

데이터 의존도 : 딥러닝은 대용량의 데이터를 필요로 함
하드웨어 의존도 : 딥러닝 학습을 위해 GPU와 같은 병렬처리 하드웨어 필요
Feature Engineering 수행 여부 : 머신러닝은 Feature Engineering 과정 필요
학습시간 : 딥러닝 학습을 위해 장시간 소요
해석력/설명력 : 딥러닝은 블랙박스로 해석력, 설명력이 낮음
알고리즘 복잡도/깊은 신경망 : 딥러닝은 깊은 레이어를 사용하며 복잡한 알고리즘 구조

- Feature Engineering(Feature(변수) 추출 + Feature 선택) : 변수 선택법. 분석가의 중간 개입을 통해 사용할 변수를 선택하는 과정
머신러닝만 해당. 딥러닝은 학습과 분류과정이 통합된 End-to-End 학습이 가능

[Python Project]Image Tag Analysis Project

EunChan_Kim — Sun, 21 Mar 2021 17:02:31 +0900

Image Tag Analysis Project

개요 : 쿠팡의 과일 이미지를 크롤링, 카카오와 구글 비전 API를 이용하여 이미지 기반 분석 프로그램 제작
팀명 : Goofanaka 팀원 : 손기훈 김동건 유주아 김은찬
개발 기간 : 2020년 12월 22일 ~ 2021년 1월 10일
담당 역할 : 크롤러 제작, DB 구축, , 데이터 수집, 데이터 분석 및 시각화
깃허브 : github.com/Goofanaka/image_tagging

Goofanaka/image_tagging

Contribute to Goofanaka/image_tagging development by creating an account on GitHub.

github.com

DEMO

www.youtube.com/watch?v=YkkxcxwgIOU

Tech Stack

개발언어 : Python
크롤링 : Beautifulsoup
데이터베이스 : MongoDB Atlas
분석 및 시각화 : Pandas, matplotlib, seaborn
Gui tool : PyQT
Git, Github

Workflow

Git Features

crawling.py : 이미지와 제목을 크롤링하고 크롤링한 이미지를 폴더에 저장
dict_json.py : dict에서 json으로 변경 list에서 dict로 변경
fruit_dict.py : 과일사전
pyqt_gui.py : GUI 환경을 구현
img_to_mongo.py : DB에 이미지 파일을 저장
tagdata.py : DB에 태깅된 데이터를 저장
kakao.py : 크롤링한 이미지를 카카오 API에 넣고 태깅한 값을 받아 list로 변환
google_api.py : 크롤링한 이미지를 구글 API에 넣고 태깅한 값을 받아 list로 변환
main : 전체적인 모듈을 실행하는 파일
visualization
- Time_series_chart.py : 전체 날짜별 과일 수 시계열 분석 그래프
- correct_answerd.py : 카카오 API, 구글 API 성능 비교 분석 그래프
- fruit_statistics.py : 특정 날짜별 과일 빈도수 분석 그래프
- fruit_statistics_all.py : 전체 과일 빈도 수 분석 그래프

Code

1. 크롤러 제작

쿠팡에서 원하는 페이지만큼 이미지를 크롤링하는 함수이고 Beautifulsoup, selenium을 사용해 크롤러를 만들었다.

처음 하는 만드는 크롤러이기도 하고 플레이 데이터 과정에서 사용하지 않은 라이브러리다 보니 도큐먼트를 찾아가서 하나씩 참고도하고, 유튜브에서 검색해서 찾아보기도 하면서 크롤러를 만들었다. 크롤러를 만드는 것보다 원하는 성능(속도)과 데이터를 우리가 사용할 데이터만 받아오게 만드는것이 생각보다 오래 걸렸다.

1. 시각화

크롤링한 전체 기간 동안 전체 과일 누적 빈도수를 그래프로 시각화한 코드이다.

시각화는 다른 코드보다 비교적 간단했지만 그래프의 가시성을 위해서 다양한 시각화 라이브러리를 써보고 가장 가시성이 좋은 seaborn으로 시각화를 진행했다. 시각화는 디테일한 부분들을 수정하는데 시간은 많이 들지만 수정한 티는 하나도 안나는? 그런 부분들이 되게 많은 것 같다.

느낀점

전 회사에서 다양한 프로젝트를 해봤지만 IT도메인에서 처음 하는 프로젝트라 긴장도 많이 했지만 좋은 팀원들을 만나서 팀 멤버 간에 불화 없이 프로젝트를 진행할 수 있어서 좋았다.
코드를 만들면서 막히는 부분들이 많았지만 그래도 기한 내에 프로젝트를 마무리할 수 있어서 감사했다.
데이터 수집부터 저장, 분석, 시각화 등 모든 과정을 다 만들어봤고 특히 MongoDB를 사용해 nosql에 대해 알 수 있었다.
git과 github를 이용해 코드를 공유했지만 처음 사용하는 git이라 매끄럽게 사용하지 못한 게 아쉬웠다.
프로젝트를 진행하면서 항상 새로운 것들을 배워나가는 것이 즐거웠다.

[CS50 코칭스터디] CS50 코칭스터디2기_6주차

EunChan_Kim — Sun, 28 Feb 2021 14:15:01 +0900

6주차_자료구조

자료구조

자료구조, 데이터 구조란 컴퓨터에 자료를 효율적으로 저장하는 방식을 말하며 올바른 자료구조를 사용하는 것은 결국 메모리를 절약하고 수행시간을 절약하는 데 도움을 줄 수 있게 됩니다.

큐

큐는 메모리 구조에서 살펴봤듯이 값이 아래로 쌓이는 구조입니다.

값을 넣고 뺄 때 ‘선입 선출’ 또는 ‘FIFO’라는 방식을 따르게 됩니다. 가장 먼저 들어온 값이 가장 먼저 나가는 것이죠.

은행에서 줄을 설 때 가장 먼저 줄을 선 사람이 가장 먼저 업무를 처리하게 되는 것과 동일합니다.

배열이나 연결 리스트를 통해 구현 가능합니다.

스택

반면 스택은 역시 메모리 구조에서 살펴봤듯이 값이 위로 쌓이는 구조입니다.

따라서 값을 넣고 뺄 때 ‘후입 선출’ 또는 ‘LIFO’라는 방식을 따르게 됩니다. 가장 나중에 들어온 값이 가장 먼저 나가는 것이죠.

뷔페에서 접시를 쌓아 뒀을 때 사람들이 가장 위에 있는(즉, 가장 나중에 쌓인) 접시를 가장 먼저 들고 가는 것과 동일합니다.

역시 배열이나 연결 리스트를 통해 구현 가능합니다.

딕셔너리

딕셔너리는 ‘키’와 ‘값’이라는 요소로 이루어져 있습니다.

‘키’에 해당하는 ‘값’을 저장하고 읽어오는 것이죠. 마치 대학교에서 ‘학번’에 따라서 ‘학생’이 결정되는 것과 동일합니다.

일반적인 의미에서 ‘해시 테이블’과 동일한 개념이라고도 볼 수 있습니다.

역시 ‘키’를 어떻게 정의할 것인지가 중요합니다.

6주차 팀미션

연결리스트로 Stack 만들기

#include <stdio.h>
#include <stdlib.h>

typedef struct stackNode {
    int data;
    struct stackNode* next;
} StackNode;

//Stack 구조체 : node 생성
StackNode* createStackNode(int data) {
    StackNode* node = (StackNode*)malloc(sizeof(StackNode));
    node->data = data; // 입력받은 int를 data type에 넣는다
    node->next = NULL; // node에는 NULL을 넣는다
    return node; // 새롭게 생성된 node 반환
}

int isEmpty(StackNode* root) {
    return !root;
}

void push(StackNode** root, int data) {
   if ((!root)) return;
 
    StackNode* item = (StackNode*)malloc(sizeof(StackNode)); //item이라는 새로운 node 생성
    item -> data = data; // 새로운 node data 저장
    item -> next = (*root); // 이때 포인터는 root의 첫번째 node를 가리킨다. 
    (*root) = item; // item node는 새로운 root가 됨
    printf("%d pushed to stack\n", data);
}

int pop(StackNode** root) {
    if (isEmpty(*root))
        return -9999; //데이터가 없을 경우 -9999를 리턴
  
    StackNode* temp = *root; // temp를 선언해 맨 위 노드의 주소값 저장
    int popped = temp -> data; // popped 변수에 맨 위 노드의 데이터 저장
    *root = temp -> next; // root 노드를 두번째 노드로 옮김
    free(temp); // 맨 위 노드 제거
    return popped; // 데이터 반환
}

int peek(StackNode** root) {
    if (isEmpty(*root))
        return -9999;
    return (*root)->data;
}

int main() {
    StackNode* root = NULL;

    push(&root, 10);
    push(&root, 20);
    push(&root, 30);
    push(&root, 40);

    printf("%d pop from stack\n", pop(&root));
    printf("%d pop from stack\n", pop(&root));

    push(&root, 50);
    printf("%d peeked from stack\n", peek(&root));
    printf("%d pop from stack\n", pop(&root));
    printf("%d pop from stack\n", pop(&root));
    printf("%d pop from stack\n", pop(&root));
    return 0;
}

[Algorithm_Greedy]_1. 그리디(탐욕법)

EunChan_Kim — Sat, 20 Feb 2021 20:58:06 +0900

Greedy

그리디(탐욕법)알고리즘은 단순하지만 가장 강력한 문제 해결방법이다.

탐욕법이라고 하는 이유는 단순 무식하게 탐욕적으로 풀어서 그런것 같습니다

여기서 탐욕적이라는 말은 현재 상황에서 가장 좋은 것만 고르는 방법을 의미합니다.

그리디 알고리즘은 기준에 따라 좋은 것을 선택하는 알고리즘이므로 보통 문제에서

/가장 큰 순서대로, 가장 작은 순서대로/ -> 정렬알고리즘과 결합하여 자주 출제됩니다.

대표적인 그리디알고리즘 문제는 거스름돈 문제입니다.

당신은 음식점의 계산을 도와주는 점원이다. 카운터에는 거스름돈으로 사용할 500원, 100원, 50원, 10원짜리 동전이 무한이 존재한다고 가정한다. 손님에게 거슬러 줘야 할 돈이 N원일 때 거슬러 줘야 하는 동전의 최소 개수를 구하라

N은 10의 배수이다.

n = 1270
count = 0

# 큰단위의 화폐부터 차례대로 확인하기 -> 정렬
list1 = [500, 100, 50, 10]
for coin in list1:
	count + = n//coin
    n%= coin
    
print(count)

코드는 이러한형식으로 진행될 것입니다.

코딩 테스트의 대부분의 문제는 그리디 알고리즘을 이용해서 '최적의 해' 찾을 수 없을 가능성이 다분합니다. 그래서 그리디알고리즘으로 문제 해법을 찾았을때는 그 로직이 정당한지 검토해야합니다. 위와 같은 거스름돈 문제는 큰 단위가 항상 작은 단위의 배수이므로 작은 단위의 동전들을 종합해 다른 해가 나올 수 없기 때문에 가능한것입니다.!

백준 알고리즘에서 그리디 풀어보았습니다.

백준 알고리즘 11034번 : 캥거루 세마리2

캥거루 세 마리가 사막에서 놀고 있다. 사막에는 수직선이 하나 있고, 캥거루는 서로 다른 한 좌표 위에 있다.

한 번 움직일 때, 바깥쪽의 두 캥거루 중 한 마리가 다른 두 캥거루 사이의 정수 좌표로 점프한다. 한 좌표 위에 있는 캥거루가 두 마리 이상일 수는 없다.

캥거루는 최대 몇 번 움직일 수 있을까?

while True:
    try:
        A,B,C = map(int, input().split())


        d = max(B - A, C - B)

        print(d - 1)
    except:
        break

[CS50 코칭스터디] CS50 코칭스터디2기_5주차

EunChan_Kim — Fri, 19 Feb 2021 18:28:26 +0900

5주차_메모리와 포인터

메모리의 구조

프로그램이 실행되기 위해서는 먼저 프로그램이 메모리에 로드(load)되어야 합니다.

또한, 프로그램에서 사용되는 변수들을 저장할 메모리도 필요합니다.

따라서 컴퓨터의 운영체제는 프로그램의 실행을 위해 다양한 메모리 공간을 제공하고 있습니다.

프로그램이 운영체제로부터 할당받는 대표적인 메모리 공간은 다음과 같습니다.

코드(code) 영역

메모리의 코드(code) 영역은 실행할 프로그램의 코드가 저장되는 영역으로 텍스트(code) 영역이라고도 부릅니다.

CPU는 코드 영역에 저장된 명령어를 하나씩 가져가서 처리하게 됩니다.

데이터(data) 영역

메모리의 데이터(data) 영역은 프로그램의 전역 변수와 정적(static) 변수가 저장되는 영역입니다.

데이터 영역은 프로그램의 시작과 함께 할당되며, 프로그램이 종료되면 소멸합니다.

스택(stack) 영역

메모리의 스택(stack) 영역은 함수의 호출과 관계되는 지역 변수와 매개변수가 저장되는 영역입니다.

스택 영역은 함수의 호출과 함께 할당되며, 함수의 호출이 완료되면 소멸합니다.

이렇게 스택 영역에 저장되는 함수의 호출 정보를 스택 프레임(stack frame)이라고 합니다.

힙(heap) 영역

메모리의 힙(heap) 영역은 사용자가 직접 관리할 수 있는 '그리고 해야만 하는' 메모리 영역입니다.

힙 영역은 사용자에 의해 메모리 공간이 동적으로 할당되고 해제됩니다.

힙 영역은 메모리의 낮은 주소에서 높은 주소의 방향으로 할당됩니다.

포인터

포인터란 변수를 저장하는게 아닌 변수의 주소를 저장하는 것입니다.

* 연산자를 사용해서 변수의 메모리 주소에 있는 값을 받아올수 있습니다.

그리고 포인터의 크기는 모두 같은 크기를 가집니다.

예를 들어 char*, int*, float* 등 모든 포인터 자료형들은 같은 크기를 가지고 있습니다. 포인터는 그저 주소 값을 저장하는 자료형으로, 메모리의 크기와는 관계가 없습니다.

16-bit 컴파일러는 16bit 주소로 이루워져 있으므로 포인터의 크기는 16-bit (2 byte)이며, 32-bit 컴파일러는 32-bit 주소로 이루워져 있으므로 포인터의 크기는 32-bit (4 byte)입니다

5주차 팀미션

1) 수업에서 언급되었던 Heap overflow와 stack overflow에 대해서 어떤 경우에 발생이 되는지 서술해주세요.

heap: 동적 변수를 저장하는 데 사용되는 메모리 영역. 힙 영역에는 malloc으로 할당된 메모리의 데이터가 저장된다.
heap overflow: 힙 데이터 영역에서 발생하는 메모리를 다루는 데 오류가 발생하여 잘못된 동작을 하는 버퍼 오버플로의 한 종류

heap overflow는 두 가지 경우에 발생한다.
1. 메모리를 지속적으로 할당하고 사용 후 해당 메모리 공간을 해제하지 않으면 메모리 누수 문제가 발생하고 heap overflow가 발생한다.
2. 많은 수의 변수를 동적으로 할당하는 경우에도 heap overflow가 발생한다.

stack: 함수 내에서 사용되는 지역 변수, 함수를 통해 전달된 매개 변수 및 반환 주소를 저장하는 데 사용되는 메모리 영역. 스택에는 프로그램 내의 함수와 관련된 것들이 저장된다.
stack overflow: 스택 데이터 영역에서 스택 포인터가 스택의 경계를 넘어설 때 일어나는 버퍼 오버플로의 한 종류

stack overflow는 두 가지 경우에 발생한다.
1. 프로그램이 많은 수의 지역 변수를 선언하거나 배열 또는 행렬 또는 큰 크기의 배열을 선언하는 경우에 stack 크기보다 더 많은 메모리 공간을 사용하면 stack overflow가 발생한다.
2. 함수가 반복적으로 자신을 무한히 호출하면 stack은 모든 함수 호출에서 사용되는 많은 수의 지역 변수를 저장할 수 없고, 이 때도 stack overflow가 발생하게 된다.

2) Strcpy와 strncpy의 차이점을 서술해보세요. (어떤 것을 추천하는지와 그 이유에 대해서 서술해주세요.)

- strcpy (= string copy):
사용법: char * strcpy(char * dest, const char * src) / dst : destination, src : source
기능: stc 문자열을 dst 버퍼에 복사, 저장한다.
경우: sizeof(src) 길이 만큼 복사하게되는데 sizeof(dest) 값이 sizeof(src) 보다 같거나 커야하며 작으면 에러가 발생한다.

- strncpy (= string new copy):
사용법: char * strncpy(char * dest, const char * src, size_t n)
기능: 문자열 복사라는 기능은 strcpy와 동일하지만 src 문자열을 얼마나 복사할지 n값으로 지정 → n 값을 10 으로 설정하면 src 주소부터 10글자만 복사한다.
경우: src문자열의 길이만큼 dst 버퍼에 저장하기 때문에 src 문자열의 길이가 제한되므로 버퍼 오버플로우에 있어서 안전하다.

[CS50 코칭스터디] CS50 코칭스터디2기_4주차

EunChan_Kim — Mon, 8 Feb 2021 00:30:03 +0900

4주차_알고리즘

알고리즘은 알고리즘이란 입력값을 출력 값의 형태로 바꾸기 위해 어떤 명령들이 수행되어야 하는지에 대한 규칙들의 순서적 나열입니다. 이러한 일련의 순서적 규칙들의 나열 방법에 따라 알고리즘의 종류가 달라집니다. 같은 출력 값이라도 알고리즘적 순서 나열에 따라 출력 값에 도달하는 시간은 서로 다를 수 있습니다.

알고리즘에서 가장 중요한 건 정확성과 효율성입니다.

정확성은 내가 구현한 알고리즘이 정답을 찾았는지입니다.

효율성은 작업을 완료하기까지 얼마나 시간과 노력을 덜 들일 수 있는지에 대한 척도입니다.

미션 : 숫자 애너그램 찾기

4주 차 팀미션은 알고리즘의 정확성과 효율성을 생각해보면서 코드를 구현해보았습니다.

#include <stdio.h>
#include <cs50.h>
int main(void) 
{  
  int a[5] = {1, 2, 3, 4, 5}; int b[5] = {5, 4, 3, 2, 1}; // 배열을 프로그램 내에서 선언하여 입력받음
  int temp; 
  for (int i = 0; i < 5; i++) //a 배열을 버블정렬
  {
    for (int j = 0; j < 5 - i - 1; j++ )
    {
      if (a[j] > a[j+1])
      {
        temp = a[j];
        a[j] = a[j+1];
        a[j+1] = temp;
      }
    }
  }
   for (int i = 0; i < 5; i++) //b 배열을 버블정렬
  {
    for (int j = 0; j < 5 - i - 1; j++ )
    {
      if (b[j] > b[j+1])
      {
        temp = b[j];
        b[j] = b[j+1];
        b[j+1] = temp;
      }
    }
  }
  //a와 b가 애너그램이라면 정렬된 배열의 순서에 따른 숫자가 모두 같을 것이므로, 숫자가 같은지 검사할 것
  int flag = 0; //정렬된 두 배열이 같은지 다른지를 표시해주는 지표인 flag 변수를 사용
  for (int i = 0; i < 5; i++) 
  {
      if (a[i] != b[i])
      {
          flag = 1; // 반복루프를 돌다가 특정 위치에서 두 배열의 숫자가 같지 않다면 flag의 값을 1로 바꿈
          break; // 더이상 반복문을 돌 필요가 없으므로 반복문 탈출
      }
  }
  if (flag == 1) // flag가 1로 변했다면 두 배열이 같지 않은 것이므로 애너그램이 아님. 따라서 False 출력
    printf("False\n");
  else // flag가 그대로 0의 초기값을 지니고 있다면 두 배열은 애너그램
    printf("True\n");
  return 0;
}

코드를 구현하면서 아쉬웠던 점은 함수화 모듈화를 해서 구현을 진행하지 못한 점이 아쉽습니다.

다음 미션에는 아쉬움이 남지 않도록 열심히 해야겠네요!

[OpenCV]_4. OpenCV 이미지 Processing

EunChan_Kim — Sun, 7 Feb 2021 01:25:07 +0900

Digital Image

디지털 영상은 2차원 행렬의 형태로 표현이 됩니다. 각 격자가 하나의 pixel이 됩니다. 이를 bitmap image라고 합니다.

우리가 흔이 알고있는 .jpg, .jpeg, .png, .gif 가 비트맵방식입니다.

각 pixel의 위치는 2가지 형태로 표현을 할 수가 있는데. 영상좌표와 행렬 위치로 표현이 됩니다.

영상 좌표는 좌측 상단의 꼭지점을 중심으로 (x,y)로 표현을 합니다. 행렬 위치는 (r,c)로 표현을 합니다. OpenCV에서 영상좌표와 행렬 위치 2가지 형태가 사용되기 때문에 유의해야 합니다.

Digital Image의 유형

Binary Image

Binary Image는 pixel당 1bit로 표현하는 영상을 의미합니다. 즉 흰색과 검은색으로만 표현이 되는 영상입니다.

Binary Image

원본 이미지를 thresholding처리를 하여 binary image로 변환한 이미지 입니다.

Grayscale Image

Grayscale Image는 Pixel당 8bit, 즉 256단계의 명암(빛의 세기)을 표현할 수 있는 이미지입니다.

Color Image

Color 이미지는 pixel의 색을 표현하기 위해서 pixel당 24bit를 사용합니다. 총 16,777,216 가지의 색을 표현할 수 있습니다. 이것을 일반적으로 True color image라고 합니다. pixel은 RGB 각각을 위해서 8bit를 사용하게 됩니다. OpenCV에서는 BGR로 표현을 하기 때문에 Blue->(255,0,0), Green->(0,255,0), Red->(0,0,255), White->(255,255,255), Black->(0,0,0)으로 표현할 수 있습니다.

각 pixel당 3Byte를 사용하기 때문에 용량이 큽니다. 이를 해결하기 위해서 lookup table을 사용하여, 해당 pixel에는 index만 을 저장하기도 합니다.

Indexed Color Image

RGB Color-space

RGB 모델은 빛의 삼원색인 빨간색, 초록색, 파란색을 기본 색으로 사용을 합니다. 정육면체 모델 형태로 표현할 수 있습니다.

HSV Color-space

이미지 처리에서 가장 많이 사용되는 형태의 Color 모델입니다. 하나의 모델에서 색과 채도, 명도를 모두 알 수 있습니다. 원뿔 형태의 모델로 표현이 됩니다.

HSV 모델

HSV의 의미는 다음과 같습니다.

H(ue) : 색상. 일반적인 색을 의미함.
S(aturation) : 채도. 색읜 순수성을 의미하며 일반적으로 짙다, 흐리다로 표현이 됨. 중심에서 바깥쪽으로 이동하면 채도가 높음.
V(alue) : 명도. 색의 밝고 어두운 정도. 수직축의 깊이로 표현. 어둡다 밝다로 표현이 됨.

[OpenCV]_3. OpenCV 도형 그리기

EunChan_Kim — Sat, 6 Feb 2021 00:02:33 +0900

OpenCV 도형 그리기는 동영상이나 이미지에서 필요 영역을 찾은 후에 사용자가 인식하기 쉽게 표시하는 목적으로 사용됩니다. 사각형과 원, 텍스트는 많이 사용됩니다.

Line 그리기

cv2.line(img, start, end, color, thickness)

import numpy as np
import cv2

#np.zeros로 모두 0 (검정색)으로 되있는 창을 하나 만듭니다.
img = np.zeros((512, 512, 3), np.uint8)

#라인 그리기  적용할이미지  시작좌표     종료 좌표    B     G    R     선의 두께
img = cv2.line( img,      (0, 0),    (511, 511), (255, 255, 255),      5)

cv2.imshow('image',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

B G R을 값을 최대의 값을 주었을때 흰색으로 선이 생깁니다.

import numpy as np
import cv2

#np.zeros로 모두 0 (검정색)으로 되있는 창을 하나 만듭니다.
img = np.zeros((512, 512, 3), np.uint8)

#라인 그리기  적용할이미지  시작좌표     종료 좌표    B     G    R     선의 두께
img = cv2.line( img,      (50, 50),    (400, 400), (0, 255,    0),      10)

cv2.imshow('image',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

파라미터를 변경해서 색상과 길이 두께를 변경할수 있습니다.

cv2.line(img, start, end, color, thickness)이용하여 선을 그립니다.

img – 그림을 그릴 이미지 파일
start – 시작 좌표(ex; (0,0))
end – 종료 좌표(ex; (500. 500))
color – BGR형태의 Color(ex; (255, 0, 0) -> Blue)
thickness (int) – 선의 두께. pixel

사각형 그리기

cv2.rectangle(img, start, end, color, thickness)

import numpy as np
import cv2

#np.zeros로 모두 0 (검정색)으로 되있는 창을 하나 만듭니다.
img = np.zeros((512, 512, 3), np.uint8)

#               적용할이미지  시작좌표    종료 좌표    B     G    R     선의 두께
img = cv2.rectangle(img,      (20, 20), (400, 400),  (255,   255,  0),      3)
cv2.imshow('image',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.rectangle(img, start, end, color, thickness) 이용하여 왼쪽 위에 지점과 오른쪽 아래 지점을 연결하는 사각형을 그립니다.

img – 그림을 그릴 이미지
start – 시작 좌표(ex; (0,0))
end – 종료 좌표(ex; (500. 500))
color – BGR형태의 Color(ex; (255, 0, 0) -> Blue)
thickness (int) – 선의 두께. pixel

원 그리기

cv2.circle(img, center, radian, color, thickness)

import numpy as np
import cv2

#np.zeros로 모두 0 (검정색)으로 되있는 창을 하나 만듭니다.
img = np.zeros((512, 512, 3), np.uint8)

#             적용할이미지  원의중심좌표(x,y)   반지름           B     G    R     선의 두께
img = cv2.circle(  img,          (20,60),          20,           (0,     0,  255),  -1)
img2 = cv2.circle(  img,         (400,50),         100,          (0,   255,   0),  1)

cv2.imshow('image',img)
cv2.imshow('image',img2)

cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.circle(img, center, radian, color, thickness) 이용하여 원을 그립니다. 파라미터 thickness 값에 따라 1이면 원안이 빈 원을 생성하고 -1이면 원 안쪽의 색상도 채워서 그려집니다.

img – 그림을 그릴 이미지
center – 원의 중심 좌표(x, y)
radian – 반지름
color – BGR형태의 Color
thickness – 선의 두께, -1 이면 원 안쪽을 채움

이미지에 Text 추가

cv2.putText(img, text, org, font, fontSacle, color)

import numpy as np
import cv2

#np.zeros로 모두 0 (검정색)으로 되있는 창을 하나 만듭니다.
img = np.zeros((512, 512, 3), np.uint8)

#       적용할이미지  표시할문자열   문자열의 좌표값      폰트             글자크기   B   G   R  선의 두께
cv2.putText(img, 'opencv',       (10,500),    cv2.FONT_HERSHEY_SIMPLEX,   4,      (255,255,255), 10)


cv2.imshow('image',img)


cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.putText(img, text, org, font, fontSacle, color) 를 사용해서 택스트를 그립니다.

img – image
text – 표시할 문자열
org – 문자열이 표시될 위치. 문자열의 bottom-left corner점
font – font type. CV2.FONT_XXX
fontSacle – Font Size
color – fond color

[CS50 코칭스터디] CS50 코칭스터디2기_3주차

EunChan_Kim — Fri, 29 Jan 2021 23:05:21 +0900

3주차_C언어팀미션

3주 차부터는 팀당 1개의 미션을 진행하였습니다.

그런데 난이도가 갑자기 급격하게 상승한 느낌이 있습니다

팀 미션은 학점을 계산해보자! 입니다.

네이버 부스트 코스에서 미션에 관한 자세한 내용은 공유를 금지한다고 합니다 ㅜㅜ..

정답코드

#include <stdio.h>
#include <stdlib.h>
#include <cs50.h>
#include <string.h>
void Determine_Grades(int input, int scores[], char *grades[]);
int main(void)
{
    int input = 0;
    int scores[9] = {95, 90, 85, 80, 75, 70, 65, 60, 0};
    string grades[9] = {"A+", "A", "B+", "B", "C+", "C", "D+", "D", "F"};
    printf("학점 프로그램\n");
    printf("종료를 원하면 \"999\"를 입력\n");
    printf("[학점 테이블]\n");
    printf("점수 : ");
    for (int i = 0; i < 9 ; i++)
    {
        printf("%4i", scores[i]);
    }
    printf("\n");
    printf("학점 : ");
    for (int i = 0; i < 9 ; i++)
    {
        printf("%4s", grades[i]);
    }
    printf("\n");
    while(1)
    {
        input = get_int("성적을 입력하세요 (0 ~ 100) : ");
        if (input == 999) 
            break;
        Determine_Grades(input, scores, grades);
    }
    printf("학점 프로그램을 종료합니다.\n");
}
void Determine_Grades(int input, int scores[], string grades[])
{
    int i;
    for(i = 0; i < 9 ; i++)
    {
        if ( input > 100 || input < 0 )
        {
            printf("** %i 성적을 올바르게 입력하세요. 범위는 0 ~ 100 입니다.\n", input);
            break;
        }
        if ( input >= scores[i] )
        {
            printf("학점은 %s 입니다.\n", grades[i]);
            break;
        }
    }
}

3주차 강의에서는 디버깅, 코드의 디자인, 배열, 문자열과 배열, 문자열의 활용, 명령행 인자를 스터디 했습니다

컴퓨터 프로그래밍을 기초와 C언어를 배우면 배울수록 파이썬이 있어서 다행이다는 생각이 드네요

그래도 프로그래밍의 기초를 차근차근 배울 수 있어서 좋은 시간이었습니다.

C코드로 코딩을 해보니 파이썬이 정말 편하다는 생각이 정말 많이 듭니다

[OpenCV]_2. OpenCV 이미지 다루기

EunChan_Kim — Tue, 26 Jan 2021 17:26:42 +0900

Opencv의 가장 기초인 이미지 다루기 입니다.

이미지 읽기

cv2.imread()

import cv2


img01 = cv2.imread('D:\Desktop\ssca_en-core\OpenCV\images\myImg\lena.jpg', cv2.IMREAD_COLOR)
img01 = cv2.imread('D:\Desktop\ssca_en-core\OpenCV\images\myImg\lena.jpg', 1) #cv2.IMREAD_COLOR 과 동일합니다.

img02 = cv2.imread('D:\Desktop\ssca_en-core\OpenCV\images\myImg\lena.jpg', cv2.IMREAD_GRAYSCALE)

img03 = cv2.imread('D:\Desktop\ssca_en-core\OpenCV\images\myImg\lena.jpg', cv2.IMREAD_UNCHANGED)

img01.shape

#출력값(256, 256, 3)

cv2.imread(fileName, flag) 이용하여 이미지 파일을 읽습니다. 이미지 파일의 경로는 절대/상대 모두 가능합니다.

이미지 파일을 flag값에 따라서 읽습니다. 위의 코드와 같이 flag에는 3가지 방법이 있습니다.

cv2.IMREAD_COLOR : 이미지 파일을 Color로 읽어들입니다. 투명한 부분은 무시되며, Default값입니다. 숫자로 1입니다.
cv2.IMREAD_GRAYSCALE : 이미지를 Grayscale로 읽어 들입니다. 실제 이미지 처리시 가장 많이 사용합니다. 숫자로 0입니다.
cv2.IMREAD_UNCHANGED : 이미지파일을 alpha channel까지 포함하여 읽습니다. 숫자로 -1 입니다.

img.shape을 이용하여 img가 어떤 형태의 행렬인지 확인합니다. 확인하면 이미지는 3차원 행렬로 반환됩니다.

(256,256,3) 으로 반환되는데요 순서대로 Y축(세로) X축(가로) , 3은 색을 표현하는 BGR값입니다. 보통은 RGB로 많이 표현하는데 opencv는 B(Blue), G(Green), R(Red)로 표현을 합니다.

이미지 보기

cv2.imshow()

cv2.imshow('Original', img01)
cv2.imshow('Grayscale', img02)
cv2.imshow('Unchange', img03)

cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.imshow(title, image) 읽어드린 이미지를 원도우창에 보여줍니다.

title (str) – 윈도우 창의 이름
image (numpy.ndarray) – cv2.imread() 의 return값, 이미지

cv2.waitKey() 는 keyboard입력을 대기하는 함수로 0이면 key입력까지 무한대기이며 특정 시간동안 대기하려면 값을 넣어주면 됩니다.

cv2.destroyAllWindows() 는 화면에 나타난 윈도우를 종료합니다.

cv2.waitKey(0) 와

cv2.destroyAllWindows() 는 항상 같이사용하면 됩니다.

실행이미지

이미지 저장하기

cv2.imwrite()

cv2.imwrite('Lenagray.png', img02)
cv2.imwrite('Lenaunchange.png', img03)

cv2.imwrite(fileName, image)를 이용해서 이미지를 저장합니다.

fileName (str) – 저장될 파일명
image – 저장할 이미지

[OpenCV]_1. OpenCV 시작하기

EunChan_Kim — Mon, 25 Jan 2021 15:14:09 +0900

OpenCV

opencv.org/

Home - OpenCV

We transform great ideas into amazing digital products. See our work

opencv.org

OpenCV(Open Source Computer Vision)는 영상처리, 컴퓨터 비전, 비디오처리, 기계학습등을 포함한 라이브러리 입니다. OpenCV는 BSD(Berkeley Software Distribution)라이센스를 따르는 소스 공개이며 교육 및 상업 목적 사용이 모두 무료입니다.

OpenCV는 초창기에 Intel에서 C언어로 개발된 IPL을 기반으로 만들어졌으며, 현재는 C++로 개발되었으며 파이썬 , 자바 및 매트랩 / OCTAVE에 바인딩 되어 프로그래머에게 개발 환경을 지원합니다.

OpenCV설치

OpenCV 모듈은 pip를 통하여 설치할 수 있습니다.

설치 명령어는 python -m pip install opencv-python 입니다.

설치결과 입니다.

주피터노트북에서의 설치

주피터노트북에서는 pip앞에 !를 붙여서 설치하시면 터미널과 동일하게 설치가 됩니다.

[Python]_6. 리스트(List)

EunChan_Kim — Sun, 24 Jan 2021 22:57:19 +0900

리스트(List)

리스트는 파이썬에서 가장 강력한 기능 중 하나이며 순서가 있는 값들의 나열 또는 비슷한 성질을 가진 객체의 나열이라고 정의할 수 있습니다. 리스트를 구성하는 값을 요소(element) 혹은 원소라고 부르며 어떠한 타입의 값이든 리스트의 요소로 넣을 수 있습니다. 즉, 한가지 타입으로만 이루어진 리스트 뿐만 아니라, 여러가지 타입의 데이터로 이루어진 리스트를 구성할 수 있습니다. 오늘은 리스트와 관련된 함수중 가장 많이 사용하는 함수들을 알아보도록 하겠습니다.

a = [1, 4, 3]
print("기본 리스트:", a)
# 출력문 기본 리스트: [1, 4, 3]

# append()  변수명.append()    리스트에 원소를 하나 삽입할때 사용     O(1)
# 리스트에 원소 삽입
a.append(2)
print("삽입:", a)
# 출력문 삽입: [1, 4, 3, 2]

#sort()     변수명.sort()      기본 정렬 기능으로 오름차순으로 정렬한다. O(NlogN)
#sort()     변수명.sort(reverse = True)        내림차순으로 정렬한다. O(NlogN)
a.sort()
print("오름차순 정렬:", a)
# 출력문 오름차순 정렬: [1, 2, 3, 4]

a.sort(reverse=True)
print("내림차순 정렬:", a)
# 출력문 내림차순 정렬: [4, 3, 2, 1]

#reverse() 변수명.reverse()    리스트의 원소의 순서를 모두 뒤집어 놓는다  O(N)
a.reverse()
print("원소 뒤집기:", a)
# 출력문 원소 뒤집기: [1, 2, 3, 4]

#insert()  변수명.insert(삽입할 위치 인덱스, 삽입할 값) 특정한 인덱스 위치에 원소를
#삽입할 때 사용한다.        O(N)
a.insert(0,0)
print("인덱스 0에 0추가:",a)
#출력문 인덱스 0에 0추가: [0, 1, 2, 3, 4]

#count()    변수명.count(특정값)    리스트에서 특정한 값을 가지는 데이터의 개수를
# 셀때 사용한다.            O(N)
print("값이 2인 데이터의 갯수:", a.count(2))
# 출력문 :값이 2인 데이터의 갯수: 1


#remove()   변수명.remove(특정값)   특정한 값을 갖는 원소를 제거하는데, 값을 가진
# 원소가 여러개면 하나만 제거한다.  O(N)
a.remove(1)
print("값이 1인 데이터 삭제:",a)
# 출력문 값이 1인 데이터 삭제: [0, 2, 3, 4]

#~~~~~~~~~~~~~~~~~~~~리스트에서 특정한 값을 모두 제거하는 방법~~~~~~~~~~~~~~~~~~~~~~~~~~~
#특정한 값의 원소를 모두 제거하는 방법 많이쓴다!!!
a =[1, 2, 3, 4, 5, 5, 5]
remove_set = {3,5}

#remove_set에 포함되지 않는 값만 저장
result = [i for i in a if i not in remove_set]
print(result)
# 출력문 [1, 2, 4]

리스트는 알고리즘을 구현할때 많이 사용하기 때문에 자연스럽게 구현할수 있도록 연습해야합니다.

[CS50 코칭스터디] CS50 코칭스터디2기_2주차

EunChan_Kim — Sun, 24 Jan 2021 14:51:00 +0900

2주차_C언어팀미션

문제 1

여러분은 기존 오프라인에서 리테일 사업으로 유명한 신선식품 업체에 입사한 개발자 입니다.

최근 디지털 트랜스포메이션 이슈에 따라 기존 오프라인으로 운영하던 리테일 사업을 온라인으로 전환하게 되었습니다.

여러분에게는 기존 오프라인에서 일어나던 일들을 온라인 쇼핑몰로 전환하는 임무를 진행하게 됩니다.

성공적으로 첫 임무를 완수하여 팀장님의 신임을 얻고 성취감도 느껴보세요!

이제 입사한지 얼마 되지 않았기 때문에 간단한 재고 관리 프로그램 개발의 일부를 맡게 되었습니다.

주문이 들어왔을 때 재고량을 적절하게 관리하지 못 하면 재고가 없는 물품의 주문이 추가로 일어날 수 있습니다. 그러면 고객의 불만이 발생할 수 있기 때문에 재고량을 관리가 필요합니다. 또 이렇게 관리한 데이터를 바탕으로 미래의 재고량 수급에 참고 할 수 있을 것입니다.

주문이 들어왔을 때 특정 물품의 재고량을 하나 줄이고 매출액을 더하는 일을 하게 됩니다.

기존에 수박의 재고량은 5개였습니다.

이번에 들어온 주문은 수박 3건이며, 해당 물품의 가격은 10000원 입니다.

재고량을 차감해주고 매출액을 구하는 프로그램을 만들어 주세요.

또 매출액에서 부가세를 구해주세요. 부가세는 물품가격의 10% 입니다.

매출액은 물품의 가격과 부가세를 합산한 가격으로 구합니다.

재고량과 매출액을 구하고 다음의 문구를 출력하도록 프로그램을 구현합니다.

(수업 내용을 바탕으로 C언어로 구현하며, 변수명은 자유롭게 지정합니다.)

주문건수 : 0 건

기존 재고량 : 0개

남은 재고량 : 0개

매출액(부가세포함) : 000원

#include <stdio.h>
#include <cs50.h>

int main(void)
{
    printf("재고관리 시스템입니다\n");
    string product = get_string("물품의 이름이 무엇인가요: ");      //물품 이름 입력
    int price = get_int("\n물품의 가격을 입력해주세요. \n','없이 원을 뺀 숫자만 입력해주세요 ex)5000 : ");     //물품 가격 입력
    int stock = get_int("\n재고량을 입력하세요.\n숫자만 입력해주세요: ");       //재고량 입력
    int order = get_int("\n주문건수를 입력해주세요.\n숫자만 입력해주세요: ");   //주문건수 입력
    int rest = stock;      //남은 재고량
    float total = 0;       //매출액
    if (order>stock)        //주문건수가 재고량보다 많은 경우
    {
        printf("현재 재고량보다 물품 %i개 부족합니다. 재주문 혹은 주문 취소 절차가 필요합니다.\n", order-stock);    //부족한 갯수 출력
    }
    else                    //'재고량 >= 주문건수'인 경우
    {
        for(int i=0;i<order;i++){     //주문이 들어왔을 때 물품의 재고량을 하나 줄이고 매출액 더하기
            rest--;
            total = total + price + price*0.1;
        }
        printf("\n");
        printf("상품명: %s\n", product);                //상품명 출력
        printf("주문건수: %i건\n", order);              //주문건수 출력
        printf("기존 재고량: %i개\n", stock);            //기존 재고량 출력
        printf("남은 재고량: %i개\n", rest);            //남은 재고량 출력
        printf("매출액(부가세포함): %.f원\n", total);   //매출액 출력
    }
}

문제 2

여러분은 인터넷 은행의 인턴으로 취업을 했습니다.

1년 동안 저축을 했을 때 이율을 원금의 1.2%로 주는 예금이 있다고 합니다.

고객이 목표금액을 입력하면 1년 만기시 받는 원금과 이자의 합계를 출력해 주는 코드를 작성해 달라는 팀장님의 지시를 받았습니다.

예금액에 따라 만기시 받게 되는 금액을 구하는 코드를 작성해 주세요.

#include <stdio.h>
#include <cs50.h>

float savings(int deposit);     //1년 만기시 받는 원금과 이자의 합계를 구하는 함수 원형 선언

int main()
{
  float money;              
  int deposit = get_int("목표금액을 입력하세요 : ");       //목표 금액 입력
  money = savings(deposit);                //함수 사용
  printf("1년 만기시 받게 될 고객님의 총 금액은 %.1f원입니다.\n", money);     //만기 시 받게 될 금액 출력 
}

float savings(int deposit)         //1년 만기시 받는 원금과 이자의 합계를 구하는 함수
{
    float total = deposit * 1.012;
    return total;
}

문제 3

모바일 프로그래밍을 배우고 프로그래머로 취업을 하려고 하고있습니다.

신장개업을 하는 식당의 어플리케이션을 개발해 달라는 업무가 들어왔습니다.

이 식당은 손님들의 편의를 위해 모바일앱을 통한 쿠폰이나 서비스를 제공하고자 합니다.

프로모션을 위해 오늘의 메뉴를 할인해서 판매하고 있습니다.

의뢰자는 음식점의 앱에 들어와서 요일을 입력하면 해당 요일의 메뉴를 출력해 달라고 요청을 했습니다.

요일을 입력했을 때 해당 요일의 메뉴를 출력해 주는 프로그램을 개발 해서 고객의 요구사항을 잘 구현해 주세요!

각 요일별 메뉴는 다음과 같습니다.

월요일 : 청국장

화요일 : 비빔밥

수요일 : 된장찌개

목요일 : 칼국수

금요일 : 냉면

토요일 : 소불고기

일요일 : 오삼불고기

#include <cs50.h>
#include <stdio.h>
#include <string.h>           // strcmp, 문자열 관련 함수 파일

int main (void) 
{
    char MON[] ="월요일";
    char TUE[] ="화요일";
    char WED[] ="수요일";
    char THU[] ="목요일";
    char FRI[] ="금요일";
    char SAT[] ="토요일";
    char SUN[] ="일요일";
    
    printf("음식점에 오신 것을 환영합니다.\n");
    string day = get_string("요일을 입력하세요 : ");     //요일 입력받기
    if (strcmp(day, MON)==0) {                  //월요일이 입력된 경우
        string menu = "청국장";
        printf("%s : %s\n",day, menu);
    }
    else if (strcmp(day, TUE)==0) {             //화요일이 입력된 경우
        string menu = "비빔밥";                 
        printf("%s : %s\n", day, menu);
    }
    else if (strcmp(day, WED)==0) {             //수요일이 입력된 경우
        string menu = "된장찌개";
        printf("%s : %s\n", day, menu);
    }
    else if (strcmp(day, THU)==0) {             //목요일이 입력된 경우
        string menu = "칼국수";
        printf("%s : %s\n", day, menu);
    }
    else if (strcmp(day, FRI)==0) {             //금요일이 입력된 경우
        string menu = "냉면";
        printf("%s : %s\n", day, menu);
    }
    else if (strcmp(day, SAT)==0) {             //토요일이 입력된 경우
        string menu = "소불고기";
        printf("%s : %s\n", day, menu);
    }
    else if (strcmp(day, SUN)==0) {             //일요일이 입력된 경우
        string menu = "오삼불고기";
        printf("%s : %s\n", day, menu);
    }
}

파이썬으로 처음 코딩을 배웠는데 C언어는 구체적인 구현을 요구해서 조금 더 까다로운것 같습니다..!

그냥 주 언어는 파이썬으로 ㅋㅋ.. 하지만 C언어가 컴퓨터의 물리적인 부분과 많이 맞닿아 있어서 꼭 배워야하는거는 맞는것 같습니다.

[CS50 코칭스터디] 컴퓨터는 아날로그 신호인 소리를 어떻게 디지털로 저장하는 걸까요?

EunChan_Kim — Thu, 14 Jan 2021 20:08:43 +0900

1. 컴퓨터는 아날로그 신호인 소리를 어떻게 디지털로 저장하는 걸까요?

컴퓨터에 아날로그 신호인 소리를 저장하려면 일단 소리 대해서 알아야 합니다

소리란 음 또는 '음파'는 공기나 물 같은 매질의 진동을 통해 전달되는 종파입니다. 쉽게 말해서 진동이라는 뜻입니다.!

진동의 단위(herz,hz)

1초에 몇 번이나 떨렸는지 표현하기위해 herz, hz라는 단위를 사용합니다 1hz는 1초에 10번 진동했다는 것을 의미합니다. 또한 진동은 자연계에서 발생한 것이기 때문에 아날로그(Analog)의 형태로 나타납니다.

소리는 진동이고 아날로그 신호이다

아날로그는 신호나 자료를 연속적인 물리량으로 나타낸것입니다.

연속성의 대표성은 바로 수입니다 1과 2사이에는 1, 1.1, 1.255, 1,36666, …… 1.8888, 1.9999 2

수를 계속해서 쓰다보면 무수히 많은 수가 들어가있습니다.

이러한 성질을 연속성이라고 부릅니다.

가로 축은 시간, 세로 축은 전압입니다. 아날로그 신호는 아무리 쪼개도 끝이 없는 연속성을 가집니다.

연속성을 가진 아날로그 신호를 0과 1밖에 이해하지못하는 컴퓨터(디지털)에게 입력하려면 어떻게 해야할까요?

아날로그를 → 디지털로 변환시켜서 컴퓨터에게 입력해주어야합니다. 이러한 변환을 해주는 장치를

바로 ADC(Analog to Digital Converter) 라고 부릅니다.

ADC(Analog to Digital Converter)

ADC의 프로세스는 표본화, 양자화, 부호화 과정을 거처 아날로그 신호를 디지털로 저장합니다.

표본화 : 아날로그 파형을 디지털 형태로 변환하기 위해 표본을 취하는 것을 의미합니다. 이 때 나이키스트 정리에 따르면 표본화 시 원음을 그대로 반영하기 위해서는 원음이 가지는 최고 주파수의 2배 이상으로 표본화를 해야 합니다.
양자화는 표본화된 각 점을 어느 정도의 정밀도로 표현할 것인지 정하는 것을 의미합니다. 8 bit로 양자화를 하면 값을 256 단계로 표현할 수 있지만, 정밀도를 높여서 16bit로 양자화를 하면 좀 더 세밀한 65,536 단계로 표현이 가능합니다.
부호화는 표본화와 양자화를 거친 디지털 정보를 2진수로 표현하는 과정입니다. 대체적으로 사운드 파일의 원본의 용량은 크기 때문에 일반적으로 부호화 과정에서 압축하여 저장합니다.

결론

소리를 컴퓨터에 저장하려면 ADC를 사용하여 아날로그 신호를 디지털로 신호로 변화시켜야 저장이 가능하다 입니다.

[CS50 코칭스터디] CS50 코칭스터디2기_1주차

EunChan_Kim — Tue, 12 Jan 2021 23:36:31 +0900

CS50 코칭 스터디 2기

친구가 네이버 부스트 코스 CS50 강의를 추천해서 수강신청을 할 무렵에 CS50 코칭 스터디 2기를 모집을 하고 있었다. 그냥 공부하는 것보다는 함께 공부하는 게 효율적이고 코치님들이 1:1 밀착관리, CS50 없던 라이브 강의도 진행한다고 해서 신청을 했는데 선발돼버렸다.!! 일단 선발됐으니 6주간 열심히 달려야겠다. ㅋㅋ

매주마다 팀별 미션, 과제, 퀴즈를 수행해야 하고 이러한 것들이 비전공자인 나에게 개발자가 되는 좋은 발판이 되기를 생각하며 앞으로 블로그에 6주간 공부한 내용을 여기에 작성할 예정이다.

1주 차_컴퓨팅 사고 요약

컴퓨터 과학

컴퓨터 과학은 문제 해결에 대한 학문입니다.

문제 해결은 입력(input)을 전달받아 출력(output)을 만들어내는 과정입니다.

그 중간에 있는 과정이 바로 컴퓨터 과학입니다.

출처 : www.boostcourse.org

알고리즘, 소프트웨어 구조, 컴퓨터 구조등 등이 포함되는 광범위한 학문입니다.

2진법

0과 1로만 표현하는 것을 2진법이라고 한다

컴퓨터는 2진법으로만으로 숫자, 글자, 사진, 영상, 소리 등을 저장할 수 있습니다.

2진법은 원리만 이해하고 우리가 사용하고 있는 10진법을 2진법으로 바꾸는 것을 몇 번 하면 이해하기 쉽습니다

비트

정보를 저장하고 연산을 수행하기 위한 측정단위이며 binary digit의 줄임말입니다.

0과 1두 가지 값만 가질 수 있는 측정단위입니다.

컴퓨터는 저장되어 있는 데이터를 수정하기 위해 비트에 수학적 연산을 수행할 수 있습니다.

비트열

하나의 비트는 0과 1, 이 두 가지의 값만 저장할 수 있습니다. 컴퓨터 내부에서 물리적 표현될 때는, 켜고 끌 수 있는 스위치라고 생각할 수 있겠습니다. (켜기=1, 끄기=0)

하지만 비트 한 개는 많은 양의 데이터를 나타내기에 턱없이 부족합니다. 그렇기 때문에 여러 숫자 조합을 컴퓨터에 나타내기 위해 비트열을 사용합니다.

바이트(byte)는 여덟 개의 비트가 모여 만들어진 것입니다. 하나의 바이트에 여덟 개의 비트가 있고, 비트 하나는 0과 1로 표현될 수 있기 때문에 2^8 = 256 개의 서로 다른 바이트가 존재할 수 있습니다.

데이터의 표현

출처 : www.boostcourse.org

문자의 표현

컴퓨터는 0과 1밖에 모르는데 어떻게 문자를 표현할까요?

사람들이 문자를 숫자로 표현할 수 있도록 정해진 약속(표준)을 했기 때문입니다.

ASCII(아스키코드/American Standard Code for Information Interchange)입니다.

출처:wikipedia.org

문자와 같이 그림, 영상, 음악도 숫자로 표현할 수 있습니다. 그림은 RGB 값으로 영상은 수많은 그림을 빠르게 연속적으로 이어 붙여서 표현하고 음악은 아날로그 신호를 디지털 표현으로 바꾸어서 표현합니다.

알고리즘

알고리즘이란 입력값을 출력 값의 형태로 바꾸기 위해 어떤 명령들이 수행되어야 하는지에 대한 규칙들의 순서적 나열입니다.

일련의 순서적 규칙들을 어떻게 나열하는지에 따라 알고리즘의 종류가 달라집니다.
같은 출력 값이라도 알고리즘에 따라 출력을 하기까지의 시간이 다를 수 있습니다.

알고리즘은 한 번에 몰아서 하기 어려우니 조금씩 꾸준하게 공부해야 합니다..!

의사 코드

의사 코드(슈도 코드, pseudocode)는 프로그램을 작성할 때 각 모듈이 작동하는 논리를 표현하기 위한 언어입니다. 특정 프로그래밍 언어의 문법에 따라 쓰인 것이 아니라, 일반적인 언어로 코드를 흉내 내어 알고리즘을 써놓은 코드를 말합니다.

1주 차 개인 미션

스크래치로 간단한 프로그램 만들기를 진행하였는데 공 튀기기 프로그램을 만들었습니다.

스코어가 높아질수록 공 개수가 추가되게 만들고 싶었는데 방법을 못 찾아 아쉬움이 많이 남습니다!

https://scratch.mit.edu/projects/472811156/

scratch.mit.edu

팀미션은 팀원들의 동의를 구한 후 올리도록 하겠습니다..

"what ultimately matters in this course is not so much where you end up relative to your classmates but where you end up relative to yourself when you began"

교수님의 명언과 함께 1주 차를 마치도록 하겠습니다!! 화이팅!

[Data Science] 공공데이터 사이트 모음(국내 사이트, 해외 사이트)

EunChan_Kim — Thu, 7 Jan 2021 17:07:58 +0900

빅데이터 시대에서 데이터는 하나의 중요한 자산이 되었습니다.

데이터를 파는 회사도 생겨나고 데이터를 구입해 분석한 결과를 판매하는 회사도 생겨나고 있습니다.

데이터를 개인이 직접 수집하고 데이터셋을 만드는 것은 쉽지 않습니다. 그래서 오늘은 데이터를 공유하는

알려드릴까 합니다.

국내 사이트

1.서울열린데이터광장

https://data.seoul.go.kr/

서울 열린데이터광장

모든 서울시민을 위한 공공데이터 열린데이터광장에서 서울시와 연계 기관이 공개한 공공데이터를 확인하실 수 있습니다. 서울시와 관련된 다양한 공공데이터를 확인해 보세요.

data.seoul.go.kr

2.공공데이터포털

https://www.data.go.kr

공공데이터 포털

국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase

www.data.go.kr

3. e-나라지표

http://www.index.go.kr/

국가지표체계

www.index.go.kr

4. 국가통계포털

http://kosis.kr

KOSIS 국가통계포털

kosis.kr

5. 서울특별시 빅데이터 캠퍼스

https://bigdata.seoul.go.kr/

서울특별시 빅데이터 캠프

bigdata.seoul.go.kr

6. 통계청

http://kostat.go.kr/

통계청

kostat.go.kr

7. SK telecom Big Data Hub

www.bigdatahub.co.kr/index.do

SKT Data Hub

SKT Data T map 이용 데이터 부산 남도, 수영구, 영도, 해운대구 / 11월 검색지랭킹 TOP5

www.bigdatahub.co.kr

8. 한국소비자원 참가격

www.price.go.kr/tprice/portal/main/main.do

한국소비자원 참가격 정보서비스

www.price.go.kr

해외 사이트

1.구글 데이터 검색

https://toolbox.google.com/datasetsearch

Dataset Search

datasetsearch.research.google.com

2.캐글

https://www.kaggle.com/datasets

Find Open Datasets and Machine Learning Projects | Kaggle

Download Open Datasets on 1000s of Projects + Share Projects on One Platform. Explore Popular Topics Like Government, Sports, Medicine, Fintech, Food, More. Flexible Data Ingestion.

www.kaggle.com

3.Awesome Public Datasets Github

https://github.com/awesomedata/awesome-public-datasets

awesomedata/awesome-public-datasets

A topic-centric list of HQ open datasets. Contribute to awesomedata/awesome-public-datasets development by creating an account on GitHub.

github.com

4.Data and Story Library

https://dasl.datadescription.com/

DASL | Data and Story Library

Welcome to DASL – The Data And Story Library The Data And Story Library is brought to you by Data Description, creators of Data Desk: Data Analysis and Exploration software. Data Desk embodies the philosophy that “seeing is understanding”. DASL in on

dasl.datadescription.com

5.데이터허브

https://datahub.io/

Home

Find, Share and Publish Quality Data Online. The fastest way for individuals, teams and organizations to publish, deploy and share their data.

datahub.io

6. worldbank

data.worldbank.org/

World Bank Open Data | Data

Learn how the World Bank Group is helping countries with COVID-19 (coronavirus). Find Out

data.worldbank.org

데이터에 저장권이 있기도 하니, 데이터를 사용하실때는 잘 확인하시고 사용하시길 바랍니다!

[Git,GitHub]3. GitHub의 README.md 작성예시

EunChan_Kim — Tue, 5 Jan 2021 15:06:55 +0900

README.md

깃허브에서 대부분, 아니 거의 모든 프로젝트에는 빠지지 않는 파일이 있습니다. 바로 README 파일입니다.

README파일은 README.TXT, README.md README.1ST, READ.ME 다양한 파일의 형태로 만들기도 하는데 보통은. md 확장자 마크다운 언어를 사용해서 작성하고

- 프로젝트가 어떤 프로젝트인지 설명하거나

- 프그램의 주요 사용법을 알려주거나

- 프로그램을 실행시키려면 어떤 사전작업이 필요한지를

- 라이센스에 관해서

알려주는 내용이 적혔잇습니다.

GitHub에서는 README파일을 프로젝트의 메인 화면에 보여주기 때문에 README.md 파일의 내용을 가독성이게 작성하는 것이 중요합니다.

아래는 Numpy의 README.md입니다.

프로젝트 README.md 파일을 작성하실 때 한번 참고해보시면 좋을 듯합니다.!