fnctId=bbs,fnctNo=2438 총 8 건이 등록되었습니다. 게시물 검색 제목 작성자 공통(상단고정) 공지 게시글 [전체게시판공지] ★컴퓨터인공지능학부 홈페이지를 확인하세요 (2023.3.1.자 이후 학부통합)★ 작성자 IT정보공학과 추천 0 조회 1956 첨부파일 0 컴퓨터인공지능학부 홈페이지를 확인하세요 https://csai.jbnu.ac.kr현재 홈페이지는 더이상 운영하지 않습니다. IT(지능)정보공학과 관련 문의: 063-270-2410, 학과메신저산업기술대학원 관련 문의: 063-270-2410, 학과메신저 게시글 리스트 2020 설계작품경진대회 수상작 작성자 IT정보공학과 추천 0 조회 1313 첨부파일 0 작성일 2021.03.17 2020 설계작품경진대회 수상작우리 IT정보공학과는 다양한 설계작품의 개발성과를 공유하고 학생들의 실무역량을 강화하기 위하여, 2020 IT정보공학과 설계작품경진대회를 개최하였다. 본 대회는 2020년 11월 30일(월)부터 12월 13일(일)까지 진행되었으며, 총 22개팀이 출품하였다. 국(2016), 한상현(2016), 한승빈(2016))은 「라즈베리파이를 활용한 졸음운전 경보기」를 개발하였다. No carpain팀은 대부분의 운전자들이 졸음운전에 대한 위험성은 인지하지만 이에 대해 적절한 대처를 하는 운전자의 비율은 그리 높지 않기 때문에 운전자의 졸음을 인지하여 경고를 줄 수 있는 시스템을 만들게 되었다.영상처리 기법과 각종 센서를 활용하여 졸음을 식별하고 졸음운전을 방지하는 프로젝트로 OpenCV, dlib로 눈 깜빡임과 차선을 감지하여 졸음 식별에 중점을 두었다.또한 Co2 센서 등 각종 센서를 이용해 정확성을 높이고 졸음인식 후, 창문 개방, 경보음 등을 활용하여 졸음 방지하는 기능이 있다.대상라즈베리파이를 활용한 졸음운전 경보기김영한(2016) 유민국(2016) 한상현(2016) 한승빈(2016) 금상YOLO를 활용한 Smart Ward연창균(2015) 유승남(2015) 은상콘솔 기반 프로그램의 시각화 및 자동화(DockerRun)김용식(2014) 동상(공동)AI를 활용한 동영상 변환기공지나(2016) 윤예찬(2017) 동상(공동)시각장애인 학생을 위한 점자학습 시스템(H/W+App)곽병욱(2016) 어태경(2014) 우자영(2018) 동상기억력 테스트 게임김강민(2017) 범진혁(2017) 민소연(2018) 동상IT알리미조예은(2018) 민소연(2018) 이미르(2019) 김자연(2019) [2020금상]YOLO를 활용한 Smart Ward 작성자 연창균 추천 2 조회 2280 첨부파일 0 작성일 2020.12.13 1. 프로젝트 소개농장에서 유해 동물 퇴치 장치로 여러 가지가 사용되고 있으나 컴퓨터 기술을 이용하는 퇴치 시스템은 아직 상용화되지 않았다. 오늘날 오픈소스 하드웨어 및 소프트웨어가 널리 사용되고 있으며, 한편, 아두이노와 라즈베리 파이 등과 같은 컴퓨터 보드와 각종 통신 모듈과 소형 MCU 칩들이 저가로 공급되고 있다. 이들을 활용하여 실시간 객체 인식이 가능한 유해 동물 퇴치 시스템 구축한다.서비스 개념도팀 편성 및 역할 구성원 성명 역할 한 일 팀장 유승남 HW 설계 및 구현 라즈베리파이 설계 환경 구축 Motion을 이용한 스트리밍 서비스 구현 어플 설계 및 구현 Firebase 클라우드 메시징(FCM) 서비스를 이용, ON/OFF 가능한 백그라운드 푸시 알람 서비스 구현. 웹뷰를 이용한 스트리밍 기능 구현 발표 및 보고서 작성 졸업 프로젝트 발표 팀원 연창균 실시간 객체 인식 YOLOv3 유해동물 탐지모듈 개발 서버-클라이언트 소켓 통신 설계 및 구현 유해동물 탐지시 소켓 프로그래밍을 활용하여 제어 신호 전송 PPT 제작 및 보고서 작성 PPT 제작 및 보고서 작성 2. 문제 정의 환경부에 따르면 2010년부터 2018년까지 야생동물에 의한 농작물 피해액은 1103억 5500만원으로 한해 평균 120억여 원에 달한다. 이에 따라 환경부는 야생 동물에 의한 농작물 피해 예방 종합 대책을 만들어 대응하였으나, 2018년 피해액이 117억 6700만원으로 집계된 것으로 보아 효과가 미미하다고 볼 수 있다. 환경부가 제시한 야생동물 피해예방시설 설치 및 관리 매뉴얼 과 농촌진흥청의 야생동물에 의한 농작물피해예방 대책기술 개발 의 지침에 따르면 전기울타리의 효과가 우수하여 설치를 권장하고 있다. 전기울타리의 원가가 2016년 기준으로 2,548,000 ~ 3,373,000원/100m이며, 우리나라 농가 평균 경지면적인 1.37ha를 고려하였을 때 농경지의 평균 둘레는 약 470m이고 이에 따른 평균적인 전기울타리의 설치비용은 11,975,600 ~ 15,853,100원으로 예상 가능하다. 정부와 지자체의 야생동물 피해 예방시설 설치 지원을 받아도 설치비용의 40%인 4,790,240 ~ 6,341,240원은 농가에서 부담하여야 한다. 더불어 전기울타리에 잡초가 접촉되면 누전이 발생되어 효과가 낮아지고 전선을 고정하는 지주에 전선이 마찰 마모되어 누전이 발생하는 경우가 많아 지속적인 보수작업이 요구된다. 또한 순간 전압 12,000v의 고전압 전류가 흐르기 때문에 매년 인명사고가 발생하고 있다. 효과적이지만 높은 비용과 부가적인 문제점을 지닌 전기울타리를 대체하는 새로운 야생동물 피해 예방 시스템을 구축하는 것이 본 프로젝트의 목표이다. 3. 프로젝트 목표 및 범위 수확철의 야생동물에 의한 농작물 피해를 최소화하기 위한 사물인터넷(IoT)을 이용한동물 퇴치 디바이스 개발 추진 목표ㅇ 농작물피해 동물 접근알림, 퇴치 정보 제공 및 감지‧퇴치용 디바이스 개발 ㅇ 유해 동물 접근 시 인공지능을 이용한 유해동물 감지ㆍ식별 시스템 개발 * 적외선 카메라 모듈 활용 ㅇ 접근하는 유해 동물이 재접근을 못하게 경고 퇴치하는 장치개발 * 시각적 대응, 청각적 대응 등 경고/퇴치 방식 ㅇ IoT 망을 이용하여 스마트폰(어플리케이션) 또는 중앙(웹)에서 제어할 수 있는 농작물피해 동물 퇴치 시스템 개발 - IoT 망을 이용하여 농작물피해 동물 관련 이벤트 정보 전송 * LTE-M, LoRa, NB-IoT등 장거리 통신망을 활용하여 Data 전송기능 구현가능 - 농작물피해 동물 인식 및 퇴치 이벤트 발생 시 정보를 관리자에게 전달하여 상황을 확인 할 수 있도록 개발4. 개발 환경 구분 상세 내용 S/W 개발 환경 OS Raspbian, Android, Ubuntu 개발 환경(IDE) Linux, GCC, Android Studio 개발 도구 FCM API, Motion, Putty, Vi editor 개발 언어 C, JAVA, Python H/W 개발 환경 디바이스 Raspberry Pi 3 Model B+ , 스피커, 적외선 카메라, 스마트폰 통신 Wi-Fi 5. 시스템 기능(1) 라즈베리파이 기능 기능 설명 사진 퇴치 모듈 ㆍ실시간 객체인식을 통한 유해동물 검출 감시 모듈 ㆍ웹캠 구현을 위한 카메라 모듈 통신 모듈 감시 영상 실시간 스트리밍 송출 (2) 서버 기능 기능 설명 사진 탐지 모듈 실시간 객체인식을 통한 유해동물 검출 통신 모듈 스트리밍 영상 수신 유해동물 검출 시, 안드로이드 어플리케이션에 푸시 알람 전송 제어 모듈 유해 동물 검출 시 퇴치 프로세스에 따른 단계별 라즈베리파이 제어 (3) 안드로이드 어플리케이션 기능 기능 설명 사진 푸시 알람 ㆍ알림 ON/OFF 설정 가능. ON 할 경우, 멧돼지가 감지되었을 때 푸시 알림이 수신된다. 감시 기능 ㆍPi camera를 통한 실시간 원격 모니터링 6. 데이터 학습 과정- 3-channel color image - 1-channel gray image- Data augmentationOpen data-set으로 공개된 멧돼지 이미지가 없어서 구글링을 통한 100장의 이미지 확보이미지 간 노이즈 차이를 줄이기 위해 color 이미지를 gray이미지로 변환,부족한 데이터 수를 보완하기위하여 각각의 이미지를 시계 방향으로 5, 10, 15도, 반 시계 방향으로 5, 10, 15도 회전 시키고 다시 각각 좌우 반전 시켜 주어 1장의 이미지로 14장의 이미지 효과를 유도한다. 이렇게 초기 100장의 이미지로 1,400 장의 이미지로 구성된 데이터 세트 확보 - Labeling YOLO에서 제공하는 labeling tool 이용(Yolo_mark)멧돼지가 장애물에 가려졌을 때를 고려하여 머리와 몸통을 나누어 labeling을 진행성체와 새끼의 큰 외관 차이를 고려하여 새끼 멧돼지는 따로 나누어 labeling 진행 - Training batch_size = 32Iteration = 4,500Epoch ≒ 100학습을 진행하며 진행과정을 Log.txt로 기록mAP가 더 이상 낮아지지 않을 때 학습 중단하고 4,500번째 Iteration에 생산된 가중치 파일과3,000, 3,500, 4,000번째 가중치 파일을 Test data set을 이용하여 비교하여 최종적으로 성능이 가장 좋았던4,000번째 가중치 파일을 선정하여 프로젝트에 활용 (Video 파일에 대한 학습 결과 Test 中)7. 사용자 인터페이스 1) LodingActivity 로딩 화면 2초가 지나면 MainActivity로 이동 2) MainActivity 두가지 버튼이 있다. 유해동물 출몰 알림 활성화 버튼 CCTV 버튼 알림 기능 활성화 후,야생동물 감지되면 푸시 메시지 수신 3) StreamCam.java MainActivity에서 CCTV 버튼을 통해 실행 즉시 라즈베리파이의 CCTV 화면 확인 가능 8. 결과물 [2020대상]라즈베리파이를 활용한 졸음운전 경보기 작성자 김영한 추천 0 조회 6850 첨부파일 1 작성일 2020.12.13 프로젝트 정보 주제영역 □ 생활 □ 업무 █ 공공/교통 □ 금융/핀테크 □ 의료 □ 교육 □ 유통/쇼핑 □ 엔터테인먼트 기술분야 □ IoT □ 가상현실 □ 모바일 □ 빅데이터 □ 데스트톱 SW □ 자동제어기술 █ 인공지능 □ 블록체인 □ 보안 █ 영상처리 달성성과 □ 논문게재 및 포스터발표 □ 앱등록 □ 프로그램등록 □ 특허 □ 기술이전 □ 실용화 █ 공모전(공모전명 한이음 공모전 ) □ 기타( ) 프로젝트명 라즈베리파이를 활용한 졸음운전 경보기 프로젝트 소개 졸음운전은 자신뿐만 아니라 타인의 생명에도 해를 끼칠 수 있는 매우 위험한 상황을 연출합니다. 따라서 이런 상황을 캐치하고 운전자의 졸음에 경고를 줄 수 있는 시스 템으로써 운전자의 눈을 중점으로해서 졸음을 인식하고 다양한 아두이노 기기를 이 용해 졸음 중임을 인식합니다. 이로써 운저자의 졸음 운전을 방지할 수 있는 프로젝 트입니다. 개발배경 및 필요성 지난 10년간 고속도로 교통사고 발생원인 1위는 무려 전체의 22.5%를 차지하는 졸음 운전입니다. 매년 2,000건 이상의 졸음운전이 발생하고 그 중 사망자는 100여 명이 넘어갑니다. 따라서 졸음 운전을 경고하고 방지해줄 수 있는 시스템이 필요합니다. 프로젝트 주요기능 - 이산화탄소감지 센서를 이용한 이산화탄소 농도 층정 - 눈 깜빡임을 인식하여 졸음 식별 - 차선 이탈 감지 - 심장 박동 감소 인식하여 졸음 식별 - 자동 창문 개방, 졸음 인식 경보음, 자동 에어컨 off 기능 - 가까운 졸음쉼터나 휴게소의 위치를 음성으로 알려줌 - 졸음 인식하면 비상등을 이용하여 주변 차들에게 특이사항 알림 작품의 기대효과 및 활용분야 작품의 상용화로 졸음운전을 직접적으로 예방함으로써 경제적 관점에서는 사고의 감소 를 통한 비용을 줄일 수 있고 더 나아가 사회적 관점으로는 법리분쟁, 인명피해 등을 예방할 수 있다. Ⅰ. 프로젝트 개요 가. 프로젝트 소개1) OpenCV, Dlib- 두 라이브러리를 이용해 눈깜빡임을 인지하여 졸음 식별에 중점을 둠.- OpenCV에 있는 차선인식 라이브러리를 이용해 졸음을 식별할 때 더욱 정확한 판별이 가능함.2) 기획 의도- 국내 현대 모비스 기업에는 DSW라는 운전자의 얼굴을 알아보고 시선 추적까지 가능한 운전자 부주의 경보시스템 을 개발하였지만 아직 대중적으로 상용화되지는 않음.- 일반적으로 쉽게 접하고 구할 수 있는 라즈베리파이와 아두이노를 이용해 소비자가 합리적인 가격과 작동하기에 어려움이 없는 제품을 만드는 것을 목표로 함. 3) 작품 내용- 라즈베리파이를 이용해 각종 디바이스를 컨트롤.- Co2 센서, 심장박동 등을 이용해 정확성을 높임.- 졸음 인식 후 창문 개방, 경보음 등을 활용하여 졸음 방지 나. 개발배경 및 필요성1) 작품 제작 동기- 대부분의 운전자들이 졸음운전에 대한 위험성은 인지하지만. 이에 대해 적절한 대처를 하는 운전자의 비율은 그리 높지 않다.- 한국도로공사 고속도로 사고 통계에 따르면 지난 10년간 고속도로 교통사고 빈도 1위는 졸음운전 그러나 그에 비해 해결방안이 다소 적다.- 운송업 종류의 운전을 많이 하는 직종은 야간운행이 빈번하고 보다 큰 차량을 운행하기 때문에 사고가 났을 때의 위험도가 상대적으로 큼.- 졸음은 생리적인 현상으로 자신 스스로의 인지 및 해결이 힘듦. 2) 목적 작성- 개인뿐 아니라 사회적으로 많은 피해를 끼치는 졸음운전을 줄이기 위하여 졸음 쉼터와 같은 간접적인 방법보다는 운전자를 직접적으로 깨워줄 방법을 연구- 졸음인식을 캐치하고 최종적으로 졸음을 깨우는 기능들을 아두이노를 이용하여 운전에 집중을 할 수 있는 디바이스를 개발하는 것이 목표이다. 다. 작품 구성도1) 전체 구성도- 웹 카메라를 통해 눈 깜빡임과 초점, 차선을 인식하고 해당 정보를 라즈베리파이에서 입력받는다.- 라즈베리파이에서 가지고 있는 입력값과 Co2 센서의 수치에 따라 졸음인지 아닌지 인식하고 졸음이라고 판단되면 졸음을 깨워주는 장치들이 작동한다. 2) S/W 구성도3) H/W 구성도라. 작품의 특징 및 장점1) 차별성- 단순히 눈 깜빡임만을 가지고 졸음운전을 감지하는 것이 아니라 차선 인식,Co2 센서, 심작박동 감지센서 등을 이용해 감지능력에 정확성을 높힘.- Co2 센서를 통해 인지한 Co2 농도가 평균보다 높다면 자동으로 창문 개방을 함으로써 졸음을 미리 예방하는 기능- 비상등을 이용해 자신뿐만 아니라 주변 운전자에게도 경고할 수 있는 기능 2) 장점- 눈 깜빡임과 차선 인식을 융합해 인식의 민감도를 조절할 수 있다.ex) 차선 인식을 통해 차선 방향대로 가지 않고 휘청거린다면 눈 깜빡임에 비해 위험한 상황이므로 민감도를 급격히 올려 눈 깜빡임은 거의 개입하지 않고 경보를 울림- 타 기업의 비싼 졸음 운전 감지 기능에 비해 비교적 저렴한 가격으로 구현 가능 Ⅱ. 프로젝트 수행결과 가. 업무분장 번호 성명 역할 담당업무 1 한상현 팀 장 - OpenCV, dlib 분석, 라즈베리파이 제어 2 김영한 팀 원 - OpenCV, dlib 분석, 아두이노 제어 3 유민국 팀 원 - OpenCV, dlib 분석, 파이썬 얼굴인식 코드 구현 4 한승빈 팀 원 - OpenCV, dlib 분석, 각종 센서 제어 나. 주요기능 구분 기능 설명 S/W 눈 깜빡임(졸음) 감지 openCV로 운전자의 눈 폭이 사전 정의된 임계값 미만일 시에 졸음을 감지. 차선 인식 영상처리 기법으로 차량이 깜빡이를 켜지 않고 차선을 이탈했을 때를 감지. 완성가능시점 심장 박동수 인식 센서를 활용하여 심박수 측정하여 사전 정의값(운전자의 평균 심박수)의 미만일 시에 졸음 의심. 완성가능시점 H/W Co2 농도 측정, 창문 개방 CO2농도가 높아지면 운전자의 졸음을 야기할수 있음. 이에 자동으로 창문을 개방, 환기. 완성가능시점 경보음, 비상등 졸음 감지되면 경보음으로 운전자에게 인식, 주변 차량에게 비상등으로 특이사항 알림. 완성가능시점 다. 프로젝트 개발환경 구분 항목 적용내역 S/W 개발환경 OS Ubuntu Ubuntu 환경에서 개발 개발환경(IDE) PyCharm, terminal PyCharm 에디터를 가지고 개발 개발도구 PyCharm PyCharm 에디터를 가지고 개발 개발언어 Python Python H/W 구성장비 디바이스 Raspberry, Arduino Raspberry, Arduino 센서 Co2 센서, 피에조 부저, 심장박동 센서 Co2 센서, 피에조 부저, 심장박동 센서 통신 와이파이 와이파이 개발언어 라즈베리파이와 아두이노를 연동해주는 모듈 존재 라즈베리파이와 아두이노를 연동해주는 모듈 존재 라. 장비(기자재/재료) 활용 번호 품명 작품에서의 주요기능 1 라즈베리파이 - 주요 컨트롤 타워로 모든 장치들을 담당하고 졸음 인식과 차선 인식을 담당함 2 아두이노 - 센서들과 라즈베리파이를 연동 3 카메라 - 눈 깜빡임 인식과 차선 인식할 때 필요한 카메라 4 아두이노 센서 - 각종 센서를 이용해 졸음 감지에 대한 조건을 충족하고 경보음을 발생시킴 마. 프로그램 작동 동영상#URL(유튜브에 올려서 링크 프로그램 작동 되는 화면을 동영상으로 작성)ㅇ https://youtu.be/9p6819d9-5gㅇ 바. 결과물 상세 이미지 Ⅲ. 프로젝트 수행방법 가. 프로젝트 수행일정 구분 추진내용 수행일정 3월 4월 5월 6월 7월 8월 9월 10월 11월 계획 프로젝트 수행 계획서 작성 분석 유즈케이스 다이어그램 및 시스템 아키텍처 설계 opencv, dlib 이용한 졸음에 대한 얼굴 인식 설계 아두이노와 Co2 농도측정센서를 이용한 구현 설계 개발 얼굴인식, 졸음 식별 코드 구현 Co2 농도측정 코드 구현, 차선이탈 감지 코드 구현 아두이노를 통한 모형 제작 테스트 라즈베리파이를 활용한 아두이노 모형 구동 테스트 및 졸음감지 데이터를 라즈베리파이에 전달 종료 프로젝트 완료 보고서, 2020년 한이음 공모전 준비 오프라인 미팅 코로나로 인해 온라인 미팅을 적극 활용함 나. 문제점 및 해결방안ㅇ 프로젝트 관리 측면- 개발환경(Ubuntu)에서의 졸음 식별 코드를 운영환경(Raspberry-Pi)로 구현시켰을 때 몇몇 문제를 발견 - 라즈베리파이에서는 파이참 터미널을 사용할 수 없어서 문제가 발생했던 것. 따라서 라즈베리파이의 자체 터미널을 이용해 소스를 실행시키는 방법으로 문제 해결- dlib를 이용한 졸음인식 코드 구현에서 몇몇 문제를 발견 - 윈도우에서 사용했던 폴더 그대로 넘어와서 경로가 엉켜있어서 문제가 발생했던 것. 폴더를 재지정해줌으로써 문제 해결 ㅇ 작품 개발 측면- 기존의 차선이탈 감지 코드는 딥러닝을 사용하는 방식인데 학습 시간의 차질을 빚을 것이라 대비해 opencv로 구현하는 것을 목표로 둠.- 눈 깜빡임의 인식이 빠르게 깜빡여도 졸음이라고 판단하는 경우가 있어서 수치 조정이 필요함. - 2~3 사이의 값으로 조절.- Co2센서의 정확한 임계값을 설정하기 위해 밀폐된 공간에서 측정하는 방식을 사용해야 함.- 아두이노가 측정한 수치를 라즈베리파이에 보내 정보로 사용할 때 적절한 오차범위 설정이 필요함. Ⅳ. 기대효과 및 활용분야 1. 작품의 기대효과 경제성 1) 도로교통공단에 따르면 교통사고 처리비용은 국가 예산(400조)의 약 5.9%에 해당하고, 4인 가족 기준 약 147만여 가구의 연간 최저생계비에 이르는 규모다.2) 고속도로 사고의 주요 원인인 졸음 운전을 방지한다면 비용을 대폭 줄여 조금 더 효율적인 곳에 사용할 수 있을 것이다. 사회성 1) 졸음 운전에 대한 관심을 높힘으로써 인식을 개선2) 법리 분쟁과 인명피해를 줄임으로써 GNH(국민 행복 지수) 증가. 2. 작품의 활용분야- 사회적 측면으로 졸음 운전을 보다 직접적인 방법으로 예방함으로써 졸음운전의 감소와 졸음운전에 대한 인지도를 높일 수 있음.- 추후 이용자의 측정 데이터를 저장해 더 정교한 모델을 만드는데 사용할 수 있다.- 경제적 측면으로 인명피해가 아니더라도 교통사고가 줄어듦으로써 개개인 뿐만 아니라 국가에서도 들어가는 비용이 줄어든다. [2020은상]콘솔 기반 프로그램의 시각화 및 자동화(DockerRun) 작성자 김용식 추천 0 조회 894 첨부파일 0 작성일 2020.12.11 ▣ 프로젝트 목적 및 필요성 코로나 19의 장기적인 여파로 인해 초, 중, 고, 대학교 및 사교육을 막론하고 온라인 강의 시대를 맞이하였다. 온라인 강의 시스템 또한 갑작스러운 수요의 급증으로 인해 약 1년 동안 많은 시행착오를 겪으면서 안정적인 시스템을 갖추게 되었다. 하지만 현재까지도 온라인 강의 플랫폼에 대한 불만은 꾸준히 제기되었으며, 특히 화상 회의에 초점이 맞춰져 있던 지금까지의 온라인 강의 시스템으로는 오프라인 강의를 완벽하게 대체하기에는 한계가 분명하다.또한, IT 관련 교육일 경우 학생들은 작성한 코드에 대해 첨언을 받을 수 있거나 집에 실습 환경이 제대로 갖춰져 있지 않은 경우, 학교에서 제공하는 실습 환경(예. 공과대학 7호관 434호실)을 사용하여 실습할 수 있었던 과거와는 달리 강의를 진행하는 강사는 제한적인 환경에서 이론적인 정보를 전달하기에도 벅차며, 학생들은 필요한 실습 환경을 구축하기 위해 사비를 사용할 수밖에 없었다.이런 문제점들을 해결하기 위해 프로젝트 DockerRun을 제안하여 학생들은 컴퓨터 내 어떠한 프로그램이나 도구를 깔지 않고 오직 웹을 이용하여 Docker로 구현한 실습 환경을 제공, 사용할 수 있게 하며 강의를 진행하는 강사들에게는 강의 도중 실시간으로 웹페이지를 이용해 학생들의 실습 환경에 접근하여 코드 또는 프로그램에 대해 첨언하는 등의 더욱 효과적인 온라인 강의 플랫폼 제작을 궁극적인 목표로 하는 콘솔 기반 프로그램의 자동화 및 시각화를 제안한다. ▣ 시스템 개요 전체적인 시스템 구성도는 다음과 같다. 전체적인 시스템은 Web Server에 구현되어 있으며 Web Server(Provider)는 웹 페이지, Docker, database로 이루어져 있다.사용자는 Express로 구현된 웹페이지를 통해 가입, 로그인, 강의 듣기가 가능하며 강의 개설 시 해당 강의 이름, 학번 등을 통해 생성된 실습 환경인 Docker Container를 배정받음으로써 강의를 수강하고 있는 한 언제든지 해당 환경에 접근하여 실습할 수 있다. ▣ 시스템 기능 다음은 강의 개설 시 발생하는 시스템 기능을 간단하게 표현한 그림이다. 우선 입력받은 데이터에서 강의명, 강의 시간, 강의 일자, 강의 장소, 강의 소개, 강의 컨테이너 배열을 추출한다. 이후 강의명, 학번, 학생 이름 데이터와 docker remote api를 이용하여 강의 시 사용될 실습 환경을 자동 스크립트를 통해 제작한다.이와 동시에 입력받았던 데이터를 데이터베이스에 저장하며, 출결 관리를 위해 강의명, 학생 정보를 이용하여 출결 테이블을 만드는 쿼리를 실행시킨다. 다음은 학생이 강의에 접속 시 상호작용하는 시스템을 간단하게 표현한 그림이다. 각 시스템에 대한 설명은 다음과 같다. Video Conferencing- 서버 내에서 원격 실시간 화상 강의 시스템을 WebRTC 기술을 이용하여 소켓 통신과 같이 수행한다.- 카메라 공유, 화면 공유가 가능하며 강사는 버튼을 통해 청강하는 학생의 실습 환경에 접근할 수 있다. Student Container강의를 수강하면서 Docker container로 구현된 해당 강의의 실습 환경에 접속할 수 있다.서버 하나에 여러 유저를 두고 사용하던 이전 방식과는 달리 각각의 실습 환경은 독립적이므로 사용자가 컨닝에 대한 우려와 자원 분배에 대한 고민을 하지 않아도 된다. Database출결 정보만을 데이터베이스에 전송하여 해당 일자에 출결을 완료하였는지 확인한다. ▣ 사용자 인터페이스1. 메인 페이지 간단한 UI와 단순한 디자인을 채택하여 사용자가 듣고 있는 강의가 무엇인지 확인할 수 있게 구현하였다. 2. 로그인 페이지 WIX에서 제공하는 google API를 이용해 로그인을 간단하게 구현하였다. 3. 강의 만들기 페이지 강의명, 강의 시간 등을 입력 값으로 받은 후 수강할 학번을 입력하면 강의가 생성되는 동시에 입력하였던 학번을 기준으로 실습 환경이 제작된다. 4. 강의 정보 페이지수강 신청 하였던 강의의 강의명, 강의 시간 등을 확인할 수 있으며 하단의 버튼을 통해 실습 환경에 접속할 수 있다. 5. Docker 실습 환경 페이지 실습 환경은 부가적인 설치 없이 웹페이지에서 동작하며, 처음 접속하는 경우 기본 값Student/Student를 입력하면 접속할 수 있다. 6. 화상 강의 페이지 화상 강의를 통해 학생들의 화면을 볼 수 있으며 수강하는 학생의 버튼을 누르면 직접 해당 실습 환경으로 접근할 수 있다. ▣ 기대 효과 및 활용 방안기존의 온라인 강의 플랫폼에 컴퓨터 내 어떠한 프로그램이나 도구를 깔지 않고 오직 웹을 이용하여 Docker로 구현한 실습 환경을 제공하므로 학생(클라이언트)들은 실습 환경을 구현하는 데 시간과 비용을 들이지 않아도 되며, 강사들에게는 강의 도중 실시간으로 웹페이지를 이용해 학생들의 실습 환경에 접근하여 코드 또는 프로그램에 대해 첨언하는 등의 더욱 효과적인 온라인 강의를 진행할 수 있게 된다. ▣ 참고 문헌 Wettyhttps://github.com/butlerx/wetty [2020동상]시각장애인 학생을 위한 점자학습 시스템(H/W+App) 작성자 곽병욱 추천 0 조회 2470 첨부파일 3 작성일 2020.12.11 프로젝트명 시각장애인 학생을 위한 점자학습 시스템(H/W+App) 주제영역 ■ 생활 □ 업무 □ 금융/핀테크 □ 의료 ■ 교육 □ 유통/쇼핑 □ 엔터테인먼트 기술분야 ■ IoT ■ 모바일 □ 데스크톱 SW ■ 인공지능 □ 보안 □ 가상현실 □ 빅데이터 □ 자동제어기술 □ 블록체인 □ 영상처리 기술수요층 ■ 장애인 □ 노약자(노인, 임산부, 환자 등) □ 기초생활수급자 □ 다문화(새터민) □ 기타( ) 달성성과 □ 앱등록 □ 프로그램등록 □ 기술이전 □ 논문게재 및 포스터발표 □ 실용화 ■ 공모전(프로보노) □ 기타( ) 프로젝트 소개 시각장애 학생들이 비대면 수업으로 인해 겪던 교육격차를 점자 출력 패드를 통해 감각을 확장하여 해소한다. 학습 자료를 점자 또는 음성으로 출력하여 정보 전달하고 점자 출력 패드를 통해 점자를 쉽게 학습하도록 도와주는 등 교육용 어플리케이션을 개발하였다. 개발배경 및 필요성 COVID-19로 인해 수업이 비대면으로 진행되면서 많은 학생들이 불편함을 겪고 있다. 기존 대면 수업방식에서도 정보격차를 겪던 시각장애 학생들은 특히 문제가 심각한데, 청각에만 의존하여 정보를 전달받지 않고 촉각과 같은 감각의 확장이 필요하다. 이에 따라 점자패드를 사용하였고 기존 점자 출력기의 높은 가격과 휴대성이 떨어진다는 한계를 개선하여 5만원 가량의 낮은 가격과 스마트폰 케이스로 높은 휴대성의 제품을 구현하고자 한다. 프로젝트 주요기능 점자 학습 : 초성, 중성, 종성별로 점자 패드 출력을 통해 점자 학습. 학습 자료 점자 출력 : 학습 자료를 점자 또는 음성으로 (요약/전문)전달. 시각 자료 점자 출력 : Image captioning을 통해 이미지를 점자나 음성으로 설명. 스마트폰의 알림 점자전달 : 스마트폰의 알림을 점자로 출력. 작품의 기대효과 및 활용분야 비장애 학우들에게 초점을 둔 학습자료 제공방식에서 오는 문제점을 개선함으로써 불평등의 사각지대에 있던 시각장애인의 정보격차 해소 기존의 높은 가격과 휴대성이 부족한 점자 출력기를 대신할 수 있는 낮은 가격과 휴대성이 보장되는 결과물의 보급 시각장애인 학생들을 위한 학습방법에 있어 다양성을 제공 기존의 틀에 박힌 점자 컨텐츠에서 벗어나서 진동점자 체계를 정립함으로써 다양한 현물 점자 컨텐츠들을 디지털화 시도할 수 있는 방향성 제공 1. 구성도ㅇ 서비스 시나리오① 시각장애 학생이 단축키 사용 App구동 ex) 빅스비 버튼 사용 - 어플리케이션 진입② 홈화면에서 음성안내에 따라 swipe로 기능을 선택한다.( 기능 1.학습자료, 2.알림, 3.점자학습, 4.이미지설명 )③ 각 기능에서 추출된 Text를 TTS(text to speech)를 이용해 음성으로 출력하고 또한점자Data로 변환 후 아두이노 나노기반의 점자패드로 전달한다.④ 점자패드의 진동모듈로 진동을 순차적으로 출력하고 사용자는 이를 인지한다.ㅇ S/W 구성도① 기능선택 : 시각장애 학생이 원하는 기능을 swipe로 선택하여 기능 진입② 파일, 학습 선택 or 촬영 : 기능에 따라 원하는 학습자료 문서나 학습 카테고리 또는 이미지 사진을 촬영③ Text 추출 : 학습자료(PDF to text), 이미지 자료(OCR)에서 Text를 추출④ Text to braille : 각 기능에서 추출된 Text를 점자로 변동⑤(1) Text to Speech : 추출된 Text를 음성 API를 이용 사용자에게 출력⑤(2) 점자 정보 전달 : Text에서 점자변환 알고리즘을 통해 얻은 6점자 data를 블루투스 통신을 통해 사용자의 진동점자패드로 전달ㅇ H/W 구성도① 아두이노 나노의 Bluetooth 모듈을 이용 APP과의 블루투스 통신으로 점자 Data를 전달받는다.(음성출력의 경우 음성 API를 이용 스마트폰 스피커를 활용하여 출력한다.)② 아두이노 나노가 전달받은 점자Data는 진동점자패드와 시리얼 통신하여 각 진동모듈에 전달하고 진동모듈은 이를 출력한다.2. 프로젝트 소개ㅇ 온라인 교육이 확산됨에 따라 상대적으로 정보접근성이 떨어지는 시각장애 학생에 대한 교육격차 문제가 심각해지고 있다. 이를 해소하기 위해 교육용 점자출력 시스템을 제안한다. ㅇ 시각장애학생들이 온라인 수업자료를 진동 점자 출력 패드를 통해 인지할 수 있다. 학습 자료(PDF)는 텍스트로 변환되고 텍스트는 설계된 점자변환 프로토콜을 통해 binary로 표현되고 이를 음성 또는 진동 점자로 출력할 수 있다. 휴대성을 고려하여 하드웨어는 스마트폰 케이스에 부착할 수 있는 형태로 설계했다. ㅇ 시각장애인의 높은 문맹률(95%)을 고려하여 제안하는 시스템으로 점자를 학습할 수 있도록 점자학습 컨텐츠를 제공한다. 음성과 점자 출력 패드를 통해 편리하고 빠르게 점자를 학습할 수 있다. ㅇ 이외에도 부가기능(이미지에서 텍스트를 추출, 긴 텍스트를 요약)을 제공하여 기존 청각에 의존적이던 시각장애학생의 온라인 학습 시스템을 개선하고자 한다. 3. 개발배경 및 필요성ㅇ 시각 장애인의 정보 격차 해소- 국내에 나온 교육 자료들은 대개 PDF파일로 제작되어 있습니다. 그런데 시각장애인들은 이용할 수가 없어요. 진입단계부터 교육기회를 차별하는 셈이죠. 성신여대 교육학과 교수인 노석준 교수의 말이다. COVID-19 사태가 장기화되고 거의 모든 수업이 비대면으로 전환됨에 따라 온라인 교육 컨텐츠에 접근하는 시각장애인의 문제가 붉어지고 있다. 보조인의 도움이 있어야 컴퓨터 사용을 할 수 있는 전맹의 경우 온라인 강의 수강에 큰 어려움을 겪고 있다. 사회적 사각지대에 위치해 언택트 시대에서 시각장애 학생들이 겪고 있는 정보 격차를 해소할 필요가 있다. ㅇ 휴대성과 경제성 보강- 기존 거치형 점자 출력 기기는 부피를 많이 차지(스마트 비틀, 15cm x 8cm)하고 가격이 비싸며(스마트 비틀, 140만원) 거치형으로 제작되었기 때문에 휴대성이 떨어진다는 단점이 있다. 비교적 최근 출시(2015년)한 닷워치의 경우 시계형태로 제작되었지만 그럼에도 약 35만원 가량의 비용을 지불해야해 비용적인 문제를 가지고 있다. 제안하는 시스템은 이보다 저렴한 가격(약 5만원)에 구현가능하다. ㅇ 능동적인 비대면 학습 환경 구성- 주어지는 학습 자료를 제공받기 위해서는 도우미의 도움이 필수적이고 시각장애 학생 혼자서는 학습하기 힘든 수동적인 환경에서, 비대면 학습 자료를 제안하는 점자 출력 하드웨어의 휴대성을 기반으로 자신이 원하는 시간, 장소에서 시각장애인에 친화적인 인터페이스와 여러 기능(PDF 점자변환, 이미지 점자변환, 요약하여 점자 출력)을 통해 편리하게 제공받을 수 있고 능동적인 학습 환경을 구성할 수 있다.4.특징 및 장점ㅇ 휴대성과 경제성- 미국 시장조사기관인 퓨 리서치(Pew Research)가 세계 27개 국가를 대상으로 조사한 결과 스마트폰을 사용하는 사람들의 비율이 가장 높은 국가는 우리나라이다. 우리나라 국민의 95%가 스마트폰을 사용한다는 것을 유념하여, 스마트폰 케이스와 같은 장치를 장애 보조기구로 사용해 제품의 휴대성을 높였다.- 낮은 가격의 하드웨어를 구성하고자 아두이노 나노를 활용한 점자 패드와 같이 오픈소스 하드웨어를 사용하여 시제품 원가 기준 약 5만원에 구현할 수 있기 때문에 사용자의 경제적인 부담을 줄이고 점자 출력기기의 보급화에도 기여할 수 있다. ㅇ 신속성과 전달용이성- 기존 시각장애인을 위한 어플리케이션의 진동을 이용한 방식인 점자 변화 어플(VC진동점자학습)은 휴대폰의 진동을 활용하므로 6개의 점 중 단 하나의 점만 순차적으로 출력하여 인지하는데 많은 시간이 소요됐다. 제안하는 프로젝트는 6점자체계 방식으로 6개의 진동 점자를 병렬적으로 출력하여 빠른 속도로 정보 전달이 가능하다. ㅇ Android와 iOS 환경구동- 2013년도까지만 해도 스마트폰 화면의 UI 컴포넌트들을 읽어주는 스크린 리더 기능은 iOS의 VoiceOver가 압도적이였기 때문에 시각장애인들은 필연적으로 아이폰을 사용할 수밖에 없었다. 하지만 이후 안드로이드에서도 TalkBack, 삼성 갤럭시의 VoiceAssistant을 제공하면서 시각장애인들의 스마트폰 선택의 폭이 넓어짐에 따라 분포가 어느 하나의 플랫폼에 치우친 것이 아닌 고른 분포를 보이게 되었다. 따라서 iOS, Android 어느 하나의 OS에 의존적이지 않고 사용될 수 있도록 Flutter를 사용하였다. 따라서, 어플 사용에 제약을 주지 않고 추후 효율적인이고 신속한 업데이트가 가능하다.주요기능 구 분 기 능 설 명 S/W 한글 Text를 6점자 체계로 변환 문서에 포함된 한글 형식의 Text를 6점자 형태의 데이터로 가공하기 위해 점자 출력 프로토콜을 사용한 기능 PDF to TEXT 학습자료를 점자로 출력하기 중간단계로 PDF에 있는 텍스트를 문자열로 반환 촬영사진 텍스트 변환 읽고자 하는 내용이 담긴 문서를 촬영하면 해당 이미지의 Text를 추출하여 이후 점자/음성으로 출력해주기 위한 전처리 기능 H/W 아두이노 나노의 블루투스/시리얼 통신 App에서 진동점자패드로 6점자형태의 데이터를 전달하고 조작하기 위해서 블루투스 통신을 통한 데이터 전달과 시리얼 통신을 통한 진동모듈 제어 방식을 사용하였다. 진동점자 출력 패드 6점자 체계에 맞는 점자출력 제공을 위해 구현된 점자출력 프로토콜로 진동모듈을 조작 개발환경 구 분 항 목 적용내역 S/W 개발환경 OS Windows 10, Android OS, iOS android studio 사용을 위한 window 기반의 OS환경에서 App제작, App의 경우 Android 및 iOS 환경을 대상으로 제작하였다. 개발환경(IDE) Android Studio Flutter Mobile App 프레임워크를 사용하기 위해 Android Studio 환경구동 개발도구 Flutter Android와 iOS 동시개발을 위한 프레임워크로 Mobile App 개발에 사용 개발언어 Dart, Python Flutter 사용을 위한 언어인 Dart와 점자변환 알고리즘에 사용되는 Python을 동시사용 H/W 구성장비 디바이스 Arduion Nano, Galaxy Note 10+ 실제 모델 구현을 위해 Galaxy Note 10+ 환경을 대상으로 H/W 구성 및 점자패드와의 통신을 위해 Arduion Nano 사용 센서 아두이노 진동모터 모듈 [ELB060416], 블루투스 직렬포트 모듈[HC-06] 진동점자를 위해서 아두이노 진동모터 모듈을 사용하며 아두이노와 App의 블루투스 통신을 위한 블루투스 직렬포트 모듈 사용 통신 Bluetooth / Serial port 점자데이터를 전달하기 위한 Bluetooth 통신과 전달받은 데이터를 진동모듈로 전달하기 위한 Serial 통신 개발언어 C language 아두이노 나노에 들어갈 진동출력 알고리즘 구현 장비(기자재/재료) 활용 NO 품 명 작품에서의 주요기능 1 아두이노 나노 점자패드와 App간의 Bluetooth 통신과 점자모듈과의 Serial 통신을 위한 몸체 구성 2 아두이노 진동모터 모듈 점자패드 구성 시 점자를 진동으로 출력 3 블루투스 직렬포트 모듈 아두이노 나노와 App간의 점자데이터 전달을 위한 Bluetooth 통신 4 Galaxy Note 10+ 투명 케이스 스마트폰을 장착하여 구현된 점자패드와 부착 결과물 이미지 달성성과 □ 논문게재 및 포스터발표 게재(발표)자명 논문(포스터)명 게재(발표)처 게재(발표)일자 ex) 20/11/20 □ 앱 등록 등록자명 앱명 등록처 등록일자 □ 프로그램 등록 등록자명 프로그램명 등록처 등록일자 □ 기술이전 기술이전기업명 기술명 금액 이전일자 ■ 공모전 구분(교내/교외) 공모전명 수상여부(출품/수상) 상격 교외 ICT멘토링 프로보노 공모전 수상 동상 □ 실용화 구체적인 내용 □ 기타 구체적인 내용 업무분장 역할 성명 소속 담당역할 멘토 이철민 ㈜삼성전자 프로젝트 진행상황 점검 및 피드백 실무기술이 반영된 프로젝트 기획 조언 프로젝트 수행계획 수립 가이드 팀장 곽병욱 전북대학교 S/W 설계 및 구현, 개발 사항 통합 팀원 어태경 전북대학교 H/W, S/W 설계 및 구현, 문서작성, 영상제작 팀원 우자영 전북대학교 H/W 설계 및 구현, 문서작성, 영상제작, 발표 프로젝트 수행일정 구 분 수행내용 수행일정 3월 4월 5월 6월 7월 8월 9월 10월 11월 계획 주제 선정 및 수행계획서 작성 V 분석 필요한 컴포넌트 조사 V V 자료조사를 통한 구현 범위 확정 V V 설계 점자 출력 프로토콜 설계 V V 점자학습 컨텐츠 설계 V V 스마트폰의 알림을 출력 기능 설계 V V 진동모듈을 이용한 진동점자출력패드 설계 V V V 학습자료 요약 기능 설계 V V V 사진을 찍으면 텍스트로 변환 알고리즘 설계 image-captioning) V V V 스마트폰 케이스 프레임 설계 V V 개발 점자 출력 프로토콜 구현 V V V 점자학습 컨텐츠 구현 V V V 스마트폰의 알림을 출력 구현 V V V 진동모듈을 이용한 진동점자출력패드 구현 V V V 학습자료를 요약 출력 구현 V V V V 사진을 찍으면 텍스트로 변환 구현 (image-captioning) V V V V 스마트폰 케이스 프레임 구현 V V V V 개발 사항 통합 V V V V V 테스트 기능별 테스팅 및 디버깅 V V V V V V V V 종료 결과보고서 작성 및 공모전 출품 V V 오프라인 미팅 진행상황 정리 및 멘토링 진행 V V 문제점 및 해결방안ㅇ 프로젝트 관리 측면- 프로젝트 진행에 있어 가장 큰 문제점은 역시 코로나로 인한 비대면 만남이라 할 수 있다. 최대한 대면으로 만나 공동작업을 하고자 노력하였지만 여건상 확진자가 나오는 경우에는 비대면이 불가피 하였다. 이러한 여건 속에서 Google Docs를 통한 문서 공동작업과 Zoom 회의를 통한 비대면 화상회의를 적극적으로 활용하여 서로 피드백하며 프로젝트를 진행할 수 있었다. - 학기 중에는 팀원들 각자의 대외활동 및 시험기간이 달라 개발 시간을 맞추는데 어려움을 겪을 것으로 예상하여, 미리 서로의 일정을 공유하여 프로젝트 진행속도에 차질을 겪지 않았다. - 프로젝트 진행중 아이디어 구체화에 대한 팀원 개인별 커뮤니케이션 능력의 부족으로 서로 원하는 방향에 대한 표현과 이해가 부족하였고 그러다보니 진행 방향에 대한 오해가 발생했다. 이를 해결하기 위해서 잦은 중간회의를 통해서 각자의 이해도를 확인하고 정리하는 시간을 가짐으로써 원만히 해결하였다. - 팀 내에서의 갈등은 해결방법이나 명확한 원칙이 존재하지 않기 때문에 해결하기 어렵다. 조직에서 갈등은 긍정적인 에너지를 고갈시키고 부정적 에너지를 증가시켜서 팀 프로젝트 진행에 좋지 못한 영향을 가져온다. 따라서 발생 자체를 예방하고자 원칙을 정하였다. 부정적인 말 하지 않기 라는 그라운드 룰이 프로젝트를 수행하면서 부정적인 대화로 인한 분위기를 분산을 사전에 예방하고 서로 긍정적인 대화로 프로젝트를 성공적으로 이끌었다. ㅇ 개발 측면- 어플리케이션 프론트 엔드 제작에 있어 사용할 Tool을 선정함에 있어 고민을 하였다. 여러 가지 후보들을 놓고 토의를 하였고 Google에서 개발한 크로스 플랫폼인 Flutter라는 모바일 앱 개발 프레임워크를 선정하였다. 안드로이드와 IOS를 지원할 수 있다는 장점이 있었지만, Dart라는 생소한 언어를 학습하는데 시간이 필요했다. - 또한, 모바일 어플리케이션 구현 경험이 없는 상태에서 프로젝트를 진행하려니 막막하고 또 Flutter에 대한 자료가 기존 안드로이드 플랫폼에 비해 적었기 때문에 더욱 제한적인 학습환경이였다. 이를 해결하기 위해 수업이 없는 주말을 활용하여 대면 미팅을 가지고 필수적으로 구현해야할 목표치를 설정하고 목표치에 도달할 때까지 구현을 하자는 팀 단위의 약속을 하여 보다 밀도있는 프로젝트 진행을 할 수 있었다. 서로 구현에 필요한 자료들을 서로 공유하고 시행착오에 관한 피드백을 즉각적으로 실시하여 보다 효율적으로 개발할 수 있었다. - Prototype으로 개발한 점자패드에서 진동모듈간의 진동이 서로에게 전달되어 진동을 독립적으로 느끼는데 문제점이 있다는 것을 발견하였다. 이를 통해서 개선안을 오프라인 미팅을 통해 토의하였고 진동모듈간의 이격거리 증가 및 모듈의 진동흡착을 위한 디자인 제안등 여러 가지 해결방안을 모색하였다. (+문제점 해결 x)- 1차 H/W Prototype은 실제 스마트폰 케이스에 오픈소스 하드웨어(아두이노, 진동 점자 모듈)를 부착하여 구현하였다. 하지만 진동 모듈의 홀을 만드는데 어려움이 있었고 더 깔끔한 외관과 여유로운 공간확보를 위해 3D 프린팅 제작을 추가하였다. 프레임 CAD 모델링을 통해 원하는 모양의 외관을 구성하였고 uPrint SE Plus를 사용하여 3D 프린트로 H/W를 제작하였다.기대효과 및 활용분야 1. 기대효과ㅇ 학습 컨텐츠를 제작하는 기업이나 각종 교육기관(초중고등학교, 대학 등)에서 학습자료를 PDF와 같은 시각자료의 형태로만 제공하는 것이 아니라 점자형태로도 제공을 요청하여 시각장애학생들도 일반학생과 동등한 학습권을 보장받을 수 있도록 한다. ㅇ 제안하는 진동 점자 출력 기기와 점자 변환 프로토콜이 보편화되면 기존 어플리케이션에도 연동되어 시각장애인들이 음성에 의존하던 스마트폰 조작을 점자 인지(촉각)으로도 확장하여 스마트폰 사용에 대한 선택지를 넓히고 증대된 사용성을 보장할 수 있을 것으로 기대한다. 2. 활용분야ㅇ 언택트 시장이 활성화 됨에 따라 기존 컨텐츠의 디지털 트랜스포메이션이 활발하게 이루어지고 있다. 이에 따라 장애인들이 이러한 컨텐츠들을 어떻게 이용할 것인가에 대한 관심도 높아지고 있다. 제안하는 결과물을 활용하면 시각장애인들의 언택트 컨텐츠에 대한 접근성과 편의성 그리고 온라인 컨텐츠 소비율을 높일 수 있을 것이다. ㅇ 대학 내의 비대면 학습 제공 플랫폼 예를 들어, 전북대학교 스마트 학습관리 시스템(LMS) 같은 교육 플랫폼에 점자출력 기능을 편입하고 시각장애학생들에게 제안하는 점자 출력 패드를 제공한다면 시각장애학생들의 온라인 학습 접근성이 강화되고 학습권을 보장받을 수 있다. [2020동상]기억력 테스트 게임 작성자 민소연 추천 0 조회 1196 첨부파일 1 작성일 2020.12.06 기억력 테스트 게임LED에 빛이 순서대로 들어오면, 해당 위치의 버튼을 순서대로 눌러 정답을 맞추는 게임이다.게임의 순서1. 전원을 켜면 난수가 계속해서 발생한다.2. Set 버튼을 누르면 그 순간의 난수가 저장된다.3. 저장된 난수가 LED에 무작위 순서로 점등된다.4. 점등이 끝나면 정답을 입력한다.5. 정답 입력과 동시에 정답을 비교한다.6. 오답을 누르는 순간 빨간 LED에 빛이 들어오고 게임이 끝난다.7. 정답을 누른 경우 초록 LED에 빛이 들어오고 게임이 끝난다.전체 회로도세부 회로도 난수 발생 회로 : 발진회로에서 넘어온 클럭은 D플립플롭으로 이루어진 동기식 카운터를 작동시킨다. 중간의 XOR는 출력되는 값을 섞어주는 역할을 한다. 또한, 버튼을 누르면 초기값을 설정할 수 있도록 버튼을 각 플립플롭의 set과 reset에 연결해주었다.플립플롭의 개수를 줄이기 위해 한 번은 플립플롭의 출력을 두개로 빼주었다.(8개의 플립플롭 출력을 9개로 사용) 상태 저장 회로 : Set버튼을 누르는 순간, 난수발생 회로에서 발생한 값과 set의 값이 AND연산되어 각 JK플립플롭의 J로 들어가 저장된다. Reset버튼을 누르면 K에 High가 들어가 초기화된다. 마지막 플립플롭은 상태가 저장되었음을 다음 회로에 넘겨주는 Enable신호가 된다. 문제 LED 점등 회로 : 이전단계에서 Enable신호가 넘어오면, 이는 reset과 XOR하여 JK플립플롭의 J에 들어가게 된다. 또한 그 출력Q는 이전단계에서 저장된 난수 값과 AND연산, 마지막 JK플립플롭의 Q 와 AND연산하여 LED를 점등시킨다. 따라서 저장된 난수 값이 차례대로 하나하나 켜진 후, 한번에 꺼지는 동작이 일어나게 된다. 이때, LED에 들어갈 값을 결정하는 OR은 문제를 전부 확인한 후 사용자가 입력 버튼을 누르면 각 버튼에 해당하는 LED에 불을 들어오게 하는 역할을 한다. 또한, 마지막 플립플롭의 Q는 다음 단계의 Enable로 사용된다. 정답 비교 회로 : 이전 단계의 Enable이 High가 되면, 첫번째 LED와 연결된 입력을 첫번째 난수 값과 XNOR한 결과가 JK플립플롭에 넘어간다. 두번째 LED와 연결된 입력도 두번째 난수 값과 XNOR하여 첫번째 플립플롭의 출력과 비교하게 되고, 이는 두번째 난수 값의 NOT과 OR연산되어 다음 플립플롭의 J에 전달된다. 이렇게 OR연산을 추가함으로써 LED에 불이 들어오지 않은 경우를 정답으로 넘길 수 있다. 세번째도 같은 방식으로 동작하지만, XNOR의 값을 Q와 바로 비교하지 않고 첫번째 플립플롭의 Q와 두번째 플립플롭의 Q를 AND한 값과 비교함으로써 이전에 틀린 답을 입력한 적이 있다면 계속해서 Low의 값을 전달하도록 동작한다. 나머지 입력들도 같은 방법으로 비교된다. 위와 같은 설계만으로는 순서를 다르게 입력한 경우를 구분해낼 수 없다. 따라서 첫번째 입력에서는 불이 들어오지 않았는데 누른 경우를, 나머지 입력들에서는 불이 들어오지 않았는데 누른 경우와, 아직 이전 정답이 처리되지 않았는데 입력을 누른 경우를 OR로 묶어 오답 JK플립플롭과 연결한다. 정답 LED 점등 : 아직 정답을 비교하는 중(또는 입력을 대기하는 중)이라면 두 플립플롭 모두 Low의 출력을 갖는다. 따라서 이 두 출력을 AND하여 게임이 진행중임을 표시할 수 있다. 만약, 사용자가 정답을 입력한다면 마지막 비교 플립플롭의 출력Q가 High가 되고 오답 확인용 플립플롭의 Q 가 High가 되므로 초록(정답) LED가 점등된다. 또한 불이 들어오지 않은 곳을 누르거나 순서를 잘못 입력한다면 그 순간 빨강(오답) LED가 점등된다. [2020동상]IT알리미 작성자 조예은 추천 0 조회 600 첨부파일 0 작성일 2020.12.05 [2020동상]AI를 활용한 동영상 변환기 작성자 공지나 추천 0 조회 853 첨부파일 2 작성일 2020.12.04 프로젝트 개요수많은 영상 데이터에는 불필요하고 식별성이 없는 동적 데이터가 대 다수 포함됩니다. 이러한 동영상(쓰레기 데이터가 많거나, 사람이 많은 동영상)에서Object Tracking을 사용하여 사용자가 관심 있는 대상에 주목해 그 대상을 지정 및 추적하고, 모자이크 등의 기능을 제공하는 동영상 변환 소프트웨어를 개발하는 것이 목표입니다.활용방안으로는 CCTV에서 대상 확인 및 추적, 현재 유행하고 있는 연예인 단독 동영상(직캠)으로의 변환, 유튜브 동영상에서 자동 모자이크 처리등으로 예상되며, 최근 BIG DATA에 대한 많은 수요로 인해 기대효과가 높을 것으로 사료됩니다. 프로젝트 목표1. source 동영상에서 특정 대상이 강조가 안 되는 문제 해결 또는 특정 대상 추적 구현 - 트랙킹 구현2. 추출한 동영상의 품질이 떨어지는 문제 해결 - 샤프닝 구현3. 그렇게 추출해온 대상의 초상권을 침해하면 안 될 때의 문제 해결 - 모자이크 구현시스템 개요1. 사용자가 VMware player로 Linux-ubuntu를 실행한 후에 main.py을 실행합니다. 2. 그리고 사용자로부터 실행할 프로그램의 번호와 변환시킬 동영상을 입력받습니다. 3. 변환 프로그램을 실행한 후에는 확장자가 .mp4 인 변환된 영상이 지정된 폴더에 저장이 됩니다. 3-1.aviread.py는 동영상을 읽어와 동영상을 그대로 출력합니다.개발환경Hardware :- Personal computer : CPU: Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz 3.19Hz- memory 8GBSoftware :- API : OpenCV, Dlib, numpy- IDE : Pycharm- Language: python 3.7- Ubuntu(VMware player 15.5)- OS : Linux(x11)시스템 기능 소프트웨어를 실행시키면 사용자로부터 수행할 기능 번호와 동영상이름을 입력받습니다. 번호를 입력하면 그 번호가 있는 행의 기능을 순차적으로 실행하고 실행한 결과를 영상으로 저장합니다.1. 샤프닝- 왼쪽이 샤프닝된 영상, 오른쪽이 입력 영상입니다.- 입력으로 샤프닝을 적용시킬 동영상 이름을 받습니다.- 해당 동영상을 한 프레임씩 읽어와서 샤프닝 필터를 이미지에 적용시킵니다.- 샤프닝 필터가 적용된 이미지를 다시 모아 동영상으로 변환시킵니다.- 샤프닝의 강도에 따라 총 3개의 필터를 구현하였습니다.- q를 누르면 프로그램이 종료되고, q를 누르기 전까지의 작업한 내용을 동영상으로 변환합니다.- q를 누르지 않으면 전체 동영상을 변환시키고 자동 종료 시킵니다.2. 모자이크- 왼쪽이 입력 영상, 오른쪽이 모자이크 처리가 적용되어 변환된 영상입니다.- 입력으로 영상을 받고 입력받은 영상에서 사람 얼굴을 탐지, 이후 모자이크 처리를 수행합니다.- q를 누르면 프로그램이 종료되고, q를 누르기 전까지의 작업한 내용을 동영상으로 변환합니다.- q를 누르지 않으면 전체 동영상을 변환시키고 자동 종료 시킵니다.3. 트랙킹- 대상을 지정, 이후 추적해가며 해당 대상 위주의 동영상으로 변환시켜 주는 기능입니다.- 마우스 드래그로 직사각형을 생성하고, 직사각형 내부를 ROI로 지정합니다.- 입력 동영상(우측)을 한 프레임씩 읽으며 해당 ROI 대상 추적 영상(좌측)으로 변환시킵니다. - q를 누르면 프로그램이 종료되고, q를 누르기 전까지의 작업한 내용을 동영상으로 변환합니다.- q를 누르지 않으면 전체 동영상을 변환시키고 자동 종료 시킵니다.- 위 3개의 기능은 사용자의 번호 입력에 의해 각각 수행될 수도, 함께 수행될 수 도 있습니다.Youtube addresshttps://youtu.be/DdjDdwFdrHg 처음 11 1 끝