fnctId=bbs,fnctNo=2437 말머리 분류 전체 종합설계 요소설계 기초설계및기타 총 40 건이 등록되었습니다. 게시물 검색 제목 작성자 공통(상단고정) 공지 게시글 [전체게시판공지] ★컴퓨터인공지능학부 홈페이지를 확인하세요 (2023.3.1.자 이후 학부 작성자 IT정보공학과 출품자 정보 기대효과 추천 0 조회 1956 첨부파일 0 컴퓨터인공지능학부 홈페이지를 확인하세요 https://csai.jbnu.ac.kr현재 홈페이지는 더이상 운영하지 않습니다. IT(지능)정보공학과 관련 문의: 063-270-2410, 학과메신저산업기술대학원 관련 문의: 063-270-2410, 학과메신저 게시글 리스트 [요소설계] 우리 아기 안심 침대 작성자 이도영 출품자 정보 이도영(201711448), 김강민(201716905) 기대효과 추락사고, 질식사고 등 영유아들의 침대 관련 사고가 줄어들며 ‘우리 아기 안전 침대’ 이용자들의 만족도가 향상되고 영유아를 키우는 부모님들의 수면시간을 보장하는 편의성 향상 등의 효과 기대 추천 0 조회 1064 첨부파일 0 작성일 2021.06.30 1. 서론1.1 프로젝트 목적 및 필요성- 0-4세 영유아의 다양한 사망원인 중 대표적인 원인은 침대 질식과 침대 낙상이다. 그렇기 때문에 그러한 사고를 예방하는 침대의 필요성을 느꼈고 이 프로젝트를 시작하게 되었다. 1.2 프로젝트 목표 및 범위- 프로젝트 결과물 사용을 통한 영유아들의 침대 관련사고 예방1. 침대 질식 : OpenCV를 통한 얼굴인식 기술 적용2. 침대 낙상 : 진동, 거리센서를 통해 침대 난간에 다가오는 대상자 감지3. 위험 알림 : 부저센서와 pushbullet 앱을 활용하여 위험 상황 알림 1.3 조 편성 및 역할 구성원 성명 역할 한 일 팀장 김강민 설계 진동, 거리 센서를 이용해 난간 접근 감지 부분 설계, 부저센서 이용 위험 알림 부분 설계 팀원 이도영 설계 카메라 센서를 이용해 얼굴인식 부분 설계, 앱을 이용해 위험 알림 부분 설계 2. 본론2.1 문제 정의- 위의 표를 통해서 질식, 추락사가 0-4세 영유아의 사망원인 대부분을 차지하고 있다는 것을 알 수 있다. 그 중 침대 질식과 침대 낙상이 주요 사망원인이기 때문에 그러한 사고를 예방하는 침대의 필요성을 느꼈고 그렇기에 이 프로젝트를 시작하였다. 2.2 문제 해결 아이디어 1. 침대 질식 : 질식의 경우 얼굴이 보이지 않는다는 점을 이용, 얼굴인식 기술 활용2. 침대 낙상 : 낙상의 경우 난간 부에 가까이 가야하고 난간을 잡는다는 점을 이용, 거리센서와 진동센서 활용3. 위험 알림 : 위험 상황이 발생시 위험을 알리는 매개체로 부저센서와 pushbullet 앱을 활용 2.3 관련 기술의 현황현재 프로젝트에서는 카메라 센서와 OpenCV를 통해 얼굴인식을 하고 진동, 거리센서를 통해 대상자와의 거리, 난간 부의 진동을 파악한다. 그리고 위험 상황이 발생 시 부저센서와 앱을 통해 알림이 전달되는 기술을 사용하고 있다. 낙상사고 예방을 위해 침대 높이를 낮추거나 질식사 예방을 위해 범퍼 베개를 사용하는 등의 물리적인 예방법은 존재하지만 얼굴인식과 거리, 진동센서를 동시에 이용하는 기술적인 면에서의 예방법은 존재하지 않는다.3. 프로젝트3.1 시스템 개요3.2 시스템 기능- 진동 센서와 거리 센서를 통해 대상자인 아이가 난간에 가까워지고 난간의 진동이 발생할 때 부저와 앱을 통한 알림을 울려 낙상사고를 예방한다. 진동, 거리센서 측정 및 작동화면 - 카메라 센서를 통해 대상자인 아이의 얼굴을 인식하고 아이의 얼굴이 인식되지 않을 때 부저와 알림을 울려 질식사를 예방한다. 얼굴인식 X 얼굴인식 O 앱을 통한 위험 알림 3.3 사용자 인터페이스 결과물 내부 결과물 상면 결과물 측면 결과물 앞면 4. 결론4.1 프로젝트 결과물대상자인 아이가 난간에 접근하여 추락사고의 위험성이 있을 때, 얼굴을 뒤집어 질식 사고의 위험성이 있을 때, 위험상황을 파악하여 부저와 앱으로 부모님에게 위험상황을 알리는 0-4세 영유아 전용 안전 침대 4.2 기대 효과 및 활용 방안기대효과 - 추락사고, 질식사고 등 영유아들의 침대 관련 사고가 줄어들며 우리 아기 안전 침대 이용자들의 만족도가 향상되고 영유아를 키우는 부모님들의 수면시간을 보장하는 편의성 향상 등의 효과 기대활용방안 0-4세의 영유아들, 특히 잠에서 자주 깨거나 뒤집기가 어려운 영유아를 키우는 가정에 유용한 제품이다. [요소설계] 정렬 알고리즘 시각화 프로그램(AL term project) 작성자 김혜원 출품자 정보 김혜원 기대효과 정렬 알고리즘을 공부하는 학생들이 어려움을 느낄 때, 시각화를 통해 전개과정을 보여줌으로써 직관적인 이해를 돕는다. 추천 0 조회 659 첨부파일 0 작성일 2021.06.30 - UIinput.txt를 이용해 정렬하고자 하는 파일을 넣는다.정렬이 완료된 뒤, output.txt를 누르면 정렬된 파일이 출력된다. [종합설계] Meme(자연어처리를 이용한 밈 이미지 검색 시스템) 작성자 박예린 출품자 정보 박예린(201812763), 김다영(201812730) 기대효과 사용자들이 좀 더 편하게 밈 이미지를 찾고 이용할 수 있게 될 것이다. 많이 사용하는 메신저 중 하나인 카카오톡에 Meme을 접목하여, 사용자는 다른 포털사이트를 이용하지 않고 카카오톡 내에서 이미지를 얻을 수 있고, 다른 사용자에게 카카오톡의 복사 또는 전달 기능을 이용하여 전송할 수 있다. 사용자는 검색 후 이미지를 판별하고 선택하는 시간이 단축되고 이미지의 활용도가 향상될 것이다. 현재 카카오톡과 라인에서 채팅창에 입력 중인 글과 관련된 이모티콘을 추천해 주는 서비스를 제공하는 중이다. 이러한 기능을 블로그나 카페, 뉴스 등 댓글을 작성할 수 있는 플랫폼에 같은 방식으로 적용 방향을 확대할 수 있다. 추천 0 조회 1123 첨부파일 0 작성일 2021.06.29 1. 시스템 개요 1) 선정한 사이트에서 밈 이미지와 태그들을 크롤링한 후 선별작업을 한다. 2) 수집한 태그들을 KcBERT를 통해 임베딩한다. 3) 임베딩된 태그들을 검색 시간 단축을 위해 Faiss를 이용해 인덱싱을 한 후 저장해둔다. 4) AWS EC2를 사용하여 서버를 백그라운드로 구동한다. 5) 3)에서 구현한 기능을 카카오 I 오픈빌더를 통해 카카오톡에 배포한다. 6) 사용자가 카카오톡을 통해 검색어를 입력하면, 해당 검색어를 임베딩 시킨다. 7) 임베딩된 검색어와 인덱싱된 데이터들을 Faiss를 통해 비교하여 가장 유사한 인덱스 번호 1개를 반환받는다. 8) 해당 인덱스 번호에 해당하는 이미지를 카카오톡을 통해 사용자에게 제공해준다.2. 시스템 기능 1) 크롤링 선정한 사이트에서 이미지와 태그들을 크롤링으로 수집했다. 이용하기 편하도록 csv 파일 형태로 만들어 다음과 같이 저장했다. 2) 임베딩 자연어를 컴퓨터가 이해하고, 효율적으로 처리하기 위해 자연어를 vector로 바꾸는 과정이다. 네이버 뉴스에서 댓글과 대댓글을 수집해, 토크나이저와 BERT 모델을 처음부터 학습한 KcBERT 모델을 사용했다. 3) 인덱싱 및 유사도 비교 후 결과 반환 Faiss라는 대용량 데이터의 효율적인 유사성 검색이 가능한 라이브러리를 사용해 임베딩한 데이터를 인덱싱했다. 임베딩한 검색어와 비교해 가장 유사도가 높은 결과의 인덱스 값을 반환해준다. 4) 카카오 연동 카카오 i 오픈빌더를 통해 제작한 챗봇을 카카오톡 채널 관리자센터에서 개설한 카카오톡 채널과 연결하여 이용자에게 챗봇 서비스를 제공한다. 5) AWS EC2를 사용하여 서버를 백그라운드로 구동하여 서비스를 계속 이용할 수 있도록 했다.3. 실험 및 평가 1) 기본 기능 - 검색 엔진으로써 동작2) 구별 여부 - 유사 의미, 중의적 단어 3) 사용성 - 사용자 설문조사 가) 접근성과 사용 만족도 나) 불편한 점 - 없다. - 느리다. - 동시 사용자가 많을 경우 반환이 안될 때가 있다. - 정확도가 다소 부진하다. - 이미지가 깨져서 전송되는 경우가 있다. 다) 총평 - 정확도가 부족하나 미묘하게 어울리는 밈이 나오는 경우가 있어서 재밌다. - 다양한 이미지 중 선택할 수 있으면 좋겠다. - 상황에 맞는 사진을 찾는 것이 번거로웠는데, 한결 편한 것 같다. - 짤을 수집할 때 굉장히 유용하다.4. 프로젝트 결과물 사용자는 카카오톡 플러스 친구 추가를 통해 Meme을 이용할 수 있다. 1) 검색창에 'meme_짤맛집' 입력 및 친구 추가 2) 사용자는 찾고자 하는 밈 이미지와 연관된 검색어를 입력하고 이미지를 제공받는다.3) 사용자는 이미지를 저장하거나 원하는 카카오톡 채팅방에 전달할 수 있다. [요소설계] Todo List와 달력 어플을 접목시킨 스케줄 관리 어플 작성자 김현지 출품자 정보 김현지(201912364), 서예나(201912379) 기대효과 중요한 스케쥴 관리와 사소한 일정을 구분하여 관리하기 때문에 사소한 일을 잊지 않고 할 수 있다. 또한 이모지를 사용하기 때문에 글을 읽지 않아도 시각적으로도 명확히 할 일을 구분할 수 있다. 추천 0 조회 7460 첨부파일 0 작성일 2021.06.29 1. 프로젝트 개요- 주제: Todo List와 달력 기능을 접목시킨 스케줄 관리 어플- 프로젝트(어플) 이름: 아마따 (아 맞다)- 주요 기능: 달력기능을 수행하고 추가적으로 해당 날짜의 할 일을 정리할 수 있어 '약 먹기' '화분에 물 주기' 등과 같은 사소한 일정들을 잊지 않고 할 수 있게 관리해준다. (달력 기능, 일정 정리(ToDoList) 기능, 일정 수정, 삭제, 저장 기능)2. 어플 개발 목적 및 필요성- 사소한 일까지 기억하기 힘든 사람들을 위한 어플이 필요하다고 생각했다. 그래서 대표적인 일정만 적을 수 있는 기존 달력 어플과 달리 구체적이고 사소한 일까지 적을 수 있는 달력 어플을 개발하는 것을 주제로 결정하였다.해당 어플은 빨래하기 , 약 먹기 등의 세세한 일정을 Todo List를 통해 확인할 수 있도록 하였기 때문에 종종 자신이 해야 할 일을 잊어버리고 못하는 사람들을 위해 필요할 것으로 예상된다 3. 기능 소개- 달력 기능캘린더뷰를 사용하지 않고 리사이클러뷰를 이용하여 직접 달력 형식을 커스텀하여 사용했다.- Todo List 기능캘린더에서 날짜에 해당하는 cell(셀)을 클릭하면 Todo list기능 페이지로 넘어간다. Todo list 페이지에 todo를 리사이클러뷰로 나타내고 체크박스를 이용해 완료된 할 일은 체크 표시를 한다.- Todo List 추가플로팅 버튼을 누르면 todo를 추가할 수 있는 화면으로 넘어가고 데이터를 입력한 후 저장을 눌러 추가가 가능하다.- Todo List 수정각 항목을 클릭하면 todo list를 작성했던 화면으로 이동하고 데이터를 수정을 한 후 저장을 하면 수정이 완료된다.- Todo List 삭제각 항목을 클릭하면 todo list를 작성했던 화면으로 이동하고 삭제 버튼을 누르면 데이터가 삭제된다.4. 어플 스토리보드① 어플 실행 화면 (메인화면-달력)일정을 설정할 날짜를 선택하면 해당 날짜의 Todo List 화면으로 넘어간다. ② 과제하기 Todo list 추가Todo list 화면에서 아래의 '+' 플로팅 버튼을 클릭하면 다음과 같이 추가 화면이 나온다. 과제하기 Todo list를 추가하면 Todo List 화면에서 과제하기 항목이 체크박스와 이모티콘, 시간과 함께 나타나는 것을 볼 수 있다.③ Todo list 수정 과제하기 를 과제 로 바꾸고 이모티콘도 바꾸면 Todo list 화면에서 바뀐 UI를 볼 수 있다. (추가적으로 시간과 메모도 변경이 가능하다.)④ Todo list 체크만들어진 리스트에서 완료한 일은 체크를 통해 표시할 수 있다.체크를 하면 체크박스에 체크가 되고 취소선이 생긴다.⑤ Todo list 삭제완료한 항목( 똥 싸기 )를 삭제하면 Todo list 화면에서 삭제된 것을 확인할 수 있다. [종합설계] 음성인식을 통한 LED제어 작성자 정성문 출품자 정보 정성문(202012244), 이하연(202011237), 김다인(202012170), 한도현(202010897) 기대효과 실생활에서 사용되고 있는 전자기기(스피커, 이어폰, 무선 마우스 등)를 블루투스 연결을 통해 스마트폰을 가지고 원격 조종이 가능하다. 이를 활용한 예는 자기 전에 음성을 통해 전등을 끄는 것과 블루투스가 연결된 기기에서 스마트폰이 멀어지면(블루투스가 끊기면) 집의 전등과 에어컨이 자동으로 꺼지게 하는 기능들을 구현할 수 있다. 추천 0 조회 660 첨부파일 0 작성일 2021.06.28 #includeSoftwareSerial BTSerial(7,8); // LED 포트int R=11;int G=10;int B=9; bool random_toggle=false; // 무지개 켜진 상태인지 확인int random_delay_time=0; // 무지개 색 바뀌는 주기 확인 // 블루투스 시리얼로 받는 문자열String state="";String c=""; // 블루투스 시리얼 시작, LED 포트 설정, LED 불 꺼진 상태에서 시작void setup() {BTSerial.begin(9600);pinMode(R,OUTPUT);pinMode(G,OUTPUT);pinMode(B,OUTPUT);light_RGB(0,0,0);} void loop() {// 블루투스 시리얼로 문자열 받음while(BTSerial.available()){delay(10);c = BTSerial.readStringUntil('\n');state += c;} // 받은 문자열에 따라 시행할 행동if(state.length() 0){if(state == "turn on"){random_toggle=false;light_RGB(255,255,255);}else if(state == "red"){random_toggle=false;light_RGB(255,0,0);}else if(state == "green"){random_toggle=false;light_RGB(0,255,0);}else if(state == "blue"){random_toggle=false;light_RGB(0,0,255);}else if(state == "random"){random_toggle=true;}else if(state == "turn off"){random_toggle=false;light_RGB(0,0,0);}state = "";} //무지개가 켜진 경우 주기가 되면 색 변환if(random_toggle==1 random_delay_time 30){light_RGB(random(255),random(255),random(255));random_delay_time=0;}// 무지개 주기random_delay_time+=1;delay(100);} //LED 상태 변경void light_RGB(int r,int g, int b) {analogWrite(R,r);analogWrite(G,g);analogWrite(B,b);} [요소설계] IT정보공학과 학생회 앱, IT'S 작성자 조계범 출품자 정보 조계범(2016), 박다빈(2016) 기대효과 학과 공지사항이나 학교 공지사항, 질문할 수 있는 소통공간, 학생회가 진행하는 행사 등을 복잡한 과정 없이 찾아볼 수 있다. 이를 통해 학과 학생들이 서로 자유롭게 소통하고 학과의 정보를 효율적으로 전달하여 학생들의 학과생활에 편리함을 제공할 수 있다. 추천 0 조회 869 첨부파일 1 작성일 2021.06.24 #프로젝트 개요1. 프로젝트 이름-애플리케이션(이하 앱)의 이름은 IT'S로, IT information engineering Student App(IT정보공학과 학생회 앱)을 축약하여 표현하였다.2. 프로젝트 목적 및 필요성 -IT'S를 이용하여 학과 공지사항이나 학교 공지사항, 질문할 수 있는 소통공간, 학생회가 진행하는 행사 등을 복잡한 과정 없이 찾아볼 수 있게 한다.-IT'S를 통해 학과 학생들이 서로 자유롭게 소통하고 학과의 정보를 효율적으로 전달하여 학생들의 학과 생활에 편리함을 추구할 수 있다.-현재 IT정보공학과 학생 및 학생회를 위한 앱이 없기 때문에 학생과 학생회를 위한 앱으로 IT'S를 사용할 수 있다.3. 팀 구성 및 역할#IT'S 개요-IT S는 기능 구현을 위한 26개의 Java 파일과 디자인 구현을 위한 다양한 res 파일로 구성되어 있다.1. Java 파일 (\IT_S\app\src\main\java\org\techtown\it_s) 2. res 파일 (\IT_S\app\src\main\res) #IT'S 기능 1. 회원가입 기능 -RegisterActivity.java, RegisterRequest.java, idcheckRequest.java 사용 -ID 중복확인이 가능 2. 로그인 기능 -LoginActivity.java, LoginRequest.java 사용 3. ID/비밀번호 찾기 기능 -FindidpwActivity.java, FindidpwRequest.java 사용 4. 로그인 관리 -AdminPermissionActivity.java, RecyclerAdapter.java, ConfirmRequest.java, Data.java, PermissionRequest.java, RejectRequest.java 사용 -회원가입 시 관리자 승인이 있어야 로그인이 가능한 회원가입 승인 기능 존재 5. 게시판 -CommunityActivity.java, CommunityWriteActivity.java, CommunityAdapter.java, CommunityWriteRequest.java, CommunityRequest.java, Communitytext.java 사용 -게시글 작성과 게시글 확인(사용자 ID, 작성한 날짜, 작성 내용) 가능, 게시글은 작성한 날짜를 기준으로 최신 순으로 정렬 #IT'S 디자인 및 사용자 인터페이스 1. Splash Activity로 앱을 실행할 때 처음으로 보여짐 2. LoginActivity로 ID와 비밀번호를 입력하여 로그인을 할 수 있음 3. RegisterActivity로 회원가입을 할 수 있는 화면 4. FindidpwActivity로 아이디와 비밀번호를 찾을 수 있는 화면 5. 로그인에 성공하였을 때 보여지는 MainActivity 6. 학생회 소개 버튼을 눌렀을 때 보여지는 list_card_Activity 6.1 학생회 소개 1번 목록 6.2 학생회 소개 2번 목록 6.3 학생회 소개 3번 목록 6.4 학생회 소개 4번 목록 6.5 학생회 소개 5번 목록 6.6 학생회 소개 6번 목록 7. CommunityActivity로 게시판을 보여주는 화면 8. CommunityWriteActivity로 게시글을 작성할 수 있는 화면 9. AdminPermissionActivity로 가입 승인 관리를 해줄 수 있는 화면 #참고 -자세한 앱의 구조와 기능은 정리하여 파일로 첨부하였다. [요소설계] 찐맛 작성자 민소연 출품자 정보 조예은(2018) 민소연(2018) 기대효과 찐맛은 과도한 광고로 인한 맛집 검색의 불편함을 해소하며, 맛집 순위의 신뢰도를 향상시킵니다. 또한 음식점에 대한 긍정적 피드백 시스템을 통해 악의적 리뷰 피해를 해소하고, 앞으로는 더 나아가 맛집을 매개로 한 소통의 장으로써 활용이 가능할 것입니다. 추천 0 조회 1576 첨부파일 1 작성일 2021.06.22 "당신의 진짜 맛집, 찐맛" 개발 배경 l 광고성 글로 점철된 검색 플랫폼과 SNS: 스마트폰 검색 기능의 발달과 SNS의 정보 공유가 활성화됨에 따라, 대다수의 사람들은 맛있는 음식점을 찾기 위해 스마트폰의 검색 엔진 또는 SNS 검색 기능을 이용한다. 그러나 이와 같은 플랫폼에 맛집 을 검색하면, 대부분 음식점으로부터 대가를 받고 작성된 광고성 글들이 노출되어 맛있는 음식점을 찾고자 했던 본래의 목적이 무색해지곤 한다. l 평점, 리뷰 조작이 만연한 지도 어플과 배달 어플: 지도 어플이나 배달 어플 내에서 확인할 수 있는 평점과 리뷰는 조작을 위한 업체가 따로 등장했을 만큼 조작이 보편화되어 리뷰의 신뢰성을 판단하기가 쉽지 않다. l 악의적인 평점 조작으로 인한 음식점의 피해: 스마트폰 어플리케이션을 이용해 맛집을 찾는 소비자가 많아진 만큼 음식점은 리뷰에 민감해지게 되었다. 이를 악용하여 악의적인 평점, 리뷰 조작으로 음식점에 큰 손실을 주는 사례가 종종 발생한다. l 맛집을 기록할 수단과 계기의 부재: 직장인, 대학생과 같이 음식점을 자주 이용하는 사람들은 매번 새로운 메뉴를 고민한다. 그러나 기억에 남아 있는 음식점은 한정되어 있어 검색을 통해 정보를 얻고자 하나, 상기한 바와 같은 이유로 실패하곤 한다. 따라서 만족스러운 음식점에서 식사를 한 후에 간편하게 이를 기록하고, 공유할 수 있는 수단이 존재한다면 매번 음식점을 기억해낼 필요 없이 무엇을 먹을지 선택할 수 있다.또한, 기존 메모장 또는 지도 어플은 맛집의 기록만을 목적으로 하지 않아 음식점 정보와 메뉴, 평가 등을 작성하기에는 불편함이 따른다. 위와 같은 불편을 해소하기 위해, 사용자가 자신의 맛집 리스트를 간편히 정리하고 다른 사용자와 공유하여 새로운 맛집을 쉽게 찾을 수 있도록 돕는 어플인 "찐맛"을 제작하였습니다. 메뉴 구성도 상세 기능 기능 세부 기능 설명 나의 맛집 리스트 관리 나의 맛집 리스트 확인 사용자가 추가한 맛집들의 목록을 확인할 수 있다. 리스트 새로고침 화면을 수직으로 스와이프하면 업데이트 된 데이터가 적용된 리스트를 확인할 수 있다. 맛집 검색 유효한 음식점 데이터를 사용자가 검색할 수 있다. 맛집 등록 선택한 음식점을 사진, 한줄평과 함께 개인별 맛집 리스트에 등록할 수 있다. 맛집 수정 등록한 맛집 데이터의 사진과 한줄평을 수정할 수 있다. 맛집 삭제 등록한 맛집 데이터를 삭제할 수 있다. 맛집 공유 등록한 맛집의 목록을 메시지, 메일, 메신저 어플리케이션 등을 이용하여 공유할 수 있다. 맛집 순위 확인 맛집 순위 정렬 사용자들의 리스트에 많이 등록된 순서대로 정렬된 맛집 목록을 볼 수 있다. l 해당 정렬 목록을 음식 카테고리별로 구분하여 확인할 수 있다. l 해당 정렬 목록을 지역(도, 시/군/구 단위)별로 구분하여 확인할 수 있다. l 카테고리, 지역 조건을 동시에 적용하여 정렬 목록을 확인할 수 있다. 맛집 상세 정보 확인 해당 음식점의 이름과 주소를 확인할 수 있다. 맛집 메뉴 확인 해당 음식점을 맛집 리스트에 등록한 사용자들이 먹은 메뉴를 많이 등록된 메뉴 순으로 확인할 수 있다. 맛집 한줄평 확인 해당 음식점을 맛집 리스트에 등록한 사용자들이 남긴 한줄평과 사진을 확인할 수 있다. 맛집 등록 상위 사용자 확인 사용자 순위 정렬 맛집을 많이 등록한 사용자 순으로 정렬된 목록을 볼 수 있다. 사용자별 맛집 리스트 확인 해당 사용자가 등록한 맛집 리스트를 확인할 수 있다. 해당 사용자의 맛집 리스트 공유 해당 사용자가 등록한 맛집의 목록을 메시지, 메일, 메신저 어플리케이션 등을 이용하여 공유할 수 있다. 해당 맛집 상세 정보 확인 해당 사용자가 등록한 맛집의 상세 정보(음식점 이름, 주소, 메뉴, 한줄평, 사진)를 확인할 수 있다. 해당 사용자 즐겨찾기 추가 해당 사용자의 리스트를 즐겨찾기에 추가할 수 있다. 즐겨찾기 사용자의 맛집 리스트 확인 즐겨찾기에 추가한 사용자의 목록을 확인할 수 있으며, 해당 사용자의 맛집 리스트를 확인할 수 있다. 로그인 회원가입 처음 가입시 카카오 로그인을 통해 회원 정보(이름, 회원id)를 DB에 저장할 수 있다. 로그인 카카오 로그인을 통해 사용자 자신의 회원 정보로 서비스를 이용할 수 있다. 로그인 유지 한 번 로그인을 하면 로그아웃 전까지 로그인 상태를 유지할 수 있다. 로그아웃 로그아웃을 통해 다른 계정으로 접속할 수 있다. 탈퇴 탈퇴를 통해 DB에 저장된 모든 정보(회원 정보, 등록 맛집 관련 정보, 즐겨찾기 정보)를 삭제할 수 있다. UI 구성 아이콘 클릭 앱 실행 로그인 후 메인 화면 진입 나의 맛집 등록 나의 맛집 수정 및 삭제 모두의 맛집 맛집 킬러 즐겨찾기 로그아웃 및 탈퇴 기대효과 l 맛집 검색의 불편 해소: 기존 광고로 점철된 맛집 추천에서 벗어나, 자신만의 맛집 리스트를 구성하여 관리할 수 있으며, 타 유저의 리스트를 참고하여 맛집을 파악할 수 있다. 사용자들의 맛집 리스트를 기반으로 한 맛집 순위를 볼 수 있으므로, 식사 메뉴를 정할 때에 간편하게 가장 맛있는 음식점을 선택할 수 있다. l 맛집 순위의 신뢰도 향상: 회원 등록이 카카오 계정 당 하나로 한정되어있는 상황에서, 같은 유저가 한 곳의 음식점을 자신의 리스트에 여러 번 추가할 수 없도록 막아두었기 때문에 의도적으로 맛집의 순위를 조작하는 것이 어렵다. 또한 현재는 사용자 데이터가 충분하지 않아 구현하지 않았으나, 일정 개수 이상의 리스트를 작성한 경우에만 맛집 리스트 순위에 반영되도록 한다면 맛집 순위의 신뢰성을 더욱 증진시킬 수 있을 것이다. l 긍정적 피드백 시스템을 통한 악의적 리뷰 피해 해소: 평점을 매기는 방식은 긍정적 의견 뿐 아니라 부정적 의견까지도 드러낼 수 있는 방법으로, 음식점이 평점 관리에 민감하게 만드는 요인이 된다. 찐맛 은 오직 긍정적 피드백의 과정만을 담는 방식을 채택하여 음식점은 낮은 평점을 관리하기 위해 평점 조작과 같은 부정을 저지르지 않아도 되며, 악의적인 평점으로 피해를 입는 문제도 해소된다. l 맛집을 매개로 한 소통의 장으로 활용 가능: 점진적인 서비스 보완을 통해 앱 내 유저 간의 소통을 활성화한다면 서로의 맛집 리스트에 의견을 나누고, 같은 입맛의 유저들이 모여 활동하는 등 사용자들은 맛집 이라는 하나의 주제로 다양한 상호작용을 할 수 있을 것이다. GitHub Link https://github.com/dpdms529/JMT [기초설계및기타] 정렬 시뮬레이션 시각화 웹 작성자 조민서 출품자 정보 조민서(201912430) 기대효과 각각의 정렬을 이해하려는 친구들이 이 웹을 보면 이해하는 데 도움이 될 것이다. 추천 0 조회 501 첨부파일 0 작성일 2021.06.17 유튜브 링크(시행 영상): https://www.youtube.com/watch?v=iMDBNrTkm9w웹 페이지 링크:https://minseojo.github.io/Sort_Simulation_Web/home.html [종합설계] 요기 어때 : 자연어처리를 통한 기사 요약 서비스 (문서 요약 및 사실 작성자 임진형 출품자 정보 임진형, 이병훈 기대효과 하루에도 수많은 인터넷 기사들이 포털사이트에 올라온다. 인터넷 기사를 살펴보면 길이가 길어 이해하는데 시간이 걸리고 여러 문단으로 나눠져 있어 기사가 말하고자 하는 내용을 한 눈에 파악하기 어렵다. 자동으로 현재 포털사이트 헤드라인 뉴스 전체 내용을 잘 이해하고 있는 요약문을 만들어 사용자들이 새로운 text 정보를 접하는데 있어 시간 절약 및 이해도 향상을 돕는다. 추천 0 조회 4262 첨부파일 0 작성일 2021.06.17 1. 서론1.1 프로젝트 목적 및 필요성 현재 Text Summarization은 자연어 처리 분야에서 계속 연구 중에 있는 Downstream Task이다. 주어진 Text를 입력받아 중요한 정보만 정제해낸 결과물이며 이는 원문을 이해하기 쉬우면서도 가치 있는 정보로 변환해주는데 의의를 둔다.하루에도 수많은 인터넷 기사들이 포털사이트에 올라온다. 인터넷 기사를 살펴보면 길이가 길 어 이해하는데 시간이 걸리고 여러 문단으로 나눠져 있어 기사가 말하고자 하는 내용을 한 눈 에 파악하기 어렵다. 자동으로 현재 포털사이트 헤드라인 뉴스 전체 내용을 잘 이해하고 있는 요약문을 만들어 사용자들이 새로운 text 정보를 접하는데 있어 시간 절약 및 이해도 향상을 돕는다.1.2 프로젝트 목표 및 범위인터넷 기사를 요약해주는 요약 시스템을 개발하고자 한다. 단순히 프로그램 제작이 아닌 실제 서버 구축을 통해 여러 사람이 사용할 수 있는 서비스를 제공하고자 했다.요약 어플리케이션은 카카오톡 챗봇을 사용 했다. 카카오톡 채널에 요기어때_뉴스기사요약 채널을 만들어 자신이 원하는 카테고리의 네이버 뉴스기사를 크롤링하여 요약문과 함께 제공한다. 1시간 마다 실시간 네이버 뉴스를 크롤링하여 업데이트 한다.요약 웹 서비스는 본문을 입력했을 때 요약해주는 기능과 혹은 요약하고자 하는 네이버 뉴스기사의 url을 입력했을 때 요약해주는 기능을 제공한다.1.3 조 편성 및 역할 구성원 성명 역할 한 일 팀장 임진형 팀장 요약모델 구조화, 백엔드 서버 구축 설계 전체 구조 설계 발표 2차 발표 팀원 이병훈 팀원 프론트 서버 구축 설계 사실 교정 시스템 설계 발표 1, 3차 발표 2. 본론2.1 문제 정의- 본문을 입력했을 때 요약문을 생성해주는 요약모델을 만들어야 한다. 또한 양질의 요약문을 생성해야 하기 때문에 모델이 좋은 성능을 낼 수 있도록 학습 필요- 요약모델이 생성한 요약문에 허위정보 생성, 잘못된 개체명 인식 등의 문제점이 있을 수 있기 때문에 요약문을 한번 더 검증하는 Fact-correction 모델 생성- 실제 만든 요약 시스템을 실제 서비스로 제공하기 위한 서버구축이 필요하다. 요약 어플리케이션을 위한 백엔드 서버와 웹 서비스를 위한 백엔드, 프론트엔드 서버 구축2.2 문제 해결 아이디어 두 가지의 모델을 사용해 요약 모델을 구성했다. 본문을 입력했을 때 요약문을 생성해주는 요약모델은 transformer의 Encoder와 Decoder구조를 사용하는 BART모델을 한국어 데이터 셋으로 사전학습 시킨 SKT KoBART를 국립국어원 데이터 셋으로 미세조정 시켰다. Fact-correction모델의 잘못된 요약문을 수정 할 수 있도록 했다. 기사 본문과 잘못된 요약문을 넣었을 때 잘 못된 부분을 수정한 정답 요약문을 생성하도록 미세조정 시켰다. 웹 서비스를 서버 구축을 위해 백엔드는 BENTOML 라이브러리르 사용했다. 프론트엔드는 REACT를 사용했다. 카카오톡 요약 챗봇 어플리케이션은 프론트엔드는 kakao와 open builder를 사용했고 백엔드는 flask를 사용하여 구현했다.3. 프로젝트3.1 시스템 개요1) 요약 모델 개요1) 카카오톡 뉴스 요약 챗봇 개요도3) 요약 모델 웹 서비스 개요도3.2 개발 환경 구분 상세 내용 웹 서비스 개발 언어 Front : java script Backend : Python 개발 환경 Front : React, Docker Backend : Bentoml, Docker 챗봇 개발 언어 python 개발 환경 Front : kakao I open builder Backend : flask 요약기 모델 개발 언어 Python 개발 환경 Pycham, PyTorch, Docker 형상 관리 GitHub 3.3 시스템 기능1) 요약 모델 기능1-1) Abs Summary 모델을 통해 input으로 들어오는 기사 본문을 상황에 맞게 단어를 생성 또는 추출해 유연한 요약문 생성1-2) Fact Correction 모델은 Abs summary 모델을 통해 만들어진 요약문이 본문 내용과 다른 내용이 생성된 부분을 찾아 post-editing 방식으로 요약문을 수정2) 카카오톡 챗봇 기능2-1) 서버에서 1시간마다 카테고리 별 네이버 뉴스기사를 크롤링해서 저장2-2) 크롤링된 기사들을 각각 요약 모델을 통해 요약문을 생성2-3) 카카오톡 챗봇을 통해 유저들이 카테고리 별 뉴스를 요청하면 서버에서 요약문을 전송3) 요약 모델 웹 서비스3-1) 요약모델을 Bentoml을 통해 서빙3-2) Client들은 원하는 모드를 통해 요약 기사를 제공 받음3.4 사용자 인터페이스1) 카카오톡 챗봇2) 요약 모델 웹 서비스3.5 실험 및 평가본문을 입력했을 때 요약문을 생성해주는 요약모델의 성능을 평가하고자 했다. 성능 평가 방법은 요약 성능 평가 지표인 Rouge_score를 사용정답 요약문과 모델이 생상한 요약문의 overlap 된 단어 개수를 통해 성능을 평가하는 방법이다. kakao brain에서 배포한kobart.base.ko.summary 모델과 성능을 비교했다. kobart.base.ko.summary 요약 모델 ROUGE_1 35.52 39.76 ROUGE_2 24.39 27.98 ROUGE_L 34.79 39.35 4. 결론4.1 프로젝트 결과물1-1) 요약 모델1-1) Fact Correction 모델2) 카카오톡 챗봇2) 요약모델 웹 서비스4.2 기대 효과 및 활용 방안- 바쁜 현대인들의 일상 속에 해당 프로젝트 결과물을 통해 쉽게 최근 헤드라인 뉴스를 이해 할 수 있다.- 길이가 길고 여러 문단으로 나눠져 있는 기사를 쉽게 이해 할 수 있다.- 기사를 이해하는데 있어 시간을 절약 할 수 있다.4.3 프로젝트 수행 후기 및 건의 사항 프로젝트를 진행하기 위해 다양한 논문과 자료를 참고했다. 공부하면서 자연어 처리 부분에 많은 지식을 배울 수 있었다.문서 요약에 관한 프로젝트를 진행함에 있어 우리 팀이 중요하게 생각했던 부분은 두 가지로, 요약 모델의 성능과 실제 요약 모델 서비스를 제공함에 있어 사용자의 편리성이다. 요약 모델의 성능은 커리큘럼 학습 방식과 사실교정 시스템을 통해 향상시키고, 요약 모델 서비스는 일상 생활에서 쉽게 접할 수 있는 카카오톡 챗봇과 웹 서비스를 통해 제공하였다. 요약 시스템을 통해 뉴스 기사의 가독성을 높이고, 사용자가 보다 빠르게 정보 습득이 가능하다는 장점을 보였다. 또한 개인적으로는 자연어 처리를 통해 요약모델을 학습시키고 학습된 모델을 배포하는 과정을 배울 수 있었다.참고 문헌- BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension(2019, 10)- Evaluating the Factual Consistency of Abstractive Text Summarization (Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher) - Factual Error Correction for Abstractive Summarization Models (Meng Cao, Yue Dong, Jiapeng Wu, Jackie Chi Kit Cheung) [종합설계] 시각장애인을 위한 산책 도우미 앱 작성자 김의송 출품자 정보 김의송(201716909), 서은빈(201716919) 기대효과 해당 어플리케이션의 이용을 통해 시각장애인 또는 저시력자 등 시각적 보조가 필요한 사용자가 보호자 또는 안내견의 동행 없이 산책하거나 도보를 이용할 때, 추가 장치나 장비 등의 구매 없이 간편하게 스마트폰만을 이용하여 사용할 수 있는 어플리케이션이므로 접근성이 높다는 장점이 있다. 또한, 스마트폰 카메라를 이용하여 전방의 고정 장애물이나 다가오는 물체를 인식하여 음성으로 알림을 받을 수 있으므로 도보 이용 시 생기는 사고를 방지하는 효과가 있다. 또한 글자를 인식하여 음성으로 변환하는 기능을 더 발전시키고 활용할 경우, 거리의 간판이나 메뉴판 등의 글자 또한 바로 음성으로 변환하여 사용자에게 편의를 제공할 수 있을 것으로 기대한다. 추천 0 조회 4003 첨부파일 0 작성일 2021.06.17 1. 프로젝트 소개시각 장애인의 도보 이용에 방해물이 될 수 있는 도보의 장애물 등의 객체를 스마트폰 카메라를 통해 인식하여 이를 음성으로 알려주는 것을 최우선적인 목표로 둔다. 장애물의 범위는 주 사용자가 될 시각장애인이 도보 이용 시 장애물로 느낄 수 있는 볼라드 및 자전거, 킥보드로 정한다. 또한, 사용자가 횡단보도를 건널 때 신호등이 초록불인지 빨간불인지 음성으로 알려주는 기능을 추가한다. 또한 시각장애인들이 별도의 장치를 구매해야 한다는 경제적 부담 없이, 기존 스마트폰 이용자라면 다운로드받은 후 사용 가능한 어플리케이션만을 통하여 간편히 이용할 수 있도록 하는 것을 목표로 한다.팀 편성 및 역할 구성원 성명 역할 한 일 팀장 김의송 팀장 팀장 요구분석 및 설계 요구분석 및 설계 구현 YOLO를 통한 장애물 집중 학습 및 어플 구현 발표 1차 발표, 최종 발표 팀원 서은빈 팀원 팀원 요구분석 및 설계 요구분석 및 설계 구현 텐서플로우를 통한 YOLO 연동 및 어플 구현 발표 및 보고서 작성 보고서 작성, 2차 발표 2. 문제 정의시각적 보조가 필요한 시각장애인 및 저시력자 등의 경우 보호자의 동행 없이 산책을 하거나 도보를 이용하여 목적지에 향할 경우 전방에 있는 장애물 및 움직이는 물체 등을 시각적으로 인식하기 어려워 자칫 사고로 이어지게 되거나, 거리의 간판 등을 시각적으로 인지할 수 없어 불편함을 겪는 경우가 빈번하다.시각장애인의 눈 이라고 할 수 있는 점자 보도블럭은 현재 잘못된 도로 포장으로 엉뚱한 방향을 안내하거나, 횡단보도나 보행 장애물 앞에 점자 보도블럭이 제대로 깔려 있지 않아 점자블록에만 의존하여 걷다 보면 자칫 볼라드와 같은 장애물을 사전에 인지하지 못하여 넘어지는 등의 사고로 이어지거나, 횡단보도 앞에 점자 보도블럭이 깔려있지 않는 경우 자칫 큰 사고로 이어질 수 있다. 이로 인한 불편을 호소하면 본인 과실이라는 답변만 돌아올 뿐, 배상을 받으려면 까다로운 절차를 거쳐야 하여, 그들은 억울하지만 자포자기하고, 도로 포장이라고 제대로 보수해달라고 요청할 수밖에 없다고 한다.이외에도, 음향 신호기가 설치된 신호등의 수는 적은 와중 음향 신호기는 작동이 되지 않는 경우가 많다. 심지어 음향 신호기 앞에 점자 블록이 있는 경우도 거의 없다. 또한 시각장애인에게 도움이 되는 안내견을 동행할 수 있는 곳도 제한되어 있기 때문에 혼자 도보를 위험할 경우, 시각적 보조 장치가 절실히 필요한 상황이다. 3. 문제 해결 아이디어요구 분석을 통하여 시각 장애인들의 불편함에 대하여 알아본 결과, 시각장애인들이 도보 이용 시 가장 위험하다고 느끼는 장애물들을 위험 물체로 분류하였다. 또한 신호등의 음향 신호기 기능을 추가하여 사용자가 횡단보도를 건널 때 보조할 수 있도록 한다. 또한 시각장애인들이 별다른 경제적 부담 없이, 또 별도의 장치 없이 어플리케이션만을 통하여 간편히 이용할 수 있도록 하는 것을 목표로 한다. 시각적인 보조를 위해 스마트폰 카메라를 이용해 장애물에 해당하는 객체를 인식할 수 있도록 한다. YOLO를 이용하여 자전거, 킥보드와 같은 유동 객체나 볼라드, 신호등 등을 장애물로 인식할 수 있도록 집중 학습시킨 후 학습 결과를 pb파일로 추출하여 텐서플로우를 이용하여 이를 안드로이드 스튜디오와 연동시킨다. 이후 스마트폰 카메라를 통해 실시간으로 학습된 객체가 인식되면 학습된 객체가 인식될 때마다 음성으로 추출하여 전방과 왼쪽, 오른쪽에 객체가 있음을 알려 사용자가 장애물을 피할 수 있도록 한다. 또한 횡단보도에서 신호등의 신호가 초록불인지 빨간불인지 인식할 수 있도록 하여, 횡단보도를 건널 때 편의를 제공하도록 하며 횡단보도가 초록불에서 빨간불로 바뀌거나, 반대로 빨간불에서 초록불로 바뀔 때도 음성으로 안내해주도록 한다.어플리케이션 사용 시, 시각장애인이 어플리케이션을 사용할 때 쉽게 버튼을 눌렀음을 알 수 있도록 버튼을 눌렀을 때 진동으로 알려주는 기능을 추가하며, 어플리케이션 시작 화면에서 음성으로 사용 방법을 안내한다.4. 개발 환경운영체제 : Window 10개발언어 : Python(Python3.7) 및 Java개발도구 : Android Studio 4.2.1머신러닝 모듈 : OpenCV + Yolov3텐서플로우 버전 : tensorflowgpu1.13.1CUDA : 10cudnn : 7.4.15. 시스템 기능어플의 산책 도우미 기능에서는 스마트폰 카메라로 비치는 화면에서 전방에 미리 장애물로 분류시켜 학습시킨 객체가 인식되면 음성으로 안내하는 기능을 제공한다. 위의 화면과 같이, 예를 산책 도우미 기능에서 킥보드 객체가 인지되면 멀리서부터 가까이 다가올 때까지 학습한 객체가 잘 인식되는 것을 확인할 수 있으며 전방에 킥보드가 있습니다. 라는 음성으로 사용자에게 위험을 알린다. 자전거와 볼라드를 인식할 경우도 마찬가지로 전방에 [객체]가 있습니다. 라는 음성을 출력한다.또한 사용자가 다가오는 킥보드나 자전거, 고정 장애물인 돌기둥 등이 전방에 있는지, 좌측 또는 우측에 있는지 모르기 때문에 더 정확하게 위험을 알릴 수 있도록 처리하는 방법으로서, 화면의 중앙부에 객체가 인식될 경우 전방에 [객체]가 있습니다. 라는 문구를, 객체가 화면의 좌측에 인식될 경우 [객체]가 전방 왼쪽에 있습니다. 라는 문구를, 우측의 경우 [객체]가 전방 오른쪽에 있습니다. 라는 문구를 음성으로 출력한다. 신호등이 빨간불일 때를 인식할 경우 전방에 신호등이 있으며 빨간불입니다. 라는 음성 안내를 통하여 사용자에게 전방에 신호등이 있음을 알린 후, 신호등이 빨간불에서 초록불로 바뀔 때는 신호등이 빨간불에서 초록불로 바뀌었습니다. 라는 문구를, 반대로 초록불에서 빨간불로 신호가 바뀔 때는 신호등이 초록불에서 빨간불로 바뀌었습니다. 라는 문구를 음성으로 출력하여 사용자에게 알림으로써 음향신호기 역할을 수행한다. 어플의 메인 화면에서 문자 인식 버튼을 누르거나 산책 도우미 화면에서 문자 인식 버튼을 누르면 문자 인식 화면으로 전환되며 텍스트를 사진 촬영하면 이를 인식하여 음성으로 읽어주는 기능을 제공한다.문자 인식 화면에서 사진 촬영 버튼을 눌러 텍스트가 있는 사진을 촬영하면 이를 인식하여 수 초 이후 문자 인식 화면에 텍스트가 출력되며 이를 음성으로 출력한다. 그 과정은 아래와 같다. 사용자 인터페이스 어플이 시작되면 2초 동안 로딩 화면이 나타나게 되며, 이후 메인 화면으로 전환된다.메인 화면 좌측 상단의 스피커 아이콘을 누르면 산책 도우미 기능을 이용하시려면 좌측 하단 버튼을, 문자 인식 기능을 이용하시려면 우측 하단 버튼을 눌러주세요. 라는 어플 사용에 대한 음성 안내를 출력한다. 좌측 하단 산책 도우미 버튼을 누르면 진동을 통해 버튼이 눌렸다는 것을 알려주며 산책 도우미 기능을 시작합니다. 라는 음성 안내와 함께 산책 도우미 화면으로 전환된다. 마찬가지로 우측 하단의 문자 인식 버튼을 누르면 진동과 함께 문자 인식 기능을 시작합니다. 라는 음성이 출력된 이후 문자 인식 화면으로 전환된다. 메인 화면에서 산책 도우미 버튼을 누르면 진동 및 음성으로 화면이 전환됨을 알린 이후 위와 같은 산책 도우미 화면이 나타난다. 별도의 버튼을 누르지 않아도 객체 인식이 바로 진행되며, 장애물로 분류해둔 객체가 인식될 경우 음성으로 이를 알리는 기능을 수행한다. 자세한 기능은 시스템 기능에서 언급하였으므로 생략한다. 하단의 문자 인식 버튼을 누르면 진동과 함께 문자 인식 기능을 시작합니다. 라는 음성 메시지가 나온 후 문자 인식 화면으로 전환된다. 텍스트가 정자체로 쓰여진 사진을 촬영할수록 인식률이 높다.문자 인식 화면에서 하단의 사진 촬영 버튼을 누르면 진동과 함께 사진 촬영 이라는 음성이 출력되며 사진 촬영 화면으로 전환된다. 텍스트가 있는 부분을 사진으로 촬영한 이후 문자 인식 로딩 화면으로 전환되면 잠시만 기다려주세요. 결과가 여기에 나타납니다. 라는 음성 안내가 나오게 되며 수 초 이후 문자가 인식되면 이를 음성으로 읽어준다. 6. 실험 및 평가해당 시스템에서 가장 중요하다고 생각하는 부분은 위험 요소(객체)를 인지하기 위한 학습 데이터 수집 및 가공이라 생각한다. 1차적으로 구글 크롤링을 통해 객체에 대한 학습데이터를 수집하여 학습을 돌렸으나 해당 이미지들이 해상도가 낮을 뿐만 아니라 조건에 부합하는 데이터가 많지 않았다. 따라서 데이터가 부족했기 때문에 학습에서 필요한 데이터 증강기법인 Data Augmentation을 사용하였다. 데이터 증강은 keras의 ImageDataGenerator을 사용하여 학습데이터를 더욱 효과적이고 과적합을 방지하는 방식으로 학습할 수 있도록 하였다.그 후 해당 객체들을 실시간으로 인식하여 사용자에게 알맞은 기능을 제공해주어야 했기 때문에 휴대폰 카메라를 안드로이드 스튜디오를 사용하여 학습파일을 연동하여 사용자에게 즉각적으로 영상의 정보를 제공하도록 하였다. 대체적으로 위험물체(킥보드, 자전거 등)에 대해서 정확한 인식을 보여줬으나 사용자가 먼 거리에서부터 인지를 하고 대처를 해야 한다는 프로젝트의 목표에 반해서 객체가 거리가 현저히 멀 경우 인식률이 떨어지는 모습을 보였다.또한 시각장애인이 보행 중 점자가 준비되어 있지 않은 텍스트를 인식하기 위해 구글API인 Tesseract를 사용하여 텍스트 인식 기능을 개발하였으나 해당 API가 요구하는 조건(12pt, 반듯한 글자, 배경 처리)이 아닐 시에는 정확도가 크게 떨어지는 모습이 보여 추후에 전처리와 글자 학습을 통해 인식률을 높인다면 시각장애인에게 더욱 편리한 기능을 제공할 수 있을 것으로 기대한다.7. 프로젝트 결과물프로젝트 결과, 별도의 카메라 디바이스 또는 장치 없이 사용자가 해당 어플로 산책 도우미 기능을 선택하면 전방에서 다가오는 객체 또는 고정 장애물인 돌기둥에 대하여 음성으로 전방에 장애물이 있음을 안내받을 수 있으며, 문자 인식 기능을 통해 사진 촬영으로 텍스트를 인식하여 음성으로 읽어주는 서비스를 제공받을 수 있다. 8. 기대 효과 및 활용 방안해당 어플리케이션의 이용을 통해 시각장애인 또는 저시력자 등 시각적 보조가 필요한 사용자가 보호자 또는 안내견의 동행 없이 산책하거나 도보를 이용할 때, 추가 장치나 장비 등의 구매 없이 간편하게 스마트폰만을 이용하여 사용할 수 있는 어플리케이션이므로 접근성이 높다는 장점이 있다. 또한, 스마트폰 카메라를 이용하여 전방의 고정 장애물이나 다가오는 물체를 인식하여 음성으로 알림을 받을 수 있으므로 도보 이용 시 생기는 사고를 방지하는 효과가 있다. 또한 글자를 인식하여 음성으로 변환하는 기능을 더 발전시키고 활용할 경우, 거리의 간판이나 메뉴판 등의 글자 또한 바로 음성으로 변환하여 사용자에게 편의를 제공할 수 있을 것으로 기대한다. [종합설계] 뉴스 도메인 질의응답 시스템 작성자 어태경 출품자 정보 어태경, 곽병욱 기대효과 검색모델과 질의응답 모델의 결합으로 정보탐색에 드는 시간을 효과적으로 줄일 수 있다. 또한 도메인 지식으로 사전학습된 언어모델을 사용하여 해당 도메인에 대한 전문지식의 학습 없이도 효율적이고 정확한 정보탐색이 가능하도록 한다. 추천 0 조회 1481 첨부파일 0 작성일 2021.06.17 프로젝트 개요 - 사람들은 본인의 질문에 대한 답을 얻기 위해서 많은 문서들을 읽고 이해하여 답을 얻어낸다. 예를 들어, 사회적 이슈나 최신기술의 소식 등을 검색하고 여러 가지 뉴스, 웹, 커뮤니티 게시판 등을 탐색하여 원하는 답을 얻는다. 하지만 이러한 과정에서 생기는 불필요한 문서에 대한 독해과정이 여러분들의 소중한 시간을 빼앗아가고 있다. - 이런 문제를 해결하기 특정 도메인에 한정하여 질문에 대한 적절한 답변을 제시할 수 있는 QA System이 많이 연구되고 있다. 하지만 사람들이 원하는 정보의 분야는 다양하고 분야마다 정보탐색을 위해 요구되는 문서의 종류는 다르다. 기존 QA 시스템은 한정된 문서와 같이 정적으로 구성되어 있는 문서를 토대로 답변을 제공해서 최신 정보와 같은 이슈관련 질문에는 적절한 답변을 제공하기 힘들다. - 따라서, 본 프로젝트에서는 여러 분야의 뉴스 질의응답 데이터셋을 이용하여 QA모델을 학습하고 사용자 질의와 관련된 문서탐색을 실시간으로 수행하여 최신 정보를 바탕으로한 질의응답을 제공할 수 있는 시스템을 제안한다. 또한 최근 영어 기계독해 데이터셋인 Squad2.0에서 좋은 성능을 보이고 있는 Retrospective Reader구조를 적용하여 단일 MRC모델에 비해서 질문에 대한 정답이 없는 경우를 잘 분류해내고자 한다. 프로젝트 목적 및 필요성 - 사람들은 궁금증을 해결하기 위해서 길고 복잡한 문서들을 읽어야만 한다. 이 과정에서 불필요하고 부정확한 정보들 때문에 해답을 얻기 위해서 많은 시간이 허비된다. 방대한 정보를 담고 있는 장문의 문서를 마치 사람에게 물어보듯 자연스럽게 질문하는 것만으로 특정 정보를 찾을 수 있다면 이러한 불필요한 소요시간을 줄일 수 있을 것이다. - 뉴스기사 문서들을 활용함으로써 최신 정보에 기반 하여 답변을 제공할 수 있다.대표적인 정보탐색을 위한 웹문서라고 할 수 있는 위키백과와 같은 경우 많은 정보를 담고 있지만, 최신정보를 포함하는 데는 시간적인 한계가 있다. 이 때문에 다양한 분야의 이슈와 같은 정보들은 문서에서 제공하지 못한다. 하지만 뉴스의 경우 경제, 정치, 사회, 생활/문화, 세계, 스포츠, IT/과학 등 굉장히 많고 다양한 분야의 정보들을 담고 있는 것은 물론 끊임없이 업데이트 되며 최신 소식들을 전달하는 특징이 있다. 따라서 뉴스기사 본문을 질의응답 시스템을 위한 문서로 사용하여 이슈와 관련된 질문에 대해서도 적절한 답변을 제공할 수 있을 것이다. - 사람들의 최신소식을 찾는 이용행태 또한 크게 변했다. 최신뉴스를 찾아 읽기보다 포털이 메인에 편집한 뉴스, 지인이 SNS를 통해 공유한 뉴스, 커뮤니티 등을 통해 화제가 된 뉴스 등을 선별해 읽는 사람이 다수가 됐고, 그 한 줌의 뉴스만이 독자, 시청자들에 직접 도달하는 시스템이 됐다. 이러한 변화는 최신 소식을 원하지만, 직접 정보탐색을 하는 것에 대한 귀찮음과 들어가는 시간소모를 꺼리는 사람들의 모습을 반증하는 것이라고 볼 수 있으며, 질문 하나만을 통해서 원하는 정보를 얻을 수 있는 질의응답 시스템의 필요성이 더욱 부각된다고 볼 수 있다. 문제 정의 - 사람들은 원하는 정보를 얻기 위해 길고 복잡한 문서들을 읽어야만 한다. 이러한 과정에서 필요 이상으로 많은 시간을 허비하게 된다. - 사람들이 원하는 정보의 분야는 다양하고 분야마다 정보탐색을 위해 요구되는 문서의 종류는 다르며, 기존 QA 시스템은 한정된 문서와 같이 정적으로 구성되어 있는 문서를 토대로 답변을 제공해서 최신 정보와 같은 이슈관련 질문에는 적절한 답변을 제공하기 힘들다. - 사람들이 정보를 얻기 위해 사용하는 매체는 TV나 신문에서 디지털 매체로 넘어간 추세이다. 이는 (따라서 사용자가 원하는 정보를 제공하기 위해서는 디지털 매체를 통해 전달되는 정보를 활용할 필요가 있다.) ? - 정보탐색을 위해 찾게 되는 많은 문서들이 모두 신뢰성을 보장할 수는 없다. 이 때문에 더 많은 문서탐색을 하게 되고 정보를 얻기 위한 시간소요는 더욱 커지게 된다. 또한 특정 문서만을 통해서 정보를 습득하게 되면 편향된 지식을 습득하는 문제가 발생할 우려가 있다. 문제 해결 아이디어 - 방대한 정보를 담고 있는 장문의 문서를 마치 사람에게 물어보듯 자연스럽게 질문하는 것만으로 특정 정보를 찾을 수 있다면 이러한 불필요한 소요시간을 줄일 수 있을 것이다. 따라서 주어진 질문과 관련 문서에서 적절한 답을 제시하기 위한 질의응답 시스템을 개발한다. - 뉴스기사의 경우 경제, 정치, 사회, 생활/문화, 세계, 스포츠, IT/과학 등 굉장히 많고 다양한 분야의 정보들을 담고 있는 것은 물론 끊임없이 업데이트 되며 최신 소식들을 전달하는 특징이 있다. 따라서 뉴스기사를 기반으로한 질의응답 시스템을 구축하여 다양한 분야에 대한 그리고 최신 이슈에 대한 질의 또한 적절한 답을 제시할 수 있도록 한다. - 한국언론진흥재단의 2018 언론수용자 의식조사 에 따르면 종이신문 열독률은 1993년 87.8%에서 2018년 17.7%로 급감해 종이신문을 읽은 이와 읽지 않은 이의 비율이 거의 정반대가 됐고, TV 뉴스 이용률은 그보단 낫지만 2010년대 들어 하루 평균 이용 시간이 50분대에서 30분대로 뚝 떨어졌다. 독자, 시청자들이 종이신문과 TV에서 이탈해 인터넷과 모바일로 옮겨간 영향이었다. 미디어 이용의 경로의존성을 고려할 때, 향후 디지털 매체의 활용 비중은 계속해서 증가할 것이다. 따라서 많은 사람들이 이용하는 포털뉴스를 정보탐색을 위한 문서로 활용해서 질의에 대한 응답의 적절성과 만족도를 높이고자 한다. (종이 신문과 TV 뉴스 이용률이 급감하는데 반해, 모바일 뉴스 이용률은 급증한다.) - 미디어별 뉴스 이용률 추이(2011~2018) - (종이 신문과 TV 뉴스 이용시간이 급감함을 볼 수 있다.) - 미디어별 뉴스 이용시간 추이(2006~2018) - - 모든 정보들이 뉴스를 통해서 보도되는 것이 아니기 때문에 뉴스기사는 다음의 특징들을 가진다. 사회적 유의미성 , 사실성 , 공평성 , 설명성 , 시의성 등이 그 특징들이다. 따라서 뉴스기사는 사람들의 궁금증, 알 권리, 지식전달 등의 목적성을 띄고 사실화 가능한 정보를 전달하며 그 내용을 충분히 설명하고 최신 정보들을 다룬다. 때문에 전문서적에 비할 바는 아니지만 어느 정도의 신뢰성을 보장할 수 있으며, 특정 보도사의 기사만을 반영하는 것이 아닌 여러 보도사의 기사 내용들을 구분 없이 반영하여 편향된 정보전달의 문제성을 최소화한다. 시스템 개요 - 시스템의 전체적인 흐름은 다음과 같은 순서로 이루어진다. 1) 웹서비스를 이용하는 시스템 사용자들의 질의 입력2) 입력된 질의 내용을 웹서버로 전달3) 질의 관련문서 탐색 및 웹크롤링4) 수집된 문서와 사용자 질의를 이용한 QA모델의 정답예측5) 문서내용과 예측된 정답들을 웹페이지로 전달6) 웹서버로부터 전달받은 정답을 사용자 화면에 출력- 다음은 이러한 시스템의 소프트웨어 아키텍처이다. Web Page- Client 관점에서 해당 소프트웨어는 검색을 위한 Web Page를 인터페이스로 제공하며 이는 Mobile과 PC 접속환경을 모두 제공할 수 있는 웹 브라우저 환경으로 구성된다. 웹 인터페이스는 SPA(Single Page Application)로 구현되어 사용자를 위한 Search page와 Result page를 구분 짓지 않고 하나의 단일 페이지로 보여준다. 이러한 SPA 방식은 페이지의 렌더링 없이 새로운 정보를 로딩하여 네이티브 앱과 유사한 사용자 경험을 제공하기 위하여 사용되었다. 사용자가 원하는 키워드를 검색하면 Flask 기반으로 구축된 Server로 AJAX 비동기 통신방식을 이용하여 AJAX Request를 요청한다. Web Server- Web Crawling content : Server에서 사용자 입력을 HTTP Get 메서드를 통해 받아오고 질의어에 기반 하여 구글검색엔진을 이용해서 여러 문서들을 탐색하고 신뢰할 수 있는 뉴스보도사의 기사 본문만을 크롤링하는 과정이 이루어진다. 이렇게 크롤링된 본문 내용들은 정답을 예측하기 위한 QA모델에 Input으로 들어가기 위한 형식인 squad폼으로 변환되기 위해서 전처리 과정을 거친다. 이후 Model API Server와 통신하여 얻은 예측정답들을 score를 기준으로 정렬 후 AJAX Response를 위한 json폼으로 변환하여 Web page로 전달한다. 이렇게 전달된 정보는 사용자 화면에서 어떠한 렌더링 없이 리스트 형식으로 보여질 수 있게 된다. - Model API Server : QA 모델은 Retrospective Reader 구조의 QA모델을 사용하며, 이는 KoELECTRA Question Answering Model과 KoELECTRA Sequence Classification Model 두 개 모델 각각의 예측 score를 조합한 값을 사용함을 의미한다. 사용자 입력 키워드를 기반으로 예측되어진 여러 정답들을 반환한다. 이러한 모델은 BentoML을 이용해서 Web Server에게 API로 서빙한다. 개발 환경 구 분 항 목 적용내역 S/W 개발환경 OS Windows 10 통합 개발 환경 실행 Ubuntu 20.04 (LTS) GPU 구동가능한 Docker container기반 서버 환경 Ubuntu 18.04 (LTS) Flask기반의 웹서버 구축 개발환경(IDE) Visual Studio Code 리모트 서버에 접속하여 원격 개발 Jupyter lab 셀 단위 개별 컴포넌트 실험용 개발도구 Flask 웹서버 백엔드 프레임워크 pytorch 딥러닝 프레임워크 huggingface 자연어처리 관련 프레임워크 bentoml 딥러닝 모델 서빙 프레임워크 jQuery 클라이언트 사이드 조작 코드 단순화 위한 자바스크립트 라이브러리 bootstrap HTML, CSS, JS 이용 웹사이트 개발 관련 프레임워크 BeautifulSoup HTML과 XML 문서를 파싱하기위한 파이썬 패키지 개발언어 python 데이터 전처리, 딥러닝 모델링, 웹 백엔드 코드 작성 html, css, js 웹 프론트엔드 코드 작성 시스템 기능 1)문서탐색 - 웹 인터페이스로 제공되고 있는 사용자 서비스를 통해서 사용자의 질의를 입력받으면 질의에 해당하는 정답을 예측하기 위해서 관련문서가 요구되며, 이러한 관련 문서를 탐색하기 위한 기능이다. - 사용자 질의와 K 값이 입력되면 HTTP Get method를 통해서 Flask기반의 웹서버가 전달받고 문서탐색을 위해 BeautifulSoup 패키지를 기반으로한 웹크롤링 python 함수를 호출한다. 해당 함수는 사용자 질문의 키워드를 기반으로 구글 검색엔진을 활용하여 문서검색을 실행하게 된다. 검색결과 페이지에서 문서를 링크시키기 위해 사용하는 태그(Tag)인 tag와 속성을 찾아 여러 웹페이지의 링크들이 포함된 영역만을 얻어낸다. tag 이용 추출 속성 이용 추출 - 이후에는 href를 통해서 얻은 웹페이지의 링크가 뉴스보도사 인지를 확인하고 해당하는 본문 html tag와 디코딩 타입을 이용해서 뉴스본문을 크롤링한다. 이러한 과정을 위해 먼저 여러 뉴스 보도사에 해당하는 href 주소값을 key로, 뉴스 본문에 해당하는 html tag, 디코딩 타입, 뉴스 보도사명을 value로 저장해둔 dictionary를 사용한다. 뉴스 보도사 예시(본 프로젝트에서는 50개 보도사의 정보 활용) 크롤링된 뉴스 본문내용 - K개의 문서가 확보되지 않았다면 검색결과 페이지에서 다음 페이지를 탐색하며, 반복된 탐색으로 K 개의 문서가 확보되었다면 문서내용, 뉴스원문 링크, 뉴스보도사 정보를 포함시키도록 squad form으로 변환하여 QA모델에 전달하게 된다. 최종 반환 형태 2)정답예측 - 검색 결과 반환된 상위 K개의 문서에 대해서 기계독해를 수행한다. 질문과 주어진 문맥을 하나의 시퀀스로 이어 모델에 입력한다. 모델은 KoELECTRA를 사용하였으며 최대 시퀀스의 길이가 512이기 때문에 토큰을 128개씩 슬라이딩하여 여러개의 시퀀스를 만들어내고 모든 시퀀스를 고려하여 정답을 예측한다. 정답을 예측하는 경우는 크게 2가지로 나뉜다. 모델이 지문에 질문에 대한 정답이 있다고 판단하는 경우와 정답이 없다고 판단하는 경우이다. - 첫째, 주어진 문서에서 질문과 관련된 정답 span을 찾는 과정이다. 모델의 출력값에서 정답의 시작의 회귀값과 끝의 회귀값의 합이 상위 N(=20)개의 정답 후보들을 저장한다. N개의 후보들을 회귀값의 합의 내림차순으로 정렬하고 Softmax 함수를 취하여 주어진 N개의 후보군 내에서 가장 상위 값의 확률값을 구한다. - 둘째, 주어진 문맥에 정답이 있는지 없는지 판별하는 과정이다. 질문에 대한 답이 존재하지 않음에도 답을 도출하는 경우가 있기 때문에 모델의 출력 회귀값을 점수화하여 임계값을 기준으로 답이 있고 없고를 분류한다. 사용자 인터페이스 - 사용자 인터페이스는 PC와 Mobile 환경을 모두 고려하여 개발되었다. - 사용자 인터페이스 (PC) 1) 웹페이지 접속 초기화면 - 사용자 질의를 입력 가능한 입력창, 검색버튼, 탐색할 문서의 개수지정을 위한 레이블 그리고 웹서비스 이해를 돕기 위한 툴팁이 존재한다. 2) 툴팁 설명 예시 - 시스템의 간단한 설명과 K 레이블의 의미 그리고 적절한 질문형식을 제시한다. 3) 로딩 화면 - 사용자 질의를 검색하는 도중엔 다음과 같이 로딩화면을 gif로 보여준다. 4) 정답 출력 화면 - 예측된 정답의 결과를 정답확률, 예측정답, 문서내용, 원문출처, 보도사명과 함께 리스트 형식으로 제공한다. - 사용자 인터페이스 (모바일) 1) 웹페이지 초기 접속화면 2) 툴팁 사용 예시 3) 로딩 화면 4) 정답 출력 화면 실험 및 평가 1) 모델 성능평가General - 변환한 코쿼드의 데브셋 약 13만개를 평가 데이터로 사용 - Soft/Hard 필터링 모델에 대한 평가 수행 Soft 필터링 - Retrospective Reader 구조를 한국어 기계독해에 적용 - SketchReading, IntensiveReading의 정보를 합산하여 정답을 검증 - 가중치 변수는 추론 정보의 조합 비율을 말 - 아래와 같이 두 가지 모듈의 정보를 적절히 반영했을 때 NoAnswer 분류 성능이 더 좋음을 알 수 있었음 Hard 필터링 - 문단별 선별적으로 독해하는 상황을 가정함 - SketchReading 에서 정답이 없다고 판별한 경우 과감히 Skip - 추론 효율 향상과 정답이 없는 문단을 독해하여 발생할 수 있는 Negative bias를 줄이고자 함. - 하지만 필터링 비율에 따라서 성능저하 발생 - 따라서, Positive example의 추론여부가 중요한 기계독해에선 Soft필터링 방식이 적절함을 보임 Domain-Specific - AIHUB 기계독해 데이터 셋 35만개의 일부를(20%) 평가 데이터로 사용 - 단일 모델에 대한 평가만 수행 - NoAnswer 분류 시 사용하는 임계값을 변경하며 실험 - 전체적인 성능치를 고려하여 임계값을 0으로 설정하여 모델을 서빙하기로 결정 2) 설문조사 결과 - 10명의 삼성 소프트웨어 교육생(SSAFY)들을 대상으로 웹서비스에 대한 설문조사를 실시하였다. 동일 사용자들은 사전에 적절한 답변을 제공할 수 있다고 평가된 질문들로 구성된 질문리스트를 이용한 경험과 자율질문을 통한 경험 두 가지를 바탕으로, 같은 설문 질문을 포함하여 조사를 수행하였다. - 결과적으로 질문리스트를 제공했을 때는 사용자들이 전반적으로 서비스에 만족했지만, 자율질문을 수행한 경우 설문조사 결과는 정확성에 대한 만족이 상대적으로 낮게 집계되었다. 이러한 이유는 시스템이 사용자들의 다양한 질문유형을 모두 만족시킬 수 없었기 때문이다. 예를 들어, 적절한 답변을 제시할 수 있는 질문의 형식은 하이퍼 클로바가 뭐야? , 이준석이 누구야? 와 같이 특정 개념, 인물에 대한 구체적(what, who)인 정보요구를 하는 경우이고 관련 뉴스기사가 필요하므로 사회적으로 잘 알려지거나 최근 이슈와 관련된 주제에 대한 질문일 경우 좀 더 적절한 답변을 제공할 수 있다. 하지만, 실제 자율질문에서 사람들은 얀센 , 감기 와 같은 의문형이 아닌 키워드만을 입력하거나 대선이 언제야? 와 같이 특정 시기를 유추할 수 없는 질문을 하였고 이러한 경우 적절한 예측답변을 제공할 수 없었다. - 따라서 다양한 질문유형에 대한 정확성의 한계를 극복하기 위해서 첫 번째로, 많은 질문유형에 대한 데이터 셋을 추가적으로 확보하여 모델의 학습을 개선하는 방식이 있다. 이러한 경우 사람들이 요구하는 방대한 분야와 질문유형을 모두 확보할 때 드는 시간적, 금전적 비용을 추가적으로 부담해야 할 수 있다. 두 번째로, 사용자 질문의 유형을 파악하는 질문 검색모델을 추가적으로 도입하여 질문의 의도를 파악하고 적절한 형식으로 변환하여 사용하는 것이다. 결론 1) 프로젝트 결과물 웹 인터페이스- PC와 Mobile 환경에 구애받지 않고 동일한 기능으로 사용자 서비스를 제공할 수 있었다. - SPA웹을 구성하여 렌더링 없이 새로운 정보를 로딩하여 네이티브 앱과 유사한 사용자 경험을 제공하였다. - 탐색문서의 개수 K를 사용자 지정 값으로 그리고 QA시스템 이용설명 툴팁을 두어 웹서비스를 이용하는 사용자의 유연성과 사용편리성을 고려하였다. - 사용자 이해를 고려하여 예측정답의 정답확률 기반 내림차순으로 제공하고 정답확률, 예측정답, 문서내용, 원문링크, 보도사명을 사용자 화면에 제공하였다. 웹 서버 구축 - Ubuntu(18.04 LTS)서버에 Flask 기반의 웹서버를 구축하여 End user의 입력을 Ajax 비동기 통신방식으로 수신 및 전달하였다. - 문서검색 기능 수행과, 질의응답 모델 API 사용을 통해 시스템을 연동하여 동작할 수 있도록 하였다. 관련 문서 탐색 기능 - 사용자 질의 관련문서 탐색을 위한 Selenium기반의 웹크롤링 기능을 개발하였다. - 구글 검색엔진을 활용하여 사용자 질문 키워드를 토대로 관련 뉴스기사의 본문만을 추출할 수 있다. - 사전에 50개의 뉴스 보도사 정보를 파일로 저장하여, 50개의 보도사 뉴스에 대해서만 크롤링을 수행하였다. 질의응답 모델 구축 - 대용량 한국어 말뭉치로 학습된 ELECTRA[7]인 KoELECTRA-small 모델을 사용하였다. - 정답분류도가 높은 이진분류, QA모델 기반의 dual-MRC 모델과 더 빠른 수행속도의 QA모델 기반 single-MRC 모델을 모두 구축하였다. - korquad 2.0v 데이터 셋을 이용한 fine-tunning과 뉴스기사 QA 데이터 셋을 이용한 domain-specific 모델학습을 수행하였다. Github Repository로 프로젝트 결과 공유 - 본 프로젝트는 KoELECTRA, Huggingface, BentoML 등과 같은 많은 오픈소스 라이브러리들을 참고해서 구현한 시스템이다. - 저희 팀이 여러 가지 소스들에 도음을 받은 것처럼 딥러닝 기반 자연어처리에 관심이 있는 개발자들이 본 결과물을 참고하여 더 좋은 결과물을 낼 수 있도록 공유하고자 한다. - 또한, 커밋 로그를 통해 개발 진행사항을 파악하고 추후 지속적으로 시스템이 업데이트 될 수 있도록 Github를 통해서 관리하고자 한다. 2) 기대 효과 및 활용 방안 - 사회적 이슈나 최신기술의 소식 등을 검색하고 여러 가지 뉴스, 웹, 커뮤니티 게시판 등을 탐색하여 원하는 답을 얻는 과정에서 생기는 불필요한 문서에 대한 독해과정을 제거하여 정보탐색의 시간을 절약하게 될 것이다. - 기존 QA시스템과 달리 실시간으로 다양한 분야의 뉴스기사들을 탐색하여 유동적으로 문서를 구성하기 때문에 최신 정보와 같은 이슈관련 정보제공에 상대적으로 뛰어나며, 뉴스 보도사의 특정한 구분 없이 문서를 탐색하여 편향된 정보습득을 예방할 수 있을 것이다. - 다양한 질문유형에 대한 정확성의 한계를 사용자 질문의 유형을 파악하는 질문 검색모델의 추가적인 도입으로 추상적이거나 의도가 불문명한 질문에 대해서도 기존보다 정확한 정답을 예측하여 제공해줄 수 있을 것이다. - 추후 MRC기반 챗봇에 적용하여 접근성을 높여서 보다 많은 사람들이 수많은 문서를 읽어보지 않고도 쉽고 빠르게 원하는 답을 얻을 수 있을 것이다. GitHub link ➝ https://github.com/taekyoungeo/News-Domain-Question-Answering-System서비스 데모 링크(평가기간에 서버 구동 예정) ➝ http://210.117.182.235:8080/ http://210.117.182.236:8080/ http://210.117.182.237:8080/ http://210.117.182.239:8080/ ※ PC, 모바일 접속가능 (단, 최신 크롬, 삼성 인터넷, 사파리 브라우저에서 정상적으로 동작함) [종합설계] YOLO를 활용한 냉장고 관리 어플리케이션 작성자 한상현 출품자 정보 한상현, 김영한 기대효과 냉장고 내부의 재료를 효율적으로 활용할 수 있는 방법을 제시해 음식물 쓰레기 배출량을 최소화할 수 있습니다. 추천 0 조회 2058 첨부파일 1 작성일 2021.06.17 1. 서론1.1 프로젝트 목적 및 필요성∙ 통계청에 따르면 1인 가구 비중 추이는 2019년 기준 30%이며 1인 가구의 수는 미래에도 꾸준히 증가할 것으로 예측되었으며 이에 따라 1인 가구 시장 또한 확장될 것으로 기대됩니다.∙ 또한 최근 지속적인 인기를 끌고 있는 쿡방, 먹방과 함께 요리정보에 대한 수요도 급증하고 있는 추세입니다. 요리정보에 대한 수요는 가족 단위의 가구에서만 많은 것 같지만 1인 가구의 수요도 이에 못지않습니다.∙ 따라서 위의 문제를 위한 서비스가 필요할 것으로 요망되는데 기존에 많은 요리 추천 어플리케이션이 존재하지만 이러한 어플리케이션의 추천 방식은 사용자의 냉장고 상황 즉, 재료를 고려하지 못한다는 점에서 한계가 있습니다.∙ 이에 저희 프로젝트는 냉장고 내부의 재료를 이미지 인식하여 재료를 관리 용이, 재료에 따른 레시피를 추천하는 서비스를 제공합니다.1.2 프로젝트 목표 및 범위∙ 프로젝트 목표 : 사용자들이 냉장고 관리와 재료 선택을 수월하게 함으로써 음식물 쓰레기를 줄이고 효율적인 식습관을 가질 수 있다. ∙ 수행할 범위 : 가정 혹은 조직등 냉장고가 사용되는 모든 환경에서 사용 가능.2. 본론2.1 문제 정의∙ 1인 가구 증가와 코로나 19로 인해 집에서 식사 빈도가 많아지고 있다. ∙ 냉장고에 무슨 재료가 있는지 한 눈에 파악하기 어려워서 재료를 100% 사용하지 못해 음식물 쓰레기 배출량이 늘어난다. ∙ 기존에 많은 요리 추천 어플리케이션은 사용자의 냉장고 상황 즉, 재료를 고려하지 못한다. 2.2 문제 해결 아이디어∙ 냉장고에 무슨 재료가 있는지 한 눈에 파악하기 어려운 문제점을 해결하고자 저희 프로젝트는 냉장고 내부의 재료를 이미지 인식하여 재료를 관리 용이, 재료에 따른 레시피를 추천하는 서비스를 제공합니다. ∙ 기존의 냉장고 외부에서 사진을 찍은 뒤, 넣는 불편함을 보완하기 위해 냉장고 내부의 카메라를 통해 냉장고 내부의 재료를 한번에 인식. 2.3 관련 기술의 현황가. 냉장고를 부탁해구글플레이에 배포되어있는 모바일 어플리케이션.냉장고 내부의 유통기한을 체크하는 기능.한계 : 인공지능을 통한 재료 확인 기능이 아닌 사용자가 직접 상품을 등록/메모해야 함. 나. 밥타임구글플레이에 배포되었다가 삭제된 모바일 어플리케이션.냉장고 내부의 재료를 체크, 그에 따른 레시피 추천해주는 기능.한계 : 위 어플리케이션과 마찬가지로 직접 상품을 등록/메모해야 함. 다. 삼성전자 2020년형 패밀리허브삼성전자에서 세계 최대 IT, 가전전시회 CES 2020에 참가해 공개한 패밀리허브 냉장고.패밀리허브 냉장고는 푸드 AI 기술을 적용하여 내부 식재료 자동 인식, 맞춤형 식단 및 레시피 제공, 식료품 온라인 주문 간편화 등을 실현.3. 프로젝트3.1 시스템 개요3.2 설계 조건1) 현실적 제한요소 제한요소 내용 고려여부 1. 산업표준 최신 트렌드 및 호환성 고려 █ 2. 경제성(원가) 최적의 비용 추산 및 적용 █ 3. 환경에 미치는 영향 설계 결과물이 환경오염을 유발할 가능성 █ 4. 윤리성 정보 및 인터넷 윤리 고려 █ 5. 안정성(안정성) 보안성 점검 ☐ 6. 정치,사회에 미치는 영향 설계 결과물이 정치 사회적으로 미치는 영향 █ 1. 산업 표준 : AOS, IOS 두 플랫폼에 쉽게 배포할 수 있는 React_native를 사용해 최신 트랜드 기술을 이용했다.2. 경제성 : 웹 카메라 구매 비용과 서버 운영비만 발생한다.3. 환경에 미치는 영향 : 음식물 쓰레기 배출량을 줄여서 오히려 환경에 도움을 준다.4. 윤리성 : 인터넷 데이터를 사용하지 않고 실제 재료들을 구매해 찍은 데이터로 학습했다.5. 안정성 : 회원가입 부분에서 일반적인 db에 저장하는 방식이라 보안성 문제가 발생할 수 있을 것 같다.6. 정치, 사회에 미치는 영향 : 사회적 이슈인 코로나 19에 조금이나마 도움이 되고자 한다.3.3 개발 환경∙ H/W : 웹 카메라∙ S/W- 개발 환경 : VS Code, IntelliJ, Pycharm- OS : Window 이미지 학습, Mac 개발 3.4 시스템 기능시스템은 로그인 및 로그아웃 기능을 사용한다. 로그인한 정보를 DB의 기본키로 사용하여 나중에 이미지 인식한 데이터를 기본키에 맞는 DB에 저장한다. Object Detection 기능YOLO 기술을 통해 냉장고 내부의 재료를 이미지 인식.인식된 재료는 사용자 값에 맞는 DB로 저장된다.학습할 재료는 총 5개로 직접 촬영 후 Image Augmentation을 통해 데이터 수를 늘려 학습했다. 본 DB의 데이터는 추후에 재료 선택 기능에서 사용되어진다.DB에서 데이터는 사용자의 어플리케이션 FrontEnd로 전해지며, 재료의 유무에 따라 재료의 UI를 어둡거나 밝게 보여진다.냉장고 내부의 카메라 - 재료 인식 - 학습된 모델로 이동 - 재료의 인식 후 DB에 저장 - 저장된 정보를 Front에서 보여줌.재료 선택 기능검출된 재료 리스트에서 재료를 눌렀을 때 재료의 이름, 유통기한 등 관련 정보들을 나타낸다.검출된 재료 리스트에서 재료를 눌렀을 때 재료로 만들 수 있는 요리 정보를 나타낸다.만들기 쉽고 대중적인 요리를 우선으로 추천해준다. 메모 기능4.1. 레시피 정보, 장 볼거리 등 잠깐 정보들을 적어둬야 할 때 사용할 수 있는 기능이다.3.5 사용자 인터페이스3.6 실험 및 평가∙ 이미지 검출은 달걀, 양파, 오렌지, 양배추, 오이 총 5개를 기준으로 한다.- 학습한 데이터와 동일한 거리에 카메라를 설치하고 재료가 온전히 카메라에 나오게 테스트했을 때 결과는 매우 양호했다. - 학습한 데이터와 동일한 거리에 카메라를 설치하고 재료가 반쯤 가려진 상태로 카메라에 나오게 테스트했을 때 결과는 오이같은 길쭉한 재료는 검출이 잘 되는 편이었지만 그 외에 둥근 형태의 재료는 검출을 잘 하지 못했다. - 학습한 데이터보다 멀리 카메라를 설치하고 테스트 했을 때에는 오이같이 둥글지 않은 재료는 검출이 잘 되었지만 둥근 재료는 크기가 큰 재료를 크기가 작은 재료로 인식하는 경우가 있었다.ex) 양배추를 오렌지로 인식 ∙ 결과적으로 디테일한 부분까지 검출하기 위해서는 질좋은 데이터와 많은 학습 시간이 더 필요할 것 같다.4. 결론4.1 프로젝트 결과물4.2 기대 효과 및 활용 방안 기대 효과∙ 코로나 19로 인한 외식 빈도의 하락세와 각종 먹방의 인기가 계속해서 상승하고 있습니다. 더불어 1인 가구의 수는 지속적으로 증가하는 추세입니다. ∙ 이 프로젝트는 재료 기반을 통해 실용적인 추천 서비스를 제공함므로서 기존 요리 추천 서비스와 차별점을 가집니다. ∙ 냉장고에 남아 있는 재료를 효율적으로 활용할 수 있는 방법을 제시해 음식물 쓰레기 배출량을 최소화할 수 있습니다. ∙ 이 프로젝트를 통해 증가하는 요리 정보의 수요를 충족시킬 수 있으며 요리가 미숙한 1인 가구, 20~30대의 불편함을 해결해줄 수 있을 것입니다. 활용 방안∙ 사용자의 기호를 고려하지 않은 프로젝트이므로 사용자의 식습관 패턴을 수집하고 분석해 다양한 마케팅부분에서 활용할 수 있습니다. ∙ 프로젝트에 사용된 이미지 인식 기술을 이용해 요리 추천뿐만 아니라 다양한 서비스를 개발할 수 있습니다. ∙ 가정 냉장고 관리 : 냉장고내 음식물 관리 및 요리 추천 서비스 ∙ 대형 마트 냉장고 재고관리 및 유통기한 관리 [종합설계] 시각장애인을 위한 코디 도우미 작성자 양건희 출품자 정보 양건희(2018), 윤지영(2017) 기대효과 사용자(시각장애인)이 시각적 요소인 옷과 날씨에 대한 정보를 한번에 제공받아 외출 전 준비가 더 효율적이다. 시각 장애인들은 해당 애플리케이션을 통해 기억이나 촉감으로 얻을 수 있는 정보 이상의 정보를 제공받을 수 있다. 주변에 옷에 대한 조언을 구할 사람이 없는 상황에서도 옷의 종류에 대한 정보를 제공받아 날씨, 상황에 맞는 옷을 고를 수 있고, 옷의 패턴, 색깔, 날씨에 기반한 추천 정보를 통해 패션에 대한 욕구를 충족시킬 수 있다. 이 애플리케이션을 통해 비시각장애인과 시각장애인 간의 시각적 정보 격차를 조금이나마 해소할 수 있을 것이며 패션에 흥미를 가질 수 있는 또 다른 기회가 될 수 있다. 추천 0 조회 2123 첨부파일 0 작성일 2021.06.17 1. 문제 정의다수 시각 장애인들이 외출 전 옷을 코디할 때 여러 옷을 두고 채도나 명도를 비교하는 방법으로 색을 구분하고, 무늬에 대한 타인의 설명을 기억하여 옷을 각자 정해진 위치에 보관해두었다가 오직 그 기억에 의존하여 그 날 입을 옷을 고르는 모습을 확인할 수 있었다. 채도나 명도로 구분할 수 있는 색은 매우 한정되어 있고, 구분하는데 오랜 시간이 걸리기 때문에 비효율적이다. 기억에만 의존하여 옷을 코디하기 때문에 실수로 양말을 짝짝이로 신고 나가거나 상의, 하의의 색이 어울리지 않아 외출하고 나서야 남이 말해주는 경우가 종종 발생한다.또한 시각 장애인들은 온도를 제외하고 날씨(맑은 하늘, 구름 낀 하늘 등)를 확인할 수 없기 때문에 다수의 시각 장애인들이 외출 전 항상 인공지능 스피커를 통해 날씨 정보를 확인하고 그에 맞춰 코디 하는 모습을 확인할 수 있었다.위와 같이 인공지능 스피커를 통해 날씨를 확인한 후 여러 옷을 늘어놓고 채도나 명도를 비교하여 색을 구분하는 방법은 코디하는데 실수할 가능성이 높고 오랜 시간이 걸려 비효율적이라는 문제점이 있다.2. 문제 해결 아이디어1) 옷분류- 애플리케이션 내 카메라에 비추는 옷의 색을 구분하는 기능을 포함한다.- 체크 무늬, 레오파드, 스트라이프 등 다양해지는 옷 종류에 따라 기존의 시각장애인용 앱 서비스는 구별하지 못했던 옷의 무늬를 인식하는 기능을 포함한다.2) 코디 추천- 위치에 따른 현재 날씨(온도)에 맞는 옷차림을 추천하는 기능을 포함한다.- 날씨와 옷의 색, 무늬에 따른 코디 데이터셋과 직전에 인식한 옷 정보를 매칭하여 코디에 필요한 옷을 사용자에게 추천하는 기능을 포함한다.3) 음성 출력- 1), 2)에서 얻은 옷, 날씨, 코디 추천 정보를 음성으로 출력하여 시각장애인에게 정보를 전달한다.3. 시스템 구성도4. 시스템 기능1) Intro 화면애플리케이션 실행 시 나오는 첫 화면.- 사용자가 화면을 한 번 터치할 경우 애플리케이션의 전체적인 사용법이 음성으로 제공된다.- 사용자가 화면을 두 번 터치할 경우 다음 화면으로 넘어간다.2) 카메라 인식 화면Intro화면에서 화면을 빠르게 두 번 터치하게 되면 넘어가는 메인 화면. - 인식 버튼을 누르면 그 순간에 카메라가 인식하는 정보를 카메라 화면 하단부에 textView로 보여주고 음성으로 출력한다.- 아무 정보도 인식하지 못할 경우 위치를 다시 잡아주세요 라는 텍스트와 음성을 출력한다.- 날씨 버튼을 누르면 날씨 API가 구현된 화면으로 넘어가며 인식된 옷 정보를 함께 넘겨준다. 3) 날씨, 코디 추천 화면 날씨 버튼을 누르면 이동하는 화면.- 해당 일의 날짜, 현재 온도, 날씨 상황에 대한 정보가 화면에 띄워진다.- 사용자가 화면을 한 번 터치하면 카메라 인식화면에서 받아온 옷 정보를 textView로 띄운다.- 동시에 현재 날씨에 적절한 옷차림을 추천하고, 카메라 인식화면에서 인식했던 옷에 대한 정보와 날씨를 기반으로 어울리는 색과 어울리는 하의를 추천한다. 다음 추천표를 참고한다.* 날씨에 따른 옷차림 추천표 온도 추천 상의 추천 하의 28도 이상 민소매, 린넨 옷 반바지, 치마, 린넨 바지 27도~23도 얇은 셔츠, 반팔 반바지, 면 바지 22도~20도 블라우스, 긴팔 티 면 바지, 슬랙스 19도~17도 맨투맨, 후드티, 얇은 가디건 긴 바지, 스타킹 16도~12도 자켓, 가디건, 니트 청바지, 스타킹 11도~9도 야상, 트렌치 코트, 점퍼 기모바지 8도~5도 울 코트, 가죽 옷 기모바지 4도 이하 패딩, 두꺼운 코트 기모바지 * 인식한 옷 + 날씨에 따른 하의 추천표 인식 색 날씨 검정색 회색 파란색 베이지색 무늬류 맑은 하늘 베이지색 베이지색 베이지색 연청색, 진청색 민무늬 구름 낀 하늘 진청색 진청색 검정색 카키색 5. 사용자 인터페이스1) 고대비 테마 및 버튼 구성저시력자를 포함한 시각장애인을 위한 애플리케이션이므로 모든 화면은 고대비 디자인으로 구성하였다.버튼 모양과 글씨를 크게 설정하였으며 버튼이 두 개 이상인 경우 버튼 사이를 충분히 떨어지게 하여 구분감 있게 구성하였다.2) 음성 안내첫 화면에서 한 번의 터치를 통해 모든 기능의 간단한 사용설명을 들을 수 있으며 사용자가 원할 경우 한 번 더 터치하여 다시 들을 수 있다. 날씨 화면에서도 마찬가지로 사용자가 화면을 한 번 터치하면 날씨와 인식된 옷의 정보를 조합한 추천 정보를 음성으로 안내해 준다.시각 장애인을 위한 아이폰의 보이스오버 기능을 참고하여 애플리케이션 내의 모든 버튼은 길게 누르기 동작을 통해 해당 버튼이 어떤 기능을 하는지 음성으로 안내받을 수 있다.실수로 '뒤로 가기'를 누를 경우를 대비하여 카메라 인식화면을 제외한 모든 화면에서 뒤로 가기 두 번 눌러야 어플리케이션이 종료되도록 하였다. 뒤로 가기 를 한 번 눌렀을 경우 '뒤로' 버튼을 한 번 더 누르시면 종료됩니다. 라는 음성이 제공되어 사용자가 이를 알 수 있도록 하였다.6. 프로젝트 결과물스마트폰에 내장된 기본 카메라를 사용한 애플리케이션으로 제작하였고, 카메라를 통해 인식된 옷의 정보를 가져와 음성으로 제공한다. 시각장애인용 애플리케이션인 만큼 고대비 테마로 설정하였고, 각 버튼의 크기와 글씨 크기는 크고 구분감 있게 구성하였다. 첫 화면에서는 애플리케이션의 기능을 설명해주는 음성추출 기능으로만 이루어지도록 하였고, 애플리케이션 내의 모든 버튼을 길게 누르면 해당 버튼의 기능을 음성을 통해 알려주도록 설정하여 사용자의 편의성을 높였다.'인식' 버튼을 통해 현재 카메라가 인식하고 있는 옷의 무늬 또는 패턴 정보를 음성으로 제공받을 수 있도록 하였다. 날씨 버튼을 통해 날씨 api가 구현된 화면으로 넘어갈 수 있으며, 이때 인식된 옷 정보를 함께 넘겨준다. 넘겨받은 옷 정보 데이터와 위치기반 날씨 정보를 합쳐 적절한 옷차림을 음성으로 추천해준다. [종합설계] 노인을 위한 외출 HELPER 안전외출도우미 작성자 박주현 출품자 정보 박주현, 전수현 기대효과 본 프로젝트는 고령화 진행 정도와 스마트폰 이용 비율이 증가함에 따라 노인들의 스마트폰 이용 시 불편함을 해소하고 디지털 양극화를 최소화하며, 쉽고 편리하게 활용할 수 있도록 제작했다. 또한, 노인뿐만 아니라 유아, 장애인 등 사회적으로 도움이 필요한 사람들, 맞벌이로 인해 바쁜 현대 사회인들, 심지어 코로나 19로 인해 만남이 어려운 부모-자녀 관계에서도 멀리서나마 부모님의 안전한 외출을 확인하고 안심할 수 있다는 기대효과를 가지고 있다. 이에 더하여 포스트 코로나 시대까지 이어져 발전할 수 있다. 추천 0 조회 2342 첨부파일 2 작성일 2021.06.17 1. 서론1.1 프로젝트 목적 및 필요성스마트폰 보급은 증가하고 있지만, 우리 사회에서 상당수의 노인은 스마트폰 사용에 불편함을 겪고 있다. 스마트폰 사용이 익숙하지 않은 노인들을 위해 사용이 쉽고 편리한 외출 도움 앱을 제작한다. '안전 외출 도우미' 앱의 궁극적 목표는 노인에게 편리하고 쉬운 경로 안내를 제공하고 보호자에게는 실시간 위치 전달을 통해 안심을 주어 노인의 안전한 외출을 보장한다는 것이다. 1.2 프로젝트 목표 및 범위프로젝트 목표- 노약자의 안전한 외출 보장 및 보호자에게 안심 제공활용 범위- 평소 스마트폰 사용이 어려운 노인- 외출이 잦은 노약자- 멀리 떨어져 있어 외출 시 부모님의 안전을 걱정하는 자녀 1.3 조 편성 및 역할 성명 역할 맡은 일 박주현 요구분석 노인이 스마트폰 사용 시 원하는 부분과 이를 개선하기 위한 방향에 따른 요구분석 진행 설계 및 테스트 T-Map 연동 및 내비게이션 구현, Firebase 데이터 관리 등에 대한 설계 진행, 최종 마무리 앱 테스트 전수현 자료조사 요구분석에 따른 통계자료 등을 검색하고 프로젝트와 맞는 자료 조사 설계 및 테스트 xml 설계 및 T-Map 사용 및 Intent, Firebase 데이터 관리 등에 대한 설계 진행, 최종 마무리 앱 테스트 2. 본론2.1 문제 정의고령화율이란 전체 인구 중 65세 이상의 인구의 비율을 의미한다. 2000년에 들어 우리 사회는 고령화 사회에 접어들었고 2018년에는 14.3%로 고령화 사회를 넘어 고령사회에 들어서게 되었다. 2021년 현재는 16.5%이며, 이런 추세에 따라 2026년에는 20%가 넘어 초고령사회 진입이 예상된다.전 세계적으로 스마트폰 사용 비율은 점점 증가하고 있다. 2018년 한국의 스마트폰 사용 현황은 90.9%이다. 하지만 스마트폰 사용이 증가할수록 노인들은 소외감을 느끼고 이에 디지털 양극화가 발생한다. 서울디지털재단에서 조사한 고령자의 모바일 웹이나 앱 이용 시 불편 요소를 보면 레이아웃(화면 구성, 배치, 정렬 등) 51.0%, 타이포그래피(글자체, 크기, 간격 등) 43.3% 등 GUI에 대한 문제점이 많은 비율을 차지하는 것을 확인할 수 있다. 덧붙여 고령층은 인터넷 서비스 개선 방향으로 단순하고 알기 쉬운 화면 구성 , 주요 이용 서비스 위주 간결 구성 , 고령층 맞춤형 정보 제공 서비스 관련 음성 안내 기능 등을 원하고 있다. 2.2 문제 해결 아이디어고령사회에서 초고령사회로 진입하고 있지만, 4차산업의 발전은 끊임없으며 오히려 급성장하고 있다. 이에 정보 소외계층이 되어버린 노인들을 위한 앱을 제작하고자 하였다. 노인들이 원하는 단순하고 알기 쉬운 화면 구성 , 주요 이용 서비스 위주 간결 구성 , 고령층 맞춤형 정보 제공 서비스 관련 음성 안내 기능 등에 초점을 맞춰 구현을 계획하였다. 단순한 UI와 큰 글자 크기, 외출 시 꼭 필요한 기능들로만 구성한 앱을 구현하고 음성 인식을 통한 목적지 입력, 음성 출력을 이용한 보행자 내비게이션 길 안내 기능을 제공함으로써 디지털 양극화 문제를 해결하기 위한 발판을 만들고자 하였다. 2.3 관련 기술의 현황현재 상용화되어 있는 위치 추적 앱은 다양하다. 대표적인 예로 아이쉐어링, Life360, 울타리가 있다. 이는 모두 상대방의 실시간 위치를 확인할 수 있으며, 상대방이 특정 장소에 도착하면 알림을 받을 수 있다는 점에서 본 프로젝트에서 개발하고자 하는 앱과 공통점을 보인다.위에 언급한 세 가지 앱의 기능에 대해 자세히 살펴보면 먼저 아이쉐어링은 스마트폰을 위아래로 3회 흔들면 보호자 긴급 호출이 가능하다. 또한, 이동 내역을 저장할 수 있어 추후 일자별 이동 정보 확인이 가능하다는 장점이 있다. 반면, Life360은 사용자 간의 N:N 연결까지 가능하며 개인 및 그룹 간 전용 채널을 통해 실시간 채팅 기능을 제공한다. 울타리 또한 이동 경로 조회가 가능하며, 로드뷰 기능을 제공하고 휴대폰 상태까지 가능하다. 하지만 세 가지 앱 모두 위치 추적이 중점적이며 내비게이션 기능은 제공하지 않는다. 무엇보다도 본 프로젝트는 자녀를 둔 부모가 주 대상층이기 때문에 다양한 기능으로 인한 앱의 복잡성은 노인들이 사용하기에는 어렵다는 아쉬움이 있다.3. 프로젝트3.1 시스템 개요App 기능 구분 구분 기능 시작화면 로그인 회원가입 노약자 ver 목적지 설정(음성인식, 자주 가는 목적지) 경로 안내 택시 호출 긴급 전화 자주 가는 목적지 추가 및 삭제 보호자 ver 노약자 실시간 위치 확인 공통 계정 연결 전화번호 수정 로그아웃 시스템 설계도 시작 화면 구성도 노약자 버전 화면 구성도 보호자 버전 화면 구성도 안전외출도우미 소프트웨어 아키텍처 3.2 개발 환경개발 환경 : Android Studio데이터베이스 환경 : Firebase지도 API : T-map API음성 인식 및 음성 출력 : Google Speech-to-Text API, Google Text-to-Speech API택시 호출 : 카카오 T 3.3 시스템 기능① 회원가입 및 로그인시작 화면에서는 앱 타이틀 및 로그인 화면이 보인다. 회원가입 버튼을 통해 간단한 정보를 입력하면 손쉽게 회원가입이 가능하다. 회원가입 시 선택한 자신의 신분(노약자, 보호자)을 통해 로그인 완료 후에 보이는 화면이 다르게 나타난다. ② 계정 연결계정 연결 화면은 노약자 버전과 보호자 버전이 같다. 보호자가 회원가입을 하지 않은 경우에도 노약자 버전에서 긴급 전화 버튼 클릭 시 전화 연결이 돼야 하기에 한쪽만 계정 연결을 하더라도 연결이 가능하다. 연결할 계정의 전화번호 입력 뒤 확인 버튼을 누르게 되면 화면 상단에 연결된 계정이 빨간색으로 표시되게 된다. ③ 자주 가는 목적지 (노약자 ver) 자주 가는 목적지를 미리 추가함으로써 목적지 지정에 편리성을 더한다. 자주 가는 목적지 또한 음성 인식을 통해 목적지 추가가 가능하며, 최대 6개까지 설정이 가능하다. ④목적지 입력 시 음성인식음성 인식 기능을 이용해 핸드폰 자판에 익숙하지 않은 노약자들이 쉽고 빠르게 목적지 설정이 가능하도록 한다. ⑤ 보행자 음성 경로 안내 (노약자 ver)목적지 입력 후 경로 안내 버튼을 누르면 보호자에게 노약자가 외출을 시도한다는 문자메시지가 전송되고, 화면에는 하단의 지도를 통해 음성을 통한 경로 안내가 시작된다.⑥ 택시 호출 (노약자 ver)택시 호출 버튼 클릭 시 카카오T 앱과 연동되기에 빠르게 택시를 호출할 수 있다. ⑦ 긴급 전화 (노약자 ver)연결된 보호자의 연락처로 바로 전화를 걸 수 있는 긴급 전화 버튼을 통해 위급 상황 발생 시 다이얼 없이 빠르게 보호자와의 연결이 가능하다. ⑧ 노약자 현재 위치 (보호자 ver)노약자가 이동 시 실시간 위치를 화면에 좌표를 찍어 보여줌으로써 노약자의 실시간 위치를 확인할 수 있다.⑨ 전화번호 변경가입 시 입력한 전화번호가 변경됐을 때 전화번호 변경을 통해 저장된 전화번호 변경이 가능하다. ⑩ 로그아웃로그아웃 버튼 클릭 시 해당 계정에서 로그아웃되며, 메인 화면으로 이동된다. 3.4 사용자 인터페이스노약자 버전 보호자 버전 3.5 실험 및 평가① 회원가입회원가입 시 입력한 정보가 Firebase에 잘 저장되고 관리되고 있다. ② 음성 인식Google Speech-to-Text API를 이용하여 구현하였는데 전북대학교 라 말해본 결과 음성 인식이 잘 이루어짐을 확인할 수 있다. ③ 자주 가는 목적지설정에서 자주 가는 목적지 추가나 삭제 시 Firebase의 Realtime database의 fav1~6에 실시간으로 값이 저장되고 삭제됨을 확인할 수 있다. ④ 경로 안내경로 안내 버튼 클릭 시 "노약자님이 (입력한 목적지)까지의 외출을 시작합니다."라는 안내와 함께 Google Text-to-Speech API를 통한 경로 안내가 시작된다. 만약 오른쪽으로 꺾어야 할 상황이 온다면, 오른쪽으로 가세요 와 같은 안내메시지를 출력한다.⑤ 계정 연결계정 연결은 Firebase의 Realtime database을 이용한다. 연결할 계정의 전화번호 입력 후 확인 버튼을 누르게 되면 Realtime database의 connectuser에 입력한 값이 입력된다. ⑥ 전화번호 변경전화번호 변경은 Firebase의 Realtime database을 이용한다. 변경할 전화번호 입력 후 확인 버튼을 누르게 되면 Realtimedatabase의 phone 데이터가 입력된 값으로 변경된다. ⑦ 노약자 실시간 위치노약자 실시간 위치 또한 Firebase의 Realtime database를 이용한다. GPS를 통한 변화 감지가 될 때마다 실시간으로 데이터가 변경됨을 확인할 수 있다.4. 결론4.1 프로젝트 결과물 안전 외출 도우미 의 주 사용층은 노인이다. 따라서 본 앱은 단순하고 알기 쉬운 화면 구성 , 주요 이용 서비스 위주 간결 구성 , 고령층 맞춤형 정보 제공 서비스 관련 음성 안내 기능 제공을 목표로 하여 누구나 쉽게 사용할 수 있는 앱을 제작하였다. 타자 속도가 느린 고령층을 위해 음성 인식을 통한 목적지 입력을 가능하게 하였으며, 카카오T 앱을 연동하여 택시 호출 기능을 넣음으로써 보다 편리하게 외출을 할 수 있도록 구성하였다. 무엇보다 보행자 길 찾기 API를 이용하여 목적지까지 가는 보행자 길 찾기 기능을 음성을 통해 제공한다는 점에서 다른 앱과 차별점이다. 4.2 기대 효과 및 활용 방안본 프로젝트는 고령화 진행 정도와 스마트폰 이용 비율이 증가함에 따라 노인들의 스마트폰 이용 시 불편함을 해소하고 디지털 양극화를 최소화하며, 쉽고 편리하게 활용할 수 있도록 제작했다. 또한, 노인뿐만 아니라 유아, 장애인 등 사회적으로 도움이 필요한 사람들, 맞벌이로 인해 바쁜 현대 사회인들, 심지어 코로나 19로 인해 만남이 어려운 부모-자녀 관계에서도 멀리서나마 부모님의 안전한 외출을 확인하고 안심할 수 있다는 기대 효과를 가지고 있다. 이에 더하여 포스트 코로나 시대까지 이어져 발전할 수 있다. [종합설계] 유기동물 입양 어플리케이션 작성자 전윤지 출품자 정보 201812819 전윤지, 201812839 허정윤 기대효과 이 프로젝트를 통해 많은 사람들이 유기동물을 입양하는 것에 대한 부담을 덜고 좀 더 편하게 유기동물을 입양하게 되는 환경을 제공한다. 반려동물을 입양하는 방법에 대해 잘 몰라서 펫샵에서 사는 경우도 감소할 것이라고 기대한다. 또한 사람들이 쉽게 사용할 수 있는 어플로 유기동물을 입양에 더 쉽게 다가갈 수 있는 것뿐만 아니라 반려동물을 키울 때 유용한 정보를 얻을 수 있고 반려일기를 통해 반려동물을 키우면서 올리고 싶은 사진이나 글을 함께 올리며 일기 형태로 글을 쓰는게 가능하므로 사용자들에게 편리함을 줄 것이라고 생각한다. 추천 0 조회 406 첨부파일 0 작성일 2021.06.17 [종합설계] 문자인식 기반 화장품 성분인식 및 추천 어플리케이션 작성자 손효민 출품자 정보 정나린(2018), 손효민(2018) 기대효과 성분을 제대로 알고 살 수 있기 때문에 현명한 소비를 유도할 것이다. 뒷면의 성분문자를 잘 읽지 못하거나 성분을 잘 알지 못했던 사람들에게 도움이 될 것이다. 음식과 관련해서도 앱의 기능들을 이용해 음식의 성분들을 인식하여 식단관리나 알레르기 성분을 피하는데에 도움이 될 수 있다. 텍스트 투 스피치, 스피치 투 텍스트 기술을 사용해 시각장애인들도 사용할 수 있는 앱으로 확장할 수 있을 것이다. 추천 0 조회 708 첨부파일 0 작성일 2021.06.17 1. 프로젝트 목적 및 필요성 다수의 화장품 용기에 소비자 보호사항에 해당하는 성분과 주의사항이 아주 작게 인쇄된 경우가 많다. 노안으로 인해 작은 글씨를 보지 못하는 40대 이상 고객들은 많은 불편함을 겪고 있다.이러한 문제점을 해결하기 위해 문자인식을 기반으로 모든 소비자들이 화장품의 성분과 주의사항을 숙지하고 구매할 수 있도록 돕는 애플리케이션을 만들고자 하였다. 문자인식 기능, 개인 맞춤형 기능 등 다양한 기능으로 소비자들에게 현명한 소비생활을 돕는 것이 목적이다.2. 프로젝트 목표 및 범위∎ 화장품 성분을 문자인식 기능을 통하여 성분을 인식함∎ 개인별 맞춤 기능을 제공함∎ 휴대폰에 인식된 성분을 나열하고 모두에게 공통적으로 부작용을 일으킬 수 있는 유해성분을 알려줌∎ 화장품에 포함된 성분 중에서 자신의 피부타입(건성, 지성, 민감성)에 따라 추천/주의 성분을 확인함∎ 맞춤형 기능을 넣어 자신이 가지고 있는 알러지나 자신의 피부에서 예민하게 반응하는 성분에 대해서 알림∎ 이전에 자신이 입력한 만족도 점수를 통계를 낸 것과 비교하여 인식한 화장품에 포함된 성분과의 일치도를 알림창을 통해 알려줌∎ 성분별 30개 화장품 추천 목록을 띄워주고 버튼을 통해 해당 제품의 정보를 알 수 있도록 웹페이지로 연결해줌3. 개발 환경 H/W 안드로이드 모바일 기기 (삼성 갤럭시 노트8, 삼성 갤럭시 S7) 테스트, 구현 S/W 안드로이드 스튜디오 애플리케이션 개발 SQLite 데이터베이스 구현 및 테이블 생성 Google cloud vison API 이미지 속 텍스트 추출(OCR), 글자인식 API Naver 검색 쇼핑 API 성분별 화장품 추천 목록 추출, 크롤링 API Github 형상관리 및 코드 분석 4. 시스템 개요 기능은 성분문자 인식, 만족도 통계, 타입별 추천 성분과 주의 성분 알림, 추천성분별 제품 추천 등이 있다. DB는 유해성분 데이터베이스, 타입별 추천 성분 데이터베이스, 주의 성분 데이터베이스 그리고 만족도 점수를 저장하는 만족도 데이터베이스, 사용자의 알레르기 정보를 저장하는 데이터베이스가 있다.a. 문자인식 기능을 통해 화장품 성분을 검색하여 나열하고 그 중 유해성분을 구별하여 알려준다.b. 자신의 피부타입별 화장품에 포함된 추천/주의 성분을 알려준다. c. 이전에 자신이 입력한 만족도 점수를 통계를 낸 것과 비교하여 인식한 화장품에 포함된 성분과의 일치도를 알림창 통해 알려준다d. 자신에게 알러지가 있거나 부작용이 있는 성분이 포함된 것을 알려준다.e. 성분별 30개 화장품 추천 목록을 띄워주고 버튼을 통해 해당 제품의 정보를 알 수 있도록 웹페이지로 연결해준다.5. 사용자 인터페이스1) 사진 업로드 : 이미지 선택 메뉴에 따라서 사진을 다양한 폴더에서 선택할 수 있다.2) 사진 자르기 및 업로드 : 선택한 사진을 성분이 표시된 부분만을 자르는 기능을 추가하였다.원하는 부분만큼 선택하고 상단에 자르기 버튼을 누르면 성분인식 앱에 업로드 된다. 이미지뷰에서도 확인할 수 있다.3) 유해성분 인식: 인식된 성분 중 유해성분으로 의심이 된다면 DB에서 검색된 결과를 토대로 텍스트뷰를 통해 결과를 알려준다.성분명과 유해한 이유, 역할 등을 알 수 있다.4) 타입 별 화장품 속 추천성분, 주의성분 사용자 만족도 입력: 지성, 건성, 민감성 버튼을 누르면 화장품에 포함된 성분 중 타입별로 추천 성분, 주의 성분을 볼 수 있다. 건성버튼을 눌렀을 때이고 해당 화장품에 포함된 성분 중 보습 성분인 글리세린이 결과로 나온 것을 볼 수 있다. 그리고 사용했던 화장품이라면 같은 Fragment 내에서 만족도를 선택할 수 있다. 점수는 매우 만족부터 매우 불만족까지 있으며 100점 만점으로 환산된다. 위와 같이 성분을 입력해놓으면 이 후에 다른 화장품 성분인식을 했을 때 얼마나 사용자가 선호하는 성분과 일치하는지 알 수 있다. 5) 사용자 화장품 선호도 예측: A, B 화장품이라고 했을 때 A화장품을 먼저 인식하여 만족도를 입력한 후 B화장품을 성분 인식 시켜 성분조회 버튼을 눌렀을 때 화면이다. 정확도를 보기 위해 첫 번째 화장품과 13개가 일치함을 직접 세어 확인하였다. 두 번째 화장품 기준에서는 34개 중 13개가 일치했는데 알림창에서는 유사하게 32%가 나온 것을 볼 수 있었다. 이와 같은 알림창은 성분조회 버튼을 눌러 데이터베이스에 저장된 선호 성분과의 일치도 볼 수 있다. 점수를 입력한 화장품이 많을수록 더욱 만족스러운 결과를 볼 수 있을 것이라고 예상한다.6) 사용자 알레르기 정보 입력 및 추출: 알레르기가 있다면 그 성분명을 입력하여 알레르기 추가 버튼을 눌러 DB에 저장할 수 있다. 애플리케이션을 삭제하기 전까진 DB에 저장된 상태가 유지된다. 그리고 추가한 알레르기 정보는 텍스트뷰를 통해서도 확인할 수 있다. 알레르기가 포함되었는지 확인하기 위해서는 화장품 성분을 인식한 후 알레르기Fragment로 다시 옮겨가 화장품 속 알레르기 버튼을 누른다. 화장품 속 시어버터가 자신의 알레르기 정보와 잘 비교되어 출력된 것을 확인할 수 있다.7) 성분 별 화장품 추천: 시중에 많이 판매되고 있거나 인기가 많은 성분들을 조사하여 대표적인 성분 14개 정도를 정해보았다.각각 성분 버튼을 누르면 네이버 쇼핑 API에 의해 제일 인기가 높은 상품 30개를 가져와 순위대로 텍스트뷰에 나타낸다. 이 결과는 네이버 쇼핑 검색결과에 따라 바뀐다. 더보기 버튼을 누르면 세 번째 사진과 같이 해당상품을 자세히 보거나 구매할 수 있도록 웹페이지로 연결된다.6. 기대효과 및 활용방안1. 글씨가 작아 성분을 읽지 못했던 사람들에게도 성분을 알려줄 수 있다.2. 성분에 대해서 쉽게 알게되며 자신에게 맞는 성분, 맞지않는 성분을 알게 해준다. 이를 바탕으로 후에 더 현명한 소비를 할 수 있다.3. 또한 통계기능을 통해서 화장품을 사용하기 전에도 이 화장품이 나에게 잘 맞을지 예측할 수 있어 나에게 더 적합한 화장품을 찾을 수 있다.4. 화장품의 성분 뿐 만 아니라 이와 같은 어플리케이션 아이디어를 음식성분에도 적용한다면 또 다른 활용도 높은 어플리케이션이 될 것이다.5. 개인맞춤형 기능은 인공지능 기능을 사용하거나 더 많은 데이터를 모아서 가공할 수 있다면 더욱 품질 높은 애플리케이션이 될 수 있다. [요소설계] 섯다 게임 작성자 김제현 출품자 정보 김제현, 김나연, 김보항 기대효과 스위치에 손만 갖다댄다면 손쉽게 할 수 있는 게임으로, 7-segment를 활용하여 사용자의 자본을 표현하였고 LED를 활용하여 배팅 금액을 나타내었다. 추천 0 조회 1251 첨부파일 3 작성일 2020.12.18 기존의 섰다 게임은 패를 한 장씩 나눠주고, 베팅을 실제 돈으로 하지만 이 게임은 단순하게 스위치에 손만 갖다댄다면 손쉽게 할 수 있는 게임이다. 총 3명이 하는 게임으로 게임을 하는 사용자 두 명과 사용자의 의견에 따라 베팅을 해주는 딜러가 있다. 배팅은 돈이 아닌 LED로 하며 사용자의 자본은 7-segment를 활용하여 표시한다.화투패를 나눠주기 위해 랜덤으로 두 개의 난수를 발생하기 위해 만든 회로이다. 난수 발생 회로는 1개의 NE 555와 2개의 CD 4026 와 2개의 7-segment, 1개의 스위치와 2개의 저항과 2개의 capacitor로 구성된다. 여기서 NE 555는 카운트 키를 눌렀을 때 단일 pulse를 생산하고, Decade 카운터 CD 4026은 pulse를 cluck으로 수신하여 각 cluck을 카운트한 후 7-segment를 가동해 숫자를 표시한다.LED는 배팅할 금액을 나타낸다. 배팅할 수만큼의 LED를 각각 연결되어있는 스위치를 ON 방향으로 올려주면 되며, 자신이 베팅한 값을 시각적으로 볼 수 있도록 만들기 위해 8-dip Switch와 LED를 함께 설치했다.승자에게 불을 켜주기 위해 만든 회로이다. 이 회로는 터치로 LED를 컨트롤 할 수 있는 터치 스위치의 회로이며 이 회로에는 한 쌍의 conductor가 있는데, 이 한 쌍의 conductor가 터치 스위치의 역할을 하기에 이를 만져 LED를 껐다 켰다 할 수 있다. [요소설계] Festival List App 작성자 이수영 출품자 정보 김영한 (201610878), 이수영(201819174) 기대효과 - 지역 축제들이 활성화됨에 따라 지역의 정체성을 확립하고 지역 문화를 특성화하여 관광객을 유치하고 더불어 지역 경제를 활성화시킬 수 있다. - 특히, 농산물 홍보와 농산물 소비 촉진의 매개체 역할을 할 수 있다. - 축제에서 판매하는 제품들의 가격을 미리 알 수 있어 가격 비교를 통해 현명한 소비가 가능하다. - 이로 인해 농촌지역이 살아나게 되면 축제 지역 주변 먹거리와 볼거리 시장이 활성화되고 최종적으로 그 지역 사회.문화가 활성화되는 결과를 얻을 수 있다. - 추후 지역 축제들의 후기를 작성하는 공간을 만들어 축제 활성화에 더욱 도움을 줄 수 있다. - 많은 정보들 중에 원하는 정보만을 손쉽게 얻을 수 있음 추천 0 조회 1041 첨부파일 0 작성일 2020.12.13 프로젝트 모바일 프로그래밍 Term Project 팀 명 감자 팀원정보 이 름 학과 학번 팀원1 김영한 IT정보공학과 201610878 팀원2 이수영 IT정보공학과 201819174 앱의 제목 Festival List App 내용 요약 코로나 사태가 끝난 뒤 감소된 지역 경제 활성화와 더불어 사람들의 외부활동을 적극적으로 촉진하기 위한 앱 서비스이다. 농업 축제에 대한 정보 접근성을 높여 지역 농업 경제가 활성화가 이뤄지도록 제공해주고 지도 API, 길 찾기API를 이용하여 지역 농업 축제의 분포를 한눈에 볼 수 있도록 구현한다. 날씨 정보를 제공하는 서비스를 통해 축제 참여율을 높이고 기후 조건에 미리 대비할 수 있다. 축제에서 판매하는 제품들의 가격을 통해 합리적인 소비를 지향하며, 리뷰 게시판을 통해 지역별 축제의 후기들을 볼 수 있어 소비자들의 만족스러운 축제 참여와 주최 측의 피드백을 용이하게 한다. 추진 배경 및 목적 제안 배경 필요성 - 최근 지역 축제와 농업 축제가 증가 추세이며 지역경제 활성화 측면과 사회 문화적 측면, 환경 및 지역 이미지 개선 측면에서 여러 긍정적인 영향을 미치고 있음. - 축제 공연 내용의 이해 부족과 그에 따른 축제 선택 부적절성 때문에 축제의 장점을 부각하지 못하 고 단점의 개선 또한 효과적이지 않아 지역 경제의 기대효과를 충분히 뽑아내지 못함. - 난무하는 지역축제에 대한 선별력이 필요하며 축제에 참여하는 사람들과 축제 정보 간의 접근 용이 성이 요구되고 거부감을 줄이고 높은 친밀도를 형성할 방법이 필요함. 목적 - 지역 농업 축제의 분포를 한눈에 볼 수 있고 축제 지역까지의 소요 시간과 거리, 예상 유류비, 통행 요금 등 다양한 정보를 제공하여 편의성을 제공 - 무분별한 농업 지역 축제로 인한 혼란을 줄이고, 사용자가 효율적인 선택을 할 수 있으며 축제를 주최하는 측이 피드백을 기반으로 축제의 퀄리티를 개선할 수 있도록 후기(리뷰) 서비스를 제공 - 선택한 축제에 대한 기상정보, 장소, 시간, 기간, 행사 문의, 행사 주최, 관련 체험 활동, 유통 등 축제와 관련된 다양한 정보를 나타내어 사용자가 관심 있는 축제에 접근이 쉽도록 정보 유용성 제공 - 축제에 참여하고자 하는 많은 연령대가 사용할 수 있도록 텍스트나 상징기호, 지표 등을 통해 가독성이 높도록 UI(사용자 인터페이스)를 구현하여 용이한 검색, 쉬운 사용성, 일관성을 제공 - 날씨 정보를 제공해 축제 행사 진행이 수월하게 하여 참여율을 높이고 기후 조건에 미리 대비할 수 있도록 안정성 도모 기대 효과 - 지역 축제들이 활성화됨에 따라 지역의 정체성을 확립하고 지역 문화를 특성화하여 관광객을 유치하고 더불어 지역 경제를 활성화시킬 수 있다. - 특히, 농산물 홍보와 농산물 소비 촉진의 매개체 역할을 할 수 있다. - 축제에서 판매하는 제품들의 가격을 미리 알 수 있어 가격 비교를 통해 현명한 소비가 가능하다. - 이로 인해 농촌지역이 살아나게 되면 축제 지역 주변 먹거리와 볼거리 시장이 활성화되고 최종적으로 그 지역 사회.문화가 활성화되는 결과를 얻을 수 있다. - 추후 지역 축제들의 후기를 작성하는 공간을 만들어 축제 활성화에 더욱 도움을 줄 수 있다. - 많은 정보들 중에 원하는 정보만을 손쉽게 얻을 수 있음 활용 방안 - 앱 이용자들의 축제 참여 데이터를 통해 인기가 좋은 축제들은 유지 및 보수와 적극적인 지원을 함으로써 업그레이드 할 수 있도록 노력하고 인기가 좋지 않은 축제들은 축제 후기를 통한 피드백을 받아 미흡한 점을 보완하여 인지도를 높일 수 있다. - 더 나아가 길찾기 API를 추가해 앱을 통해 쉽게 지역 축제에 접근할 수 있도록 구현할 수 있다. 앱의 구조 및 인터페이스 서비스 개발 1. 안드로이드 스튜디오, JAVA 언어 이용 2. XML로 레이아웃을 구성하고 앱 전체의 디자인을 구성 3. JAVA로 앱 기능(액티비티)을 구현 4. API를 가져와 다양한 기능 추가 5. 제공하는 데이터와 공공 데이터 활용 아이디어 제안 내용 1. 축제 정보화면 - 축제 장소, 시간, 기간, 내용 등 주요 내용 소개 - 축제 주요 상품 작물 가격정보 보여줌 2. 카카오 로그인 서비스 - 카카오 로그인 서비스를 통해 ID관리를 하여 리뷰작성 및 마이페이지 관리 - 번거롭게 회원가입을 하지 않아도 간편하게 앱 사용 가능 3. 리뷰서비스 - 리뷰활동을 통해 축제를 간접경험 가능 - 커뮤니티 활동으로 지역산업 활성화 촉구 개념도, 구성도 인터페이스 전체 스토리 보드 앱 사용자 범위 적용 대상, 적용 범위 1. 적용 대상 : 지역 축제에 참여하는 소비자 2. 적용 범위 : 지역 축제 개발 과정 중 예상 문제점 및 해결 방안 예상 문제점 / 해결 방안 1. 후기 게시판 사용시 실시간 정보를 계속 업데이트 해야한다. - 주기적으로 애플리케이션 관리 2. 관리해야하는 db가 있어서 혼동이 올 수 있다. - 테이블 명을 작성할 때 특징을 잘 나타내고 구분이 잘되게 짓고, 따로 목록 기록을 해두어 혼동되지 않게 한다. [종합설계] YOLO를 활용한 Smart Ward 작성자 연창균 출품자 정보 유승남(201515288), 연창균(201515279) 기대효과 사회적 농민들은 전기울타리를 치고 허수아비, 경음기 및 경광등 등을 이용하여 농작물 보호에 힘쓰고 있지만, 실제 야생동물을 막는 데 한계가 있다. 이로 인한 사회적 손실을 초래하여 이번 유해 동물 퇴치기로 상당한 부분이 개선될 것으로 예상된다. 경제적 농촌이나 도심지역에서는 야생동물로 인한 경제적, 육체적 피해가 해마다 증가하고 있으며, 특히 멧돼지, 고라니 등의 유해야생동물로 인한 농작물 피해액이 2018년 117억여 원에 달한다. 이번 프로젝트를 통하여 농가의 농작물 피해를 줄이는데 크게 기여할 것으로 기대된다. 추천 2 조회 3134 첨부파일 0 작성일 2020.12.13 1. 프로젝트 소개농장에서 유해 동물 퇴치 장치로 여러 가지가 사용되고 있으나 컴퓨터 기술을 이용하는 퇴치 시스템은 아직 상용화되지 않았다. 오늘날 오픈소스 하드웨어 및 소프트웨어가 널리 사용되고 있으며, 한편, 아두이노와 라즈베리 파이 등과 같은 컴퓨터 보드와 각종 통신 모듈과 소형 MCU 칩들이 저가로 공급되고 있다. 이들을 활용하여 실시간 객체 인식이 가능한 유해 동물 퇴치 시스템 구축한다.서비스 개념도팀 편성 및 역할 구성원 성명 역할 한 일 팀장 유승남 HW 설계 및 구현 라즈베리파이 설계 환경 구축 Motion을 이용한 스트리밍 서비스 구현 어플 설계 및 구현 Firebase 클라우드 메시징(FCM) 서비스를 이용, ON/OFF 가능한 백그라운드 푸시 알람 서비스 구현. 웹뷰를 이용한 스트리밍 기능 구현 발표 및 보고서 작성 졸업 프로젝트 발표 팀원 연창균 실시간 객체 인식 YOLOv3 유해동물 탐지모듈 개발 서버-클라이언트 소켓 통신 설계 및 구현 유해동물 탐지시 소켓 프로그래밍을 활용하여 제어 신호 전송 PPT 제작 및 보고서 작성 PPT 제작 및 보고서 작성 2. 문제 정의 환경부에 따르면 2010년부터 2018년까지 야생동물에 의한 농작물 피해액은 1103억 5500만원으로 한해 평균 120억여 원에 달한다. 이에 따라 환경부는 야생 동물에 의한 농작물 피해 예방 종합 대책을 만들어 대응하였으나, 2018년 피해액이 117억 6700만원으로 집계된 것으로 보아 효과가 미미하다고 볼 수 있다. 환경부가 제시한 야생동물 피해예방시설 설치 및 관리 매뉴얼 과 농촌진흥청의 야생동물에 의한 농작물피해예방 대책기술 개발 의 지침에 따르면 전기울타리의 효과가 우수하여 설치를 권장하고 있다. 전기울타리의 원가가 2016년 기준으로 2,548,000 ~ 3,373,000원/100m이며, 우리나라 농가 평균 경지면적인 1.37ha를 고려하였을 때 농경지의 평균 둘레는 약 470m이고 이에 따른 평균적인 전기울타리의 설치비용은 11,975,600 ~ 15,853,100원으로 예상 가능하다. 정부와 지자체의 야생동물 피해 예방시설 설치 지원을 받아도 설치비용의 40%인 4,790,240 ~ 6,341,240원은 농가에서 부담하여야 한다. 더불어 전기울타리에 잡초가 접촉되면 누전이 발생되어 효과가 낮아지고 전선을 고정하는 지주에 전선이 마찰 마모되어 누전이 발생하는 경우가 많아 지속적인 보수작업이 요구된다. 또한 순간 전압 12,000v의 고전압 전류가 흐르기 때문에 매년 인명사고가 발생하고 있다. 효과적이지만 높은 비용과 부가적인 문제점을 지닌 전기울타리를 대체하는 새로운 야생동물 피해 예방 시스템을 구축하는 것이 본 프로젝트의 목표이다. 3. 프로젝트 목표 및 범위 수확철의 야생동물에 의한 농작물 피해를 최소화하기 위한 사물인터넷(IoT)을 이용한동물 퇴치 디바이스 개발 추진 목표ㅇ 농작물피해 동물 접근알림, 퇴치 정보 제공 및 감지‧퇴치용 디바이스 개발 ㅇ 유해 동물 접근 시 인공지능을 이용한 유해동물 감지ㆍ식별 시스템 개발 * 적외선 카메라 모듈 활용 ㅇ 접근하는 유해 동물이 재접근을 못하게 경고 퇴치하는 장치개발 * 시각적 대응, 청각적 대응 등 경고/퇴치 방식 ㅇ IoT 망을 이용하여 스마트폰(어플리케이션) 또는 중앙(웹)에서 제어할 수 있는 농작물피해 동물 퇴치 시스템 개발 - IoT 망을 이용하여 농작물피해 동물 관련 이벤트 정보 전송 * LTE-M, LoRa, NB-IoT등 장거리 통신망을 활용하여 Data 전송기능 구현가능 - 농작물피해 동물 인식 및 퇴치 이벤트 발생 시 정보를 관리자에게 전달하여 상황을 확인 할 수 있도록 개발4. 개발 환경 구분 상세 내용 S/W 개발 환경 OS Raspbian, Android, Ubuntu 개발 환경(IDE) Linux, GCC, Android Studio 개발 도구 FCM API, Motion, Putty, Vi editor 개발 언어 C, JAVA, Python H/W 개발 환경 디바이스 Raspberry Pi 3 Model B+ , 스피커, 적외선 카메라, 스마트폰 통신 Wi-Fi 5. 시스템 기능(1) 라즈베리파이 기능 기능 설명 사진 퇴치 모듈 ㆍ실시간 객체인식을 통한 유해동물 검출 감시 모듈 ㆍ웹캠 구현을 위한 카메라 모듈 통신 모듈 감시 영상 실시간 스트리밍 송출 (2) 서버 기능 기능 설명 사진 탐지 모듈 실시간 객체인식을 통한 유해동물 검출 통신 모듈 스트리밍 영상 수신 유해동물 검출 시, 안드로이드 어플리케이션에 푸시 알람 전송 제어 모듈 유해 동물 검출 시 퇴치 프로세스에 따른 단계별 라즈베리파이 제어 (3) 안드로이드 어플리케이션 기능 기능 설명 사진 푸시 알람 ㆍ알림 ON/OFF 설정 가능. ON 할 경우, 멧돼지가 감지되었을 때 푸시 알림이 수신된다. 감시 기능 ㆍPi camera를 통한 실시간 원격 모니터링 6. 데이터 학습 과정- 3-channel color image - 1-channel gray image- Data augmentationOpen data-set으로 공개된 멧돼지 이미지가 없어서 구글링을 통한 100장의 이미지 확보이미지 간 노이즈 차이를 줄이기 위해 color 이미지를 gray이미지로 변환,부족한 데이터 수를 보완하기위하여 각각의 이미지를 시계 방향으로 5, 10, 15도, 반 시계 방향으로 5, 10, 15도 회전 시키고 다시 각각 좌우 반전 시켜 주어 1장의 이미지로 14장의 이미지 효과를 유도한다. 이렇게 초기 100장의 이미지로 1,400 장의 이미지로 구성된 데이터 세트 확보 - Labeling YOLO에서 제공하는 labeling tool 이용(Yolo_mark)멧돼지가 장애물에 가려졌을 때를 고려하여 머리와 몸통을 나누어 labeling을 진행성체와 새끼의 큰 외관 차이를 고려하여 새끼 멧돼지는 따로 나누어 labeling 진행 - Training batch_size = 32Iteration = 4,500Epoch ≒ 100학습을 진행하며 진행과정을 Log.txt로 기록mAP가 더 이상 낮아지지 않을 때 학습 중단하고 4,500번째 Iteration에 생산된 가중치 파일과3,000, 3,500, 4,000번째 가중치 파일을 Test data set을 이용하여 비교하여 최종적으로 성능이 가장 좋았던4,000번째 가중치 파일을 선정하여 프로젝트에 활용 (Video 파일에 대한 학습 결과 Test 中)7. 사용자 인터페이스 1) LodingActivity 로딩 화면 2초가 지나면 MainActivity로 이동 2) MainActivity 두가지 버튼이 있다. 유해동물 출몰 알림 활성화 버튼 CCTV 버튼 알림 기능 활성화 후,야생동물 감지되면 푸시 메시지 수신 3) StreamCam.java MainActivity에서 CCTV 버튼을 통해 실행 즉시 라즈베리파이의 CCTV 화면 확인 가능 8. 결과물 [종합설계] 라즈베리파이와 비콘을 이용한 미아방지 애플리케이션 작성자 이서현 출품자 정보 이서현(201716937), 윤현서(201711445) 기대효과 실시간으로 위치를 확인할 수 있으므로 사용자가 보다 편리함을 느낄 수 있을 것이고, 위험구역으로 지정된 장소에 접근하였을 경우 알림이 가므로 미아 발생 및 위험을 줄일 수 있을 것이다. 또한 따로 별도의 기기를 구매하지 않고 사용자의 스마트폰을 이용하여 아이의 위치를 파악할 수 있으니 사용자에게 경제적 부담도 적고 편리성을 제공해 줄 것이다. 프로그램을 아동 뿐만 아니라 발달 장애인, 치매 노인과 같은 대상에게도 적용할 수 있을 것이다. 추천 0 조회 2087 첨부파일 0 작성일 2020.12.13 [프로젝트 배경 및 목적] 매 년 몇 만 건의 아동실종 신고가 접수되고, 신고 건수는 매년 증가하는 추세에 있다. 아동 신고는 순간적인 부주의로 일어나는 경우가 대부분이다. 또한 실종 후 2~3 시간의 골든타임을 놓치면 사건이 장기화 될 가능성이 높다. 그러므로 실종을 예방하고, 실종자를 신속하게 찾을 수 있는 시스템 확충이 필요하다. 시중에 많은 미아방지를 위한 애플리케이션과 관련 액세서리들이 존재하지만 대부분 GPS를 사용하고 있다. 그러나 GPS는 오차범위가 크고 실내에서는 사용할 수 없다는 단점이 있다. 그러나 근거리 무선통신 장치인 비콘은 GPS와 달리 5~10cm 단위의 구별이 가능할 정도로 정확성이 높고 실내에서도 사용할 수 있다는 장점이 있다. 우리는 이러한 장점을 가진 비콘과 라즈베리파이를 이용하여 미아발생을 사전에 예방하는 애플리케이션을 제작하고자 하였다.[관련 기술의 현황]비콘(beacon)은 근거리에 있는 스마트 기기를 자동으로 인식하여 필요한 데이터를 전송할 수 있는 무선 통신 장치이다. 블루투스 비콘(Bluetooth Beacon)이라고도 한다. 근거리 무선 통신인 NFC가 10cm 이내의 근거리에서만 작동하는 반면, 비콘은 최대 50m 거리에서 작동할 수 있다. 비콘 기술을 이용하면 쇼핑센터, 음식점, 박물관, 미술관, 영화관, 야구장 등을 방문한 고객의 스마트폰에 할인 쿠폰이나 상세 설명 등의 데이터를 전송할 수 있다.비콘 기술은 여러 분야에서 다양한 방식으로 활용되고 있다. 마케팅 영역에서는 블루투스 비콘이 O2O 플랫폼의 핵심 기술로 부상하며 한 때 비콘 열풍이 불기도 했다. 최근에는 비콘 기술을 활용한 출결 확인 시스템을 도입하는 대학교가 늘고 있다. 숙명여대는 2017년 1학기 부터 스마트 출결 시스템을 도입, 대학 내 강의실 300여 개에 비콘 단말기를 설치하고, 출결을 위한 앱을 개발했다. 수업 시작 전 출석부를 호명하지 않아도 강의실에 도착하면 출석이 확인되기 때문에 수업 지연이나 대리 출석 등 기존 방식의 문제점을 해결할 수 있다. 블루투스 4.0부터 적용된 블루투스 저전력(BLE) 방식이 여전히 많이 활용되고 있지만, 블루투스 비콘의 한계를 극복하기 위해 고주파와 초음파 방식, 그리고 이를 결합한 하이브리드 방식도 시도되고 있다. 이 중 고주파 비콘을 활용한 사례로는 스타벅스의 사이렌 오더 가 있다. 국내 스타벅스에 시작된 사이렌 오더는 현재 홍콩 등 세계 다른 스타벅스 매장에 도입되어 더 많은 고객들의 편의를 돕고 있다.[개발 환경] 구분 상세내용 S/W IDE Android Studio, Python IDLE OS Window 10, Raspberry Pi OS 개발언어 Python, SQL, PHP, Java H/W 디바이스 Raspberry Pi, Beacon, Android Smartphone 통신 WiFi, Bluetooth [시스템 기능]① 비콘 인식 라즈베리파이에서 python을 이용하여 비콘의 신호를 읽는 코드를 작성 비콘 신호의 major 값을 이용하여 장소를 구분 라즈베리 파이는 신호를 통해 파악된 현재 장소를 pymysql 라이브러리를 이용하여 데이터베이스로 전송② 애플리케이션 - 회원가입 및 로그인 첫 화면은 로그인 화면이며, 회원가입을 선택하는 버튼이 있음 이미 가입된 계정이 있다면 가입이 불가 로그인에 성공하면 위치를 확인할 수 있는 화면을 띄워줌 ③ 애플리케이션 - 정보 출력 애플리케이션에서는 php를 이용하여 데이터베이스에 접근하여 정보를 불러옴 사용자(부모) 계정을 사용할 경우 라즈베리파이 소유자(아이)의 최종위치 및 이동 경로를 보여줌 접근금지 구역에 접근했을 때는 눈에 띄게 표시를 해주고, 소리와 상단바 알림을 통해 주의를 줌 관리자 계정으로 로그인 했을 때는 모든 라즈베리파이의 최종 위치를 확인 할 수 있음[기대효과 및 활용방안] 실시간으로 위치를 파악할 수 있으므로 사용자가 보다 편리함을 느낄 수 있다. 특정 지정 구역을 접근하면 알림이 가므로 미아발생 및 기타 위험을 줄일 수 있다. 따로 별도의 기기를 구매하지 않고도 사용자의 스마트폰을 이용하므로 사용자에게 경제적 부담이 적고, 편리성을 제공해 준다. 비콘의 가격이 저렴하고 한 번 구매하면 고장 나지 않는 한 영구적으로 사용할 수 있으므로 경제적이다. 놀이공원, 백화점, 대형마트 등 다양한 실내 장소에서 활용할 수 있을 것이다. 아동뿐만 아니라 발달 장애인, 치매 노인과 같은 약자들에게도 적용할 수 있을 것이다. 비콘의 신호를 통해 위치 파악뿐만 아니라 위치한 장소에 대한 정보 전송도 할 수 있을 것이다. [종합설계] 라즈베리파이를 활용한 졸음운전 경보기 작성자 김영한 출품자 정보 김영한(201610878), 유민국(201610893), 한상현(201615434), 한승빈(201615436) 기대효과 작품의 상용화로 졸음운전을 직접적으로 예방함으로써 경제적 관점에서는 사고의 감소 를 통한 비용을 줄일 수 있고 더 나아가 사회적 관점으로는 법리분쟁, 인명피해 등을 예방할 수 있다. 추천 0 조회 6101 첨부파일 1 작성일 2020.12.13 프로젝트 정보 주제영역 □ 생활 □ 업무 █ 공공/교통 □ 금융/핀테크 □ 의료 □ 교육 □ 유통/쇼핑 □ 엔터테인먼트 기술분야 □ IoT □ 가상현실 □ 모바일 □ 빅데이터 □ 데스트톱 SW □ 자동제어기술 █ 인공지능 □ 블록체인 □ 보안 █ 영상처리 달성성과 □ 논문게재 및 포스터발표 □ 앱등록 □ 프로그램등록 □ 특허 □ 기술이전 □ 실용화 █ 공모전(공모전명 한이음 공모전 ) □ 기타( ) 프로젝트명 라즈베리파이를 활용한 졸음운전 경보기 프로젝트 소개 졸음운전은 자신뿐만 아니라 타인의 생명에도 해를 끼칠 수 있는 매우 위험한 상황을 연출합니다. 따라서 이런 상황을 캐치하고 운전자의 졸음에 경고를 줄 수 있는 시스 템으로써 운전자의 눈을 중점으로해서 졸음을 인식하고 다양한 아두이노 기기를 이 용해 졸음 중임을 인식합니다. 이로써 운저자의 졸음 운전을 방지할 수 있는 프로젝 트입니다. 개발배경 및 필요성 지난 10년간 고속도로 교통사고 발생원인 1위는 무려 전체의 22.5%를 차지하는 졸음 운전입니다. 매년 2,000건 이상의 졸음운전이 발생하고 그 중 사망자는 100여 명이 넘어갑니다. 따라서 졸음 운전을 경고하고 방지해줄 수 있는 시스템이 필요합니다. 프로젝트 주요기능 - 이산화탄소감지 센서를 이용한 이산화탄소 농도 층정 - 눈 깜빡임을 인식하여 졸음 식별 - 차선 이탈 감지 - 심장 박동 감소 인식하여 졸음 식별 - 자동 창문 개방, 졸음 인식 경보음, 자동 에어컨 off 기능 - 가까운 졸음쉼터나 휴게소의 위치를 음성으로 알려줌 - 졸음 인식하면 비상등을 이용하여 주변 차들에게 특이사항 알림 작품의 기대효과 및 활용분야 작품의 상용화로 졸음운전을 직접적으로 예방함으로써 경제적 관점에서는 사고의 감소 를 통한 비용을 줄일 수 있고 더 나아가 사회적 관점으로는 법리분쟁, 인명피해 등을 예방할 수 있다. Ⅰ. 프로젝트 개요 가. 프로젝트 소개1) OpenCV, Dlib- 두 라이브러리를 이용해 눈깜빡임을 인지하여 졸음 식별에 중점을 둠.- OpenCV에 있는 차선인식 라이브러리를 이용해 졸음을 식별할 때 더욱 정확한 판별이 가능함.2) 기획 의도- 국내 현대 모비스 기업에는 DSW라는 운전자의 얼굴을 알아보고 시선 추적까지 가능한 운전자 부주의 경보시스템 을 개발하였지만 아직 대중적으로 상용화되지는 않음.- 일반적으로 쉽게 접하고 구할 수 있는 라즈베리파이와 아두이노를 이용해 소비자가 합리적인 가격과 작동하기에 어려움이 없는 제품을 만드는 것을 목표로 함. 3) 작품 내용- 라즈베리파이를 이용해 각종 디바이스를 컨트롤.- Co2 센서, 심장박동 등을 이용해 정확성을 높임.- 졸음 인식 후 창문 개방, 경보음 등을 활용하여 졸음 방지 나. 개발배경 및 필요성1) 작품 제작 동기- 대부분의 운전자들이 졸음운전에 대한 위험성은 인지하지만. 이에 대해 적절한 대처를 하는 운전자의 비율은 그리 높지 않다.- 한국도로공사 고속도로 사고 통계에 따르면 지난 10년간 고속도로 교통사고 빈도 1위는 졸음운전 그러나 그에 비해 해결방안이 다소 적다.- 운송업 종류의 운전을 많이 하는 직종은 야간운행이 빈번하고 보다 큰 차량을 운행하기 때문에 사고가 났을 때의 위험도가 상대적으로 큼.- 졸음은 생리적인 현상으로 자신 스스로의 인지 및 해결이 힘듦. 2) 목적 작성- 개인뿐 아니라 사회적으로 많은 피해를 끼치는 졸음운전을 줄이기 위하여 졸음 쉼터와 같은 간접적인 방법보다는 운전자를 직접적으로 깨워줄 방법을 연구- 졸음인식을 캐치하고 최종적으로 졸음을 깨우는 기능들을 아두이노를 이용하여 운전에 집중을 할 수 있는 디바이스를 개발하는 것이 목표이다. 다. 작품 구성도1) 전체 구성도- 웹 카메라를 통해 눈 깜빡임과 초점, 차선을 인식하고 해당 정보를 라즈베리파이에서 입력받는다.- 라즈베리파이에서 가지고 있는 입력값과 Co2 센서의 수치에 따라 졸음인지 아닌지 인식하고 졸음이라고 판단되면 졸음을 깨워주는 장치들이 작동한다. 2) S/W 구성도3) H/W 구성도라. 작품의 특징 및 장점1) 차별성- 단순히 눈 깜빡임만을 가지고 졸음운전을 감지하는 것이 아니라 차선 인식,Co2 센서, 심작박동 감지센서 등을 이용해 감지능력에 정확성을 높힘.- Co2 센서를 통해 인지한 Co2 농도가 평균보다 높다면 자동으로 창문 개방을 함으로써 졸음을 미리 예방하는 기능- 비상등을 이용해 자신뿐만 아니라 주변 운전자에게도 경고할 수 있는 기능 2) 장점- 눈 깜빡임과 차선 인식을 융합해 인식의 민감도를 조절할 수 있다.ex) 차선 인식을 통해 차선 방향대로 가지 않고 휘청거린다면 눈 깜빡임에 비해 위험한 상황이므로 민감도를 급격히 올려 눈 깜빡임은 거의 개입하지 않고 경보를 울림- 타 기업의 비싼 졸음 운전 감지 기능에 비해 비교적 저렴한 가격으로 구현 가능 Ⅱ. 프로젝트 수행결과 가. 업무분장 번호 성명 역할 담당업무 1 한상현 팀 장 - OpenCV, dlib 분석, 라즈베리파이 제어 2 김영한 팀 원 - OpenCV, dlib 분석, 아두이노 제어 3 유민국 팀 원 - OpenCV, dlib 분석, 파이썬 얼굴인식 코드 구현 4 한승빈 팀 원 - OpenCV, dlib 분석, 각종 센서 제어 나. 주요기능 구분 기능 설명 S/W 눈 깜빡임(졸음) 감지 openCV로 운전자의 눈 폭이 사전 정의된 임계값 미만일 시에 졸음을 감지. 차선 인식 영상처리 기법으로 차량이 깜빡이를 켜지 않고 차선을 이탈했을 때를 감지. 완성가능시점 심장 박동수 인식 센서를 활용하여 심박수 측정하여 사전 정의값(운전자의 평균 심박수)의 미만일 시에 졸음 의심. 완성가능시점 H/W Co2 농도 측정, 창문 개방 CO2농도가 높아지면 운전자의 졸음을 야기할수 있음. 이에 자동으로 창문을 개방, 환기. 완성가능시점 경보음, 비상등 졸음 감지되면 경보음으로 운전자에게 인식, 주변 차량에게 비상등으로 특이사항 알림. 완성가능시점 다. 프로젝트 개발환경 구분 항목 적용내역 S/W 개발환경 OS Ubuntu Ubuntu 환경에서 개발 개발환경(IDE) PyCharm, terminal PyCharm 에디터를 가지고 개발 개발도구 PyCharm PyCharm 에디터를 가지고 개발 개발언어 Python Python H/W 구성장비 디바이스 Raspberry, Arduino Raspberry, Arduino 센서 Co2 센서, 피에조 부저, 심장박동 센서 Co2 센서, 피에조 부저, 심장박동 센서 통신 와이파이 와이파이 개발언어 라즈베리파이와 아두이노를 연동해주는 모듈 존재 라즈베리파이와 아두이노를 연동해주는 모듈 존재 라. 장비(기자재/재료) 활용 번호 품명 작품에서의 주요기능 1 라즈베리파이 - 주요 컨트롤 타워로 모든 장치들을 담당하고 졸음 인식과 차선 인식을 담당함 2 아두이노 - 센서들과 라즈베리파이를 연동 3 카메라 - 눈 깜빡임 인식과 차선 인식할 때 필요한 카메라 4 아두이노 센서 - 각종 센서를 이용해 졸음 감지에 대한 조건을 충족하고 경보음을 발생시킴 마. 프로그램 작동 동영상#URL(유튜브에 올려서 링크 프로그램 작동 되는 화면을 동영상으로 작성)ㅇ https://youtu.be/9p6819d9-5gㅇ 바. 결과물 상세 이미지 Ⅲ. 프로젝트 수행방법 가. 프로젝트 수행일정 구분 추진내용 수행일정 3월 4월 5월 6월 7월 8월 9월 10월 11월 계획 프로젝트 수행 계획서 작성 분석 유즈케이스 다이어그램 및 시스템 아키텍처 설계 opencv, dlib 이용한 졸음에 대한 얼굴 인식 설계 아두이노와 Co2 농도측정센서를 이용한 구현 설계 개발 얼굴인식, 졸음 식별 코드 구현 Co2 농도측정 코드 구현, 차선이탈 감지 코드 구현 아두이노를 통한 모형 제작 테스트 라즈베리파이를 활용한 아두이노 모형 구동 테스트 및 졸음감지 데이터를 라즈베리파이에 전달 종료 프로젝트 완료 보고서, 2020년 한이음 공모전 준비 오프라인 미팅 코로나로 인해 온라인 미팅을 적극 활용함 나. 문제점 및 해결방안ㅇ 프로젝트 관리 측면- 개발환경(Ubuntu)에서의 졸음 식별 코드를 운영환경(Raspberry-Pi)로 구현시켰을 때 몇몇 문제를 발견 - 라즈베리파이에서는 파이참 터미널을 사용할 수 없어서 문제가 발생했던 것. 따라서 라즈베리파이의 자체 터미널을 이용해 소스를 실행시키는 방법으로 문제 해결- dlib를 이용한 졸음인식 코드 구현에서 몇몇 문제를 발견 - 윈도우에서 사용했던 폴더 그대로 넘어와서 경로가 엉켜있어서 문제가 발생했던 것. 폴더를 재지정해줌으로써 문제 해결 ㅇ 작품 개발 측면- 기존의 차선이탈 감지 코드는 딥러닝을 사용하는 방식인데 학습 시간의 차질을 빚을 것이라 대비해 opencv로 구현하는 것을 목표로 둠.- 눈 깜빡임의 인식이 빠르게 깜빡여도 졸음이라고 판단하는 경우가 있어서 수치 조정이 필요함. - 2~3 사이의 값으로 조절.- Co2센서의 정확한 임계값을 설정하기 위해 밀폐된 공간에서 측정하는 방식을 사용해야 함.- 아두이노가 측정한 수치를 라즈베리파이에 보내 정보로 사용할 때 적절한 오차범위 설정이 필요함. Ⅳ. 기대효과 및 활용분야 1. 작품의 기대효과 경제성 1) 도로교통공단에 따르면 교통사고 처리비용은 국가 예산(400조)의 약 5.9%에 해당하고, 4인 가족 기준 약 147만여 가구의 연간 최저생계비에 이르는 규모다.2) 고속도로 사고의 주요 원인인 졸음 운전을 방지한다면 비용을 대폭 줄여 조금 더 효율적인 곳에 사용할 수 있을 것이다. 사회성 1) 졸음 운전에 대한 관심을 높힘으로써 인식을 개선2) 법리 분쟁과 인명피해를 줄임으로써 GNH(국민 행복 지수) 증가. 2. 작품의 활용분야- 사회적 측면으로 졸음 운전을 보다 직접적인 방법으로 예방함으로써 졸음운전의 감소와 졸음운전에 대한 인지도를 높일 수 있음.- 추후 이용자의 측정 데이터를 저장해 더 정교한 모델을 만드는데 사용할 수 있다.- 경제적 측면으로 인명피해가 아니더라도 교통사고가 줄어듦으로써 개개인 뿐만 아니라 국가에서도 들어가는 비용이 줄어든다. [종합설계] 인공지능 자연어처리와 음성인식을 이용한 은행 어플리케이션 작성자 이소이 출품자 정보 이소이, 소은지 기대효과 1) 인터넷 뱅킹에 익숙하지 않은 고령층 또는 중장년층에게 손쉬운 사용법을 제시 2) 노인 또는 소외계층에게 핀테크에 대한 접근성을 높일 수 있음 3) 복잡한 은행 모바일 앱의 UI를 음성인식으로 대체하여 UI 개발의 비중을 간소화 함 4) 인공지능의 자연어 처리 기술을 활용하여 사용자의 의도를 자동으로 분석함으로써 고객들의 만족도를 높임 추천 0 조회 1132 첨부파일 2 작성일 2020.12.12 1. 제안 배경IT 발전과 코로나 19로 인한 언택트 시대에서 배달 어플리케이션, 인터넷 쇼핑몰 등 모바일 서비스의 성황이 끊이질 않는 상황이다.특히나 은행 모바일 서비스는 대기시간의 감소는 물론 장소의 번거로움을 줄여줌으로써 소비자들에게 큰 편리함을 제공하고 있다.하지만 우리는 현재의 비대면 은행 서비스가 과연 모든 연령층에게 친절한지 의문이 들었다.특히 어르신들과 장애인들이 모바일 서비스를 이용하는 데에 존재하는 어려움을 극복해야하는 상황이다.작은 키패드로 직접 계좌번호, 금액 등을 입력하는 체제가 아닌 음성으로 개체명을 인식해서 원하는 서비스를 제공한다면 소외계층은 물론, 기존 사용자들에게도 큰 편리함을 가져다 줄 것이다.이에 음성인식으로 송금 및 은행 서비스가 가능하다면 핀테크 혁신으로부터 소외되고 있는 계층에게 격차를 해소해 줄 기술이라는 생각에 이번 프로젝트를 진행하게 되었다. 2. 개발 환경 구분 항목 적용내역 S/W 개발환경 개발환경(IDE) Pycharm 프로그램 개발 개발언어 python 프로그램 언어 어플리케이션 개발환경 개발환경(IDE) python - Kivy 프로그램 개발 3. 시스템 기능 ① 의도 분석 (Classify) 사용자들이 음성으로 요구할 예상 문장들을 바탕으로 정답을 라벨링해서 데이터를 생성하여 학습시킨다. - 송금, 잔액, 이체내역조회, 공인인증서 등등 - 인식된 음성 문장을 바탕으로 원형으로 전처리해주고 토큰화 한다. - sklearn의 OneVsRestClassfier를 이용해서 학습시켜 lgs라는 이름의 모델을 생성한다. - 로지스틱 회귀는 선형으로 두가지 분류만이 가능하지만 프로젝트의 목표 상 총 세가지 이상을 분류해야 하기 때문에 여러개를 분류할 수 있는 OneVsRest를 사용했다. - 음성인식 부분 코드 - 인식된 음성을 바탕으로 lgs 모델을 사용해서 예측을 한다. - 한글 자연어처리 모델은 konlpy의 okt를 사용. - 코드 실행 결과 : 농협은행 홍길동한테 천원 보내줘 라고 말하면 형태소 분석에 따라 사용자의 의도가 송금이라는 것을 예측해준다. - 코드 실행 결과 : 최근 이체 내역 보여줘 라고 말하면 형태소 분석에 따라 사용자의 의도가 이체내역조회라는 것을 예측해준다. ② 개체명 인식 (NER) - org는 은행명을 의미하고 ps는 사람이름, nb는 금액을 의미한다. - 0는 관련없는 형태소, I는 관련있는 형태소로 지정해주었다. - 결과는 이렇게 국민은행 이라는 은행명은 ORG로 인식이 되고 홍길동 이라는 이름은 PS로인식이 된다. 한테 는 관련이 없는 형태소, 그 다음 백 이라는 숫자는 NB로 인식이 된다. 숫자 뒤의 원 은 관련 있는 형태소인 I로 인식이 된다. - pycrfsuite라는 라이브러리를 이용하여 개체명인식 코드에서 사용했다. 인공지능 학습 모델은 komoran을 사용했다. - CRF : 문장 개체명을 인식하기 위해서 앞, 뒤 단어와 품사 정보들을 이용 3. 최종 어플리케이션 3. 기대 효과1) 인터넷 뱅킹에 익숙하지 않은 고령층 또는 중장년층에게 손쉬운 사용법을 제시2) 노인 또는 소외계층에게 핀테크에 대한 접근성을 높일 수 있음3) 복잡한 은행 모바일 앱의 UI를 음성인식으로 대체하여 UI 개발의 비중을 간소화 함4) 인공지능의 자연어 처리 기술을 활용하여 사용자의 의도를 자동으로 분석함으로써 고객들의 만족도를 높임 [종합설계] 환경 보호 캠페인 인증 서비스 어플리케이션 작성자 송지민 출품자 정보 송지민(201610891), 박주연(201615395) 기대효과 이 어플리케이션을 사람들이 사용한다면 환경보호를 위한 앱이기 때문에 환경보호에 도움을 준다. 예를들어 텀블러 활용이 높아짐으로써 플라스틱 컵 사용이 줄어들기에 쓰레기 무단 투기 방지 및 플라스틱 폐기물 처리 비용 및 시간을 단축시킬 수 있다. 또한 사용자가 걸음 수 측정 기능을 이용하여 일상생활에서 가장 기본적인 것으로 건강과 이익을 얻을 수 있다. 그리고 다른 사람들의 피드를 보면서 동기부여도 되며 환경적인 이슈에 더욱더 관심을 가질 것이라고 본다. 이 어플리케이션의 활용 방안으로는 플라스틱 프리 캠페인에 적극 실천하지 못하는 사용자들이 쉽게 활용이 가능하고 광고를 이용하여 마일리지 제도를 적극 활용하면 사용자들도 수익 창출이 가능하다. 추천 0 조회 1299 첨부파일 0 작성일 2020.12.12 * 문제 정의인간의 산림벌채와 화석연료 사용 등으로 지구온난화의 문제가 심각해지고 식물과 동물의 서식지가 파괴되는 상황 속에서 위와 같은 자기계발 어플들은 많은 반면에 환경보호에 관련된 여플은 부족하다. 또한 사람들은 환경 보호를 어렵게 생각하는 경향이 있을 뿐더러 나 하나 쯤이야 라는 마음이 있어 환경 보호 실천이 더욱더 어려워 진 것으로 보인다. 따라서 환경보호를 도모할 수 있는 어플리케이션이 만들어진다면 사람들이 환경에 대한 관심이 많아 질 것이고 환경 보호 실천률도 높아 질 것이다.* 문제 해결 아이디어이를 해결하기 위해 자기계발 인증 어플을 참고하여 환경 보호와 접목시키는 방법을 생각하였다. 환경 보호에 걸맞는 사진을 올리고 인증이 완료되면 사용자가 포인트를 얻는 방식이다. 일단 이 어플리케이션 내에서 환경 보호 할 수 있는 항목들을 플라스틱 컵 대신 텀블러 이용하기, 플라스틱 빨대 대신 종이빨대 사용하기, 채식하기, 차 타기 대신 걷기라고 먼저 설정하고 이에 맞는 인증사진을 찍는다. 그 후 사용자가 가입한 아이디를 인증사진에 워터마크로 박아 도용을 방지해준다. 텀블러 사진 찍기 항목은 카페에서 플라스틱 대신 텀블러를 사용했다는 인증을 위해 영수증을 찍고 OCR 기능으로 텍스트를 추출해 날짜를 인식하여 해당 날짜와 당일 날짜가 일치하는지 확인을 해준다. 차 타기 대긴 걷기 항목은 몇 보당 몇 포인트로 지정해주어 포인트를 지급해준다. 이러한 인증된 사진들은 자신의 피드에서 확인이 가능하고 또한 사용자가 다른 사용자의 아이디를 검색하면 그 사용자의 피드를 볼 수 있게끔 구현한다. 포인트를 모으면 사용자의 레벨이 올라가 레벨에 따른 새싹의 성장을 보여줌으로써 포인트 모으기를 독려한다. 또힌 이 어플리케이션의 사용자를 일단 모으기 위해서 추천인을 쓰면 쓴 사람과, 받은 사람의 포인트를 적립하도록 구현한다. 그 외의 다른 아이디어 중 하나는 카카오톡과 연동시켜 프로필에 레벨을 나타낼 수 있다면 사람들은 자신의 환경 보호 레벨을 보여 줄 수 있기 때문에 더 레벨을 올리려고 할 것이기에 좋은 아이디어지만 이 경우는 이 어플리케이션의 사용자가 많은 상태에서 가능하기 때문에 지금 구현하기엔 어려울 것으로 보았다. * 시스템 개요* 개발 환경 [APP]-OS : Windows 10-IDE : AndroidStudio(3.3)-개발도구 : Android SDK, JDK-개발언어 : Java [기타]-MySQL* 시스템 기능① 로그인, 자동로그인, 회원가입 기능 : 회원가입 창에서 닉네임, ID, 비밀번호, e-mail 을 입력한 후에 입력된 값을 DB에 저장하여 로그인이 가능하다. 또한 로그인 할 때 자동로그인 체크박스를 선택하면 다음에 로그인 할 때 자동으로 로그인이 된다. ② 도용 방지 기능 : 안드로이드 스튜디오에서 Canvas를 이용해 로그인으로 연동된 사용자의 ID가 워터마크로 삽입되어 도용을 방지한다.③ 포인트 제공 기능 : 사진을 올리면 포인트를 지급하고 관리하는 기능이다. 데이터 베이스에서 포인트를 저장하고 증가를 시킨다.④ 영수증 인식 기능 : 텀블러 사용 인증에서 빈 텀블러를 찍고 포인트를 받아가는 일이 없도록 영수증을 찍고 이미지 텍스트 추출 기법(OCR)을 이용하여 날짜를 인식한 다음 날짜가 일치하면 포인트 적립하도록 한다. ⑤ 핸드폰 걸음 수 측정 기능 : Android 오픈소스 프로젝트(AOSP) 는 중력 센서, 선형 가속 센서, 회전 벡터 센서 이렇게 세 가지 소프트웨어 기반 동작 센서를 제공하는데 이를 사용하여 걸음 수를 측정한다. 측정한 후 포인트로 환산하여 지급한다. ⑥ 다른 회원들의 피드 확인 기능 : 모든 회원들의 인증 사진을 실시간으로 확인이 가능하다.* 시스템 인터페이스① 로그인 화면 ② 회원가입 화면 ③ 메인 화면 ④ 텀블러 인증 화면 ⑤ 영수증 인증 화면 ⑥ 걸음 수 인증 화면 ⑦ 채식 인증 화면 ⑧ 장바구니 인증 화면 ⑨ 인증 선택 화면 ⑩ MY PAGE 화면 ⑪ 다른 사용자 피드 검색 화면 * 프로젝트 결과물 ① 회원가입 : 회원가입 화면에서 ID를 입력한 후 중복확인을 누르면 DB에 중복된 ID가 있으면 사용할 수 있는 아이디입니다. 라는 창이 뜨고 중복된 ID가 없으면 사용할 수 없는 아이디입니다. 라는 창이 뜬다. 회원가입 전에는 빈 테이블이었는데 회원가입 후 사용자의 ID와 패스워드와 닉네임 부분이 채워진 것을 확인할 수 있다. 사용자의 패스워드 부분은 개발자도 모르게끔 암호화를 진행하였다. ② 로그인 : 로그인을 할 때 자동로그인 체크박스를 선택하면 다음에 어플리케이션을 실행할 때 자동으로 ID와 패스워드가 쓰여져 있어 편리하다. ③ 채식 , 장바구니 인증하기: 로그인 후 인증화면 창에서 인증 방법을 선택한 후 카메라버튼을 선택하면 갤러리에서 사진을 가져오거나 직접 찍어서 사진을 올릴 수 있다. 업로드된 사진에는 사용자 ID로 워터마크가 삽입되어 있고 완료 버튼을 누르면 파일과 포인트가 데이터베이스에 업데이트 된다. ④ 걸음 수 인증하기 : 시작하기 버튼을 누르면 걸음 수 측정이 시작된다. 10보 당 1포인트로 환산하여 포인트가 적립된다. ⑤ 텀블러 인증하기 : 영수증의 사진을 찍고 이미지 텍스트 추출한 후 인식된 날짜와 해당 날짜가 일치하면 텀블러 사진을 업로드 할 수 있다. ⑥ 메인 화면 : 포인트에 따른 레벨의 증가로 새싹의 성장을 보여준다. ⑦ 마이 페이지 : 마이페이지 화면으로 가면 사용자의 회원 정보와 포인트, 업로드한 사진들을 모아 볼 수 있다. ⑧ 모든 회원의 피드 모아보기 : 메인 화면에서 돋보기 버튼을 누르면 자신의 인증 사진 뿐 만 아니라 다른 사용자의 인증 사진을 볼 수 있다.* 기대 효과 및 활용 방안 이 어플리케이션을 사람들이 사용한다면 환경보호를 위한 앱이기 때문에 환경보호에 도움을 준다. 예를들어 텀블러 활용이 높아짐으로써 플라스틱 컵 사용이 줄어들기에 쓰레기 무단 투기 방지 및 플라스틱 폐기물 처리 비용 및 시간을 단축시킬 수 있다. 또한 사용자가 걸음 수 측정 기능을 이용하여 일상생활에서 가장 기본적인 것으로 건강과 이익을 얻을 수 있다. 그리고 다른 사람들의 피드를 보면서 동기부여도 되며 환경적인 이슈에 더욱더 관심을 가질 것이라고 본다. 이 어플리케이션의 활용 방안으로는 플라스틱 프리 캠페인에 적극 실천하지 못하는 사용자들이 쉽게 활용이 가능하고 광고를 이용하여 마일리지 제도를 적극 활용하면 사용자들도 수익 창출이 가능하다. [요소설계] 디지털 시계 작성자 김민주 출품자 정보 201918764김민지, 201912341김민주, 201918789이경민, 201912393이미르 기대효과 아날로그 시계의 단점인 시간의 정확도를 극복할 수 있다. 디지털의 경우 아날로그에 비해 정확한 수치를 나타내주고 어두운 곳에서도 볼 수 있도록 조명이 있고 내구성과 방수가 좋기 때문에 다방면에서 활용도가 높은 편이다. 정확한 시간을 알려주는 기능을 가진 시계이면서 그 이외에 추가적으로 시간설정과 오전오후를 구분하는 기능도 있다. 이를 통해 원하는 시간대로 설정하여 시계를 맞추어 사용할 수 있다. 추천 0 조회 2604 첨부파일 1 작성일 2020.12.12 ⅰ. 프로젝트 주제 및 선정 동기 선수 과목인 디지털 논리 회로와 전기전자 기초실험을 바탕으로 기초에 충실하면서 응용을 통해 설계를 진행할 수 있는가에 중점을 두어 가장 적합한 "디지털 시계"를 주제로 선정하였다. ⅱ. 시스템 기능 그림1. 디지털 시계 전체 회로도 1) 기본적인 시계그림1을 토대로 디지털 시계를 구현하였다. 시중에 많이 사용되고 있는 12진 카운터 디지털 시계 00:00:00~12:59:59초로 구현되어있고 별도의 LED를 통해 오전오후를 구분하도록 되어있다. 시계를 구현한 후 함수발생기를 사용하여 원하는 클럭을 인가해주고 클럭 펄스에 맞게 시간이 흐르도록 하였다. 2) 오전 오후 구분 구현되어 있는 디지털 시계의 00:00:00 ~ 12:59:59로 표현되는 시간을 오전 오후로 구분하여 표현해주는 기능이다. 두 개의 LED를 통해 구분해준다. 2개의 LED는 12시간을 주기로 번갈아 불빛이 들어오게 된다.3) 시간 조정처음 시계를 사용할 때나 빠르게 시간을 맞추고 싶을 때 등 사용자가 원하는 시간으로 맞추기 위한 기능이다. 이는 스위치를 통한 것으로 원하는 시간으로 맞춘 뒤 스위치를 누르지 않으면 맞춰 놓은 시간부터 시계가 흐르게 된다.이는 아날로그에 비해 정확한 시간을 맞출 수 있다는 장점이 있다. ⅲ. 기대효과 및 활용 정확한 시간을 요구하는 뉴스 방송사, 회사 및 법정에서 활발히 사용이 되고 어린이 또는 야외활동이나 실내운동을 즐기는 사람들의 선호도가 높은 편이다. 아날로그 시계에 비해 시간의 정확도가 높으므로 시계시장에서 꾸준하게 증가하는 구매율을 보인다. [종합설계] 분리수거 도우미 작성자 차상은 출품자 정보 이지은(201720041), 차상은(201610900) 기대효과 올바른 분리수거 방법을 사람들이 쉽게 알 수 있게 된다면 재활용이 가능한 비율이 늘어날 것이고, 환경문제에 도움이 될 수 있을 것이다. 추천 0 조회 1842 첨부파일 0 작성일 2020.12.12 ◆ 프로젝트 개요환경 문제로 인하여 분리수거의 중요성이 대두되는 가운데 분리수거의 제대로 된 방법을 알지 못하는 사람들이 많다.더욱 쉽게 접근하기 위하여 사람들이 검색이 많은 항목들은 사진을 찍으면 분리수거 방법을 알려주어 손쉽게 접근하고분리수거되는 항목별로도 그 방법을 알려주도록 한다.◆ 프로젝트 목적 및 필요성환경에 관한 문제가 많이 대두되고 있는 가운데 코로나 19로 인하여 그 상황은 악화되고 있습니다. 코로나의 접촉과 확산을 방지하기 위하여 일회용품 사용 금지 정책을 환경부에서 일시적으로 완화시키고, 집에서 배달음식으로 인한 일회용품 사용과 폐기물의 양이 급격히 늘어났습니다. 우리나라는 쓰레기 폐기물을 다른 국가에 수출시키기도 하는데 코로나로 인하여 해외 수출이 막힌 상황이 되었습니다. 그래서 국내에서 모두 처리를 해야하는 와중에 국제유가도 하락하며 재활용품 가격이 폭락해 재활용 업체들은 심각한 적자를 겪으며 수거를 하기도 어려운 상황입니다. 재활용품들은 땅에 쌓여만 가고 처리되지 못하고 있습니다. 이런 상황 속에서 우리가 조금이라도 환경을 살리기 위하여 할 수 있는 일은 쓰레기 배출을 줄이고 나오는 쓰레기라도 재활용을 하여 재활용되는 비율을 높이는 일입니다. 분리수거가 잘 되지 않으면 재활용 조차 되지 못하고 모두 태우거나 매립하여 처리를 해야하기 때문에 분리수거가 중요한 상황입니다. 저희 프로젝트를 통하여 사람들이 제대로 된 분리수거의 방법을 알게 될 수 있습니다.◆ 프로젝트 목표 및 범위- 분리수거 방법 제시- 사진으로 사람들이 분리수거 어려워하는 5가지(페트병, 라이터, 형광등, 냄비, 우산)의 분리수거 방법 제시◆ 시스템 개요◆ 사용자 인터페이스메인 화면에는 사진을 찍어 검색할 수 있도록 하는 버튼과 분리수거 항목 8개의 (종이, 캔/고철, 플라스틱, 유리, 스티로폼, 비닐, 음식물, 기타) 아이콘으로 된 버튼을 두어 검색이 편하도록 만들었다.사진을 찍어 검색하는 기능은 페트병, 우산, 냄비, 라이터, 형광등 5가지 물건을 인식 가능하도록 학습 시켜둔 인공지능을 이용한다.이 5가지 물건 중 페트병을 제외한 4가지 물건은 검색 사이트에서 사람들이 '버리는 방법'에 대해 많이 검색을 해보는 물건들로 선택했다.아이콘은 분리가 쉬운 큰 분류 항목들을 메인에 배치해 사용이 편리하도록 했다.◆ 실험 및 평가새로운 이미지를 넣어서 테스트 해도 인식이 된다. threshold를 0.2나 0.3 정도까지는 인식이 어느정도 되는 편이다. (threshold 0.2는 객체가 20%이상 매치 확률을 보이면 인식한다는 뜻이다)그렇지만 배경이 최대한 단조롭고 정면에서 찍어야 인식률이 높다.위의 사진은 threshold를 0.2로 하였을 때 새로운 사진 24장을 넣었을 때 그 중3/4이 인식이 잘 된 것을 볼 수 있다.1/4은 다른 것으로 인식이 되거나 아예 인식이 되지 않았다. ◆ 기대 효과환경문제의 중요성은 매년 더 높아지고 있고, 그에 따라 쓰레기 처리 문제 역시 현대 사회의 중요한 문제점 중 하나이다.우리나라의 폐기물 수거율은 (2017년 환경부가 발표한 조사 자료 기준) 69%로 높은 수치를 보이지만 이는 폐기물의 수거율 일뿐 실제 재활용률이 아니다.우리나라의 생활 폐기물 재활용 시스템은 크게 수거 - 선별 - 처리 3단계를 거치게 된다. 따라서 가정에서 배출한 폐기물들은 선별장으로 옮겨지고 여기서 재활용이 되는 것과 되지 않는 것을 한번 더 분류한다.이 과정에서만 재활용이 불가능한 잔재물이 대략 39% 정도 나온다.즉, 우리나라는 폐기물 수거율은 높지만 실제로 재활용되는 비율은 확인되고 있지 않은 상태이다. 플라스틱의 경우만 보아도 라벨을 다 떼어 버려야 하지만 그렇지 않은 경우가 많고, 이럴 경우 인건비 문제로 인해 재활용을 하지 못하고 소각장으로 이동하게 된다.따라서 재활용 비율을 늘리기 위해서는 제대로 된 분리수거 방법을 알고 실천하는 것이 중요하다. 분리수거 도우미 어플을 통해 올바른 분리수거 방법을 사람들이 쉽게 알 수 있게 된다면 재활용이 가능한 비율이 늘어날 것이고, 환경문제에 도움이 될 수 있을 것이다. [종합설계] 음성인식 및 텍스트 분석을 활용한 VoIP 보이스피싱 방지 시스템 작성자 박주연 출품자 정보 박주연(201615395), 송지민(201610891), 차상은(201610900) 기대효과 보이스 피싱 취약 계층의 사회적, 경제적 피해 최소화 할 수 있다. 활용방안으로는 보이스피싱 범죄를 막아주어 사용자의 자산을 보호하고 인공지능과 물리적 활동을 연계하여 Cyber-Physical System 가시화 할 수 있다. 추천 0 조회 1605 첨부파일 0 작성일 2020.12.12 * 문제 정의 보이스피싱의 피해는 매년 증가하고 있고 피싱 조직은 계획적이고 치밀하게 범죄를 준비하기 때문에 이를 예방하는 것은 쉽지 않다. 현재 스마트폰 분야에는 빅데이터와 인공지능 기술을 이용해 보이스피싱을 잡아내는 앱이 출시되어 사용되고 있으나 VoIP(인터넷전화)에는 보이스피싱을 예방하기 위한 하드웨어와 소프트웨어가 없는 상황이다. 따라서 스마트폰을 사용하지 않고 인터넷 전화를 사용하는 보이스피싱 취약계층(주로 노약자, 장애인)은 보이스피싱 피해 가능성이 크므로 대화 내용을 실시간으로 분석해 보이스피싱 여부를 가려내는 시스템이 필요하다.* 문제 해결 아이디어 여전히 노인들 중 인터넷 전화를 사용하는 사람들은 존재한다. 또한 보이스피싱을 당하는 사람들이 매년 증가하는 추세이다. 따라서 소수를 위한 시스템도 필요하기 때문에 저렴한 비용으로 보이스피싱을 예방할 수 있는 시스템을 개발하고자 하였다. 따라서 보이스피싱을 나타내는 데이터를 이용해 인공지능을 개발하여 라즈베리파이에 띄울 수 있는 시스템을 개발하였다. 이 시스템은 전화를 수신하면 프로그램을 실행시켜 패킷을 수집한다. 수집된 패킷의 음성을 STT를 이용하여 텍스트로 바꾼 뒤 인공지능 모듈을 통해 보이스피싱 여부를 판단하여 경고하는 시스템이다.* 작품 구성도* 프로젝트 개발 환경 구분 항목 적용내역 S/W 개발환경 OS Window 10, 라즈비안 - 개발환경(IDE) IDLE Python 실행 개발도구 IDLE - 개발언어 Python - H/W 구성장비 디바이스 라즈베리파이4, LCD모니터 - 센서 X - 통신 VoIP 스니핑 개발언어 Python 라즈베리파이 * 장비(기자재/재료) 활용 번호 품명 작품에서의 주요기능 1 라즈베리파이 - 라즈베리파이에 라즈비안 OS를 구축한 후, 개발된 시스템이 작동될 수 있도록 함 2 LCD 모니터 - 사용자 인터페이스를 위해 보이스피싱임을 알릴 수 있도록 모니터에 보이스피싱인지 아닌지를 알림 * 시스템 기능① VoIP 패킷 스니핑 기능 패킷을 분석해주는 Tshark 프로그램을 이용해 송/수신하는 VoIP의 음성 패킷들을 sniffing 한 후 음성패킷을 au파일로 저장한다. (아래는 프로젝트 진행 시 GUI를 위해 wireshark를 이용하여 진행한 캡처본이다.) ② STT 기능 저장된 m4a 음성파일을 네이버 CSR을 이용하여 텍스트로 변환한다. ③ 인공지능 활용 1500개의 보이스피싱 데이터를 수집하여 80%는 학습용, 20%는 인공지능 모델 선택(성능 확인)용 test data로 사용하였다. Logistic Regression 알고리즘을 이용하여 인공지능 모듈을 만들어서 STT 된 텍스트를 입력하면 점수를 예측한다. ( 입력 텍스트 / 길이 정규화 / 토큰화(명사 추출) / 예측 점수 / 점수 총 합) * 프로젝트 결과물① VoIP 서버 구축-Freepbx OS를 이용하여 IP 서버를 구축하였고, MicroSIP로 VoIP 통화를 할 수 있도록 환경 설정을 하였다.-zoiper를 이용하여 인터넷전화로 전화할 수 있도록 설정하였다.② 프로젝트 실행시 필요한 파일 목록 - pcap_to_wav.sh : Tshark를 이용하여 패킷을 수집하는 명령어들과, pcap 파일 형식으로 저장한 후 pcap 파알을 wav 형식으로 변형하는 명령어들이 들어가 있는 쉘 스크립트이다.- pcap_to_wav.sh 를 실행하면 te.pcap 파일과, vofitest.wav 파일이 생성된다.- vofitest.wav 파일을 MainWindow.py의 input으로 넣어 STT 변환 코드를 이용하여 sttoutput.txt라는 텍스트 파일이 생성된다. 이를 통해 인공지능 분석을 진행한다.③프로그램 실행 (ㄱ) (ㄴ) (ㄷ) (ㄹ) (ㄱ) : 프로그램 기본 화면이다.(ㄴ) : 시작하기 버튼을 누른 후 전환되는 화면으로 패킷 분석(패킷 수집, 음성파일로 변환, STT변환)에 소요되는 시간(약 1분)만큼 띄워진다.(ㄷ) : STT된 텍스트의 문맥을 파악하여 보이스피싱이라고 의심되지 않을 때 나타나는 화면이다.(ㄹ) : STT된 텍스트의 문맥을 파악하여 보이스피싱이라고 의심될 때 경고하는 화면이다.* 기대 효과 및 활용 방안 [기대효과]- 보이스 피싱 취약 계층의 사회적, 경제적 피해 최소화 [활용방안]- 보이스피싱 범죄를 막아주어 사용자의 자산을 보호- 인공지능을 android, ios 등 모바일 OS와 접목하여 어플리케이션으로도 창출 가능* 조 편성 및 역할 구성원 성명 역할 한 일 팀장 박주연 팀장 팀원 간의 역할 분담, 일정 주도 네트워크 설계 VoIP 환경 구성 및 패킷 스니핑 요구분석 HW에 대한 요구를 분석하고 정리 팀원 송지민 인공지능 개발 인공지능(분류 모델) 개발 UI 디자인 사용자 인터페이스 디자인 및 구현 1차 발표 1차 발표 발표자 팀원 차상은 인공지능 개발 인공지능(분류 모델) 개발 UI 디자인 사용자 인터페이스 디자인 및 구현 3차 발표 3차 발표 발표자 * 관련 기술의 현황[STT]사람이 말하는 음성 언어를 컴퓨터가 해석해 그 내용을 문자 데이터로 전환하는 처리. 키보드 대신 문자를 입력하는 방식으로 주목을 받고 있다. 로봇, 텔레매틱스 등 음성으로 기기제어, 정보검색이 필요한 경우에 응용된다. 대표적인 알고리즘은 HMM(Hidden Markov Model)으로서, 다양한 화자들이 발성한 음성들을 통계적으로 모델링하여 음향모델을 구성하며 말뭉치 수집을 통하여 언어모델을 구성한다.[Logistic Regression 알고리즘]영국의 통계학자인 D. R. Cox가 1958년[1] 에 제안한 확률 모델로서 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다. 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사하다. 하지만 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있다. [종합설계] 콘솔 기반 프로그램의 시각화 및 자동화(DockerRun) 작성자 김용식 출품자 정보 김용식(4학년) 기대효과 학생(클라이언트)들은 실습 환경을 구현하는 데 시간과 비용을 들이지 않아도 되며, 강사들에게는 강의 도중 실시간으로 웹페이지를 이용해 학생들의 실습 환경에 접근하여 코드 또는 프로그램에 대해 첨언하는 등의 더욱 효과적인 온라인 강의를 진행할 수 있게 된다. 추천 0 조회 1020 첨부파일 0 작성일 2020.12.11 ▣ 프로젝트 목적 및 필요성 코로나 19의 장기적인 여파로 인해 초, 중, 고, 대학교 및 사교육을 막론하고 온라인 강의 시대를 맞이하였다. 온라인 강의 시스템 또한 갑작스러운 수요의 급증으로 인해 약 1년 동안 많은 시행착오를 겪으면서 안정적인 시스템을 갖추게 되었다. 하지만 현재까지도 온라인 강의 플랫폼에 대한 불만은 꾸준히 제기되었으며, 특히 화상 회의에 초점이 맞춰져 있던 지금까지의 온라인 강의 시스템으로는 오프라인 강의를 완벽하게 대체하기에는 한계가 분명하다.또한, IT 관련 교육일 경우 학생들은 작성한 코드에 대해 첨언을 받을 수 있거나 집에 실습 환경이 제대로 갖춰져 있지 않은 경우, 학교에서 제공하는 실습 환경(예. 공과대학 7호관 434호실)을 사용하여 실습할 수 있었던 과거와는 달리 강의를 진행하는 강사는 제한적인 환경에서 이론적인 정보를 전달하기에도 벅차며, 학생들은 필요한 실습 환경을 구축하기 위해 사비를 사용할 수밖에 없었다.이런 문제점들을 해결하기 위해 프로젝트 DockerRun을 제안하여 학생들은 컴퓨터 내 어떠한 프로그램이나 도구를 깔지 않고 오직 웹을 이용하여 Docker로 구현한 실습 환경을 제공, 사용할 수 있게 하며 강의를 진행하는 강사들에게는 강의 도중 실시간으로 웹페이지를 이용해 학생들의 실습 환경에 접근하여 코드 또는 프로그램에 대해 첨언하는 등의 더욱 효과적인 온라인 강의 플랫폼 제작을 궁극적인 목표로 하는 콘솔 기반 프로그램의 자동화 및 시각화를 제안한다. ▣ 시스템 개요 전체적인 시스템 구성도는 다음과 같다. 전체적인 시스템은 Web Server에 구현되어 있으며 Web Server(Provider)는 웹 페이지, Docker, database로 이루어져 있다.사용자는 Express로 구현된 웹페이지를 통해 가입, 로그인, 강의 듣기가 가능하며 강의 개설 시 해당 강의 이름, 학번 등을 통해 생성된 실습 환경인 Docker Container를 배정받음으로써 강의를 수강하고 있는 한 언제든지 해당 환경에 접근하여 실습할 수 있다. ▣ 시스템 기능 다음은 강의 개설 시 발생하는 시스템 기능을 간단하게 표현한 그림이다. 우선 입력받은 데이터에서 강의명, 강의 시간, 강의 일자, 강의 장소, 강의 소개, 강의 컨테이너 배열을 추출한다. 이후 강의명, 학번, 학생 이름 데이터와 docker remote api를 이용하여 강의 시 사용될 실습 환경을 자동 스크립트를 통해 제작한다.이와 동시에 입력받았던 데이터를 데이터베이스에 저장하며, 출결 관리를 위해 강의명, 학생 정보를 이용하여 출결 테이블을 만드는 쿼리를 실행시킨다. 다음은 학생이 강의에 접속 시 상호작용하는 시스템을 간단하게 표현한 그림이다. 각 시스템에 대한 설명은 다음과 같다. Video Conferencing- 서버 내에서 원격 실시간 화상 강의 시스템을 WebRTC 기술을 이용하여 소켓 통신과 같이 수행한다.- 카메라 공유, 화면 공유가 가능하며 강사는 버튼을 통해 청강하는 학생의 실습 환경에 접근할 수 있다. Student Container강의를 수강하면서 Docker container로 구현된 해당 강의의 실습 환경에 접속할 수 있다.서버 하나에 여러 유저를 두고 사용하던 이전 방식과는 달리 각각의 실습 환경은 독립적이므로 사용자가 컨닝에 대한 우려와 자원 분배에 대한 고민을 하지 않아도 된다. Database출결 정보만을 데이터베이스에 전송하여 해당 일자에 출결을 완료하였는지 확인한다. ▣ 사용자 인터페이스1. 메인 페이지 간단한 UI와 단순한 디자인을 채택하여 사용자가 듣고 있는 강의가 무엇인지 확인할 수 있게 구현하였다. 2. 로그인 페이지 WIX에서 제공하는 google API를 이용해 로그인을 간단하게 구현하였다. 3. 강의 만들기 페이지 강의명, 강의 시간 등을 입력 값으로 받은 후 수강할 학번을 입력하면 강의가 생성되는 동시에 입력하였던 학번을 기준으로 실습 환경이 제작된다. 4. 강의 정보 페이지수강 신청 하였던 강의의 강의명, 강의 시간 등을 확인할 수 있으며 하단의 버튼을 통해 실습 환경에 접속할 수 있다. 5. Docker 실습 환경 페이지 실습 환경은 부가적인 설치 없이 웹페이지에서 동작하며, 처음 접속하는 경우 기본 값Student/Student를 입력하면 접속할 수 있다. 6. 화상 강의 페이지 화상 강의를 통해 학생들의 화면을 볼 수 있으며 수강하는 학생의 버튼을 누르면 직접 해당 실습 환경으로 접근할 수 있다. ▣ 기대 효과 및 활용 방안기존의 온라인 강의 플랫폼에 컴퓨터 내 어떠한 프로그램이나 도구를 깔지 않고 오직 웹을 이용하여 Docker로 구현한 실습 환경을 제공하므로 학생(클라이언트)들은 실습 환경을 구현하는 데 시간과 비용을 들이지 않아도 되며, 강사들에게는 강의 도중 실시간으로 웹페이지를 이용해 학생들의 실습 환경에 접근하여 코드 또는 프로그램에 대해 첨언하는 등의 더욱 효과적인 온라인 강의를 진행할 수 있게 된다. ▣ 참고 문헌 Wettyhttps://github.com/butlerx/wetty [종합설계] 시각장애인 학생을 위한 점자학습 시스템(H/W+App) 작성자 곽병욱 출품자 정보 곽병욱(201615379), 어태경(201414817), 우자영(201819170) 기대효과 ● 비장애 학우들에게 초점을 둔 학습자료 제공방식에서 오는 문제점을 개선함으로써 불평등의 사각지대에 있던 시각장애인의 정보격차 해소 ● 기존의 높은 가격과 휴대성이 부족한 점자 출력기를 대신할 수 있는 낮은 가격과 휴대성이 보장되는 결과물의 보급 ● 시각장애인 학생들을 위한 학습방법에 있어 다양성을 제공 ● 기존의 틀에 박힌 점자 컨텐츠에서 벗어나서 진동점자 체계를 정립함으로써 다양한 현물 점자 컨텐츠들을 디지털화 시도할 수 있는 방향성 제공 추천 0 조회 1572 첨부파일 3 작성일 2020.12.11 프로젝트명시각장애인 학생을 위한 점자학습 시스템(H/W+App)주제영역■ 생활□ 업무□ 금융/핀테크□ 의료■ 교육□ 유통/쇼핑□ 엔터테인먼트 기술분야■ IoT■ 모바일□ 데스크톱 SW■ 인공지능□ 보안□ 가상현실□ 빅데이터□ 자동제어기술□ 블록체인□ 영상처리기술수요층■ 장애인□ 노약자(노인, 임산부, 환자 등)□ 기초생활수급자□ 다문화(새터민)□ 기타( ) 달성성과□ 앱등록□ 프로그램등록□ 기술이전□ 논문게재 및 포스터발표□ 실용화■ 공모전(프로보노)□ 기타( )프로젝트소개시각장애 학생들이 비대면 수업으로 인해 겪던 교육격차를 점자 출력 패드를 통해 감각을 확장하여 해소한다. 학습 자료를 점자 또는 음성으로 출력하여 정보 전달하고 점자 출력 패드를 통해 점자를 쉽게 학습하도록 도와주는 등 교육용 어플리케이션을 개발하였다. 개발배경 및필요성COVID-19로 인해 수업이 비대면으로 진행되면서 많은 학생들이 불편함을 겪고 있다. 기존 대면 수업방식에서도 정보격차를 겪던 시각장애 학생들은 특히 문제가 심각한데, 청각에만 의존하여 정보를 전달받지 않고 촉각과 같은 감각의 확장이 필요하다. 이에 따라 점자패드를 사용하였고 기존 점자 출력기의 높은 가격과 휴대성이 떨어진다는 한계를 개선하여 5만원 가량의 낮은 가격과 스마트폰 케이스로 높은 휴대성의 제품을 구현하고자 한다.프로젝트주요기능점자 학습 : 초성, 중성, 종성별로 점자 패드 출력을 통해 점자 학습.학습 자료 점자 출력 : 학습 자료를 점자 또는 음성으로 (요약/전문)전달.시각 자료 점자 출력 : Image captioning을 통해 이미지를 점자나 음성으로 설명.스마트폰의 알림 점자전달 : 스마트폰의 알림을 점자로 출력.작품의기대효과 및활용분야비장애 학우들에게 초점을 둔 학습자료 제공방식에서 오는 문제점을 개선함으로써 불평등의 사각지대에 있던 시각장애인의 정보격차 해소기존의 높은 가격과 휴대성이 부족한 점자 출력기를 대신할 수 있는 낮은 가격과 휴대성이 보장되는 결과물의 보급 시각장애인 학생들을 위한 학습방법에 있어 다양성을 제공기존의 틀에 박힌 점자 컨텐츠에서 벗어나서 진동점자 체계를 정립함으로써 다양한 현물 점자 컨텐츠들을 디지털화 시도할 수 있는 방향성 제공1. 구성도 ㅇ 서비스 시나리오① 시각장애 학생이 단축키 사용 App구동 ex) 빅스비 버튼 사용 - 어플리케이션 진입② 홈화면에서 음성안내에 따라 swipe로 기능을 선택한다.( 기능 1.학습자료, 2.알림, 3.점자학습, 4.이미지설명 )③ 각 기능에서 추출된 Text를 TTS(text to speech)를 이용해 음성으로 출력하고 또한점자Data로 변환 후 아두이노 나노기반의 점자패드로 전달한다.④ 점자패드의 진동모듈로 진동을 순차적으로 출력하고 사용자는 이를 인지한다.ㅇ S/W 구성도① 기능선택 : 시각장애 학생이 원하는 기능을 swipe로 선택하여 기능 진입② 파일, 학습 선택 or 촬영 : 기능에 따라 원하는 학습자료 문서나 학습 카테고리 또는 이미지 사진을 촬영③ Text 추출 : 학습자료(PDF to text), 이미지 자료(OCR)에서 Text를 추출④ Text to braille : 각 기능에서 추출된 Text를 점자로 변동⑤(1) Text to Speech : 추출된 Text를 음성 API를 이용 사용자에게 출력⑤(2) 점자 정보 전달 : Text에서 점자변환 알고리즘을 통해 얻은 6점자 data를 블루투스 통신을 통해 사용자의 진동점자패드로 전달ㅇ H/W 구성도 ① 아두이노 나노의 Bluetooth 모듈을 이용 APP과의 블루투스 통신으로 점자 Data를 전달받는다.(음성출력의 경우 음성 API를 이용 스마트폰 스피커를 활용하여 출력한다.)② 아두이노 나노가 전달받은 점자Data는 진동점자패드와 시리얼 통신하여 각 진동모듈에 전달하고 진동모듈은 이를 출력한다.2. 프로젝트 소개 ㅇ 온라인 교육이 확산됨에 따라 상대적으로 정보접근성이 떨어지는 시각장애 학생에 대한 교육격차 문제가 심각해지고 있다. 이를 해소하기 위해 교육용 점자출력 시스템을 제안한다. ㅇ 시각장애학생들이 온라인 수업자료를 진동 점자 출력 패드를 통해 인지할 수 있다. 학습 자료(PDF)는 텍스트로 변환되고 텍스트는 설계된 점자변환 프로토콜을 통해 binary로 표현되고 이를 음성 또는 진동 점자로 출력할 수 있다. 휴대성을 고려하여 하드웨어는 스마트폰 케이스에 부착할 수 있는 형태로 설계했다. ㅇ 시각장애인의 높은 문맹률(95%)을 고려하여 제안하는 시스템으로 점자를 학습할 수 있도록 점자학습 컨텐츠를 제공한다. 음성과 점자 출력 패드를 통해 편리하고 빠르게 점자를 학습할 수 있다. ㅇ 이외에도 부가기능(이미지에서 텍스트를 추출, 긴 텍스트를 요약)을 제공하여 기존 청각에 의존적이던 시각장애학생의 온라인 학습 시스템을 개선하고자 한다. 3. 개발배경 및 필요성 ㅇ 시각 장애인의 정보 격차 해소- 국내에 나온 교육 자료들은 대개 PDF파일로 제작되어 있습니다. 그런데 시각장애인들은 이용할 수가 없어요. 진입단계부터 교육기회를 차별하는 셈이죠. 성신여대 교육학과 교수인 노석준 교수의 말이다. COVID-19 사태가 장기화되고 거의 모든 수업이 비대면으로 전환됨에 따라 온라인 교육 컨텐츠에 접근하는 시각장애인의 문제가 붉어지고 있다. 보조인의 도움이 있어야 컴퓨터 사용을 할 수 있는 전맹의 경우 온라인 강의 수강에 큰 어려움을 겪고 있다. 사회적 사각지대에 위치해 언택트 시대에서 시각장애 학생들이 겪고 있는 정보 격차를 해소할 필요가 있다. ㅇ 휴대성과 경제성 보강- 기존 거치형 점자 출력 기기는 부피를 많이 차지(스마트 비틀, 15cm x 8cm)하고 가격이 비싸며(스마트 비틀, 140만원) 거치형으로 제작되었기 때문에 휴대성이 떨어진다는 단점이 있다. 비교적 최근 출시(2015년)한 닷워치의 경우 시계형태로 제작되었지만 그럼에도 약 35만원 가량의 비용을 지불해야해 비용적인 문제를 가지고 있다. 제안하는 시스템은 이보다 저렴한 가격(약 5만원)에 구현가능하다. ㅇ 능동적인 비대면 학습 환경 구성 - 주어지는 학습 자료를 제공받기 위해서는 도우미의 도움이 필수적이고 시각장애 학생 혼자서는 학습하기 힘든 수동적인 환경에서, 비대면 학습 자료를 제안하는 점자 출력 하드웨어의 휴대성을 기반으로 자신이 원하는 시간, 장소에서 시각장애인에 친화적인 인터페이스와 여러 기능(PDF 점자변환, 이미지 점자변환, 요약하여 점자 출력)을 통해 편리하게 제공받을 수 있고 능동적인 학습 환경을 구성할 수 있다. 4.특징 및 장점 ㅇ 휴대성과 경제성- 미국 시장조사기관인 퓨 리서치(Pew Research)가 세계 27개 국가를 대상으로 조사한 결과 스마트폰을 사용하는 사람들의 비율이 가장 높은 국가는 우리나라이다. 우리나라 국민의 95%가 스마트폰을 사용한다는 것을 유념하여, 스마트폰 케이스와 같은 장치를 장애 보조기구로 사용해 제품의 휴대성을 높였다.- 낮은 가격의 하드웨어를 구성하고자 아두이노 나노를 활용한 점자 패드와 같이 오픈소스 하드웨어를 사용하여 시제품 원가 기준 약 5만원에 구현할 수 있기 때문에 사용자의 경제적인 부담을 줄이고 점자 출력기기의 보급화에도 기여할 수 있다. ㅇ 신속성과 전달용이성- 기존 시각장애인을 위한 어플리케이션의 진동을 이용한 방식인 점자 변화 어플(VC진동점자학습)은 휴대폰의 진동을 활용하므로 6개의 점 중 단 하나의 점만 순차적으로 출력하여 인지하는데 많은 시간이 소요됐다. 제안하는 프로젝트는 6점자체계 방식으로 6개의 진동 점자를 병렬적으로 출력하여 빠른 속도로 정보 전달이 가능하다. ㅇ Android와 iOS 환경구동- 2013년도까지만 해도 스마트폰 화면의 UI 컴포넌트들을 읽어주는 스크린 리더 기능은 iOS의 VoiceOver가 압도적이였기 때문에 시각장애인들은 필연적으로 아이폰을 사용할 수밖에 없었다. 하지만 이후 안드로이드에서도 TalkBack, 삼성 갤럭시의 VoiceAssistant을 제공하면서 시각장애인들의 스마트폰 선택의 폭이 넓어짐에 따라 분포가 어느 하나의 플랫폼에 치우친 것이 아닌 고른 분포를 보이게 되었다. 따라서 iOS, Android 어느 하나의 OS에 의존적이지 않고 사용될 수 있도록 Flutter를 사용하였다. 따라서, 어플 사용에 제약을 주지 않고 추후 효율적인이고 신속한 업데이트가 가능하다.주요기능구 분기 능설 명S/W한글 Text를 6점자 체계로 변환문서에 포함된 한글 형식의 Text를 6점자 형태의 데이터로 가공하기 위해 점자 출력 프로토콜을 사용한 기능PDF to TEXT학습자료를 점자로 출력하기 중간단계로 PDF에 있는 텍스트를 문자열로 반환촬영사진 텍스트 변환읽고자 하는 내용이 담긴 문서를 촬영하면 해당 이미지의 Text를 추출하여 이후 점자/음성으로 출력해주기 위한 전처리 기능H/W아두이노 나노의 블루투스/시리얼 통신App에서 진동점자패드로 6점자형태의 데이터를 전달하고 조작하기 위해서 블루투스 통신을 통한 데이터 전달과 시리얼 통신을 통한 진동모듈 제어 방식을 사용하였다.진동점자 출력 패드6점자 체계에 맞는 점자출력 제공을 위해 구현된 점자출력 프로토콜로 진동모듈을 조작개발환경구 분항 목적용내역S/W개발환경OSWindows 10, Android OS, iOSandroid studio 사용을 위한 window 기반의 OS환경에서 App제작, App의 경우 Android 및 iOS 환경을 대상으로 제작하였다.개발환경(IDE)Android StudioFlutter Mobile App 프레임워크를 사용하기 위해 Android Studio 환경구동개발도구FlutterAndroid와 iOS 동시개발을 위한 프레임워크로 Mobile App 개발에 사용개발언어Dart, PythonFlutter 사용을 위한 언어인 Dart와 점자변환 알고리즘에 사용되는 Python을 동시사용H/W구성장비디바이스Arduion Nano, Galaxy Note 10+실제 모델 구현을 위해 Galaxy Note 10+ 환경을 대상으로 H/W 구성 및 점자패드와의 통신을 위해Arduion Nano 사용 센서아두이노 진동모터 모듈 [ELB060416], 블루투스 직렬포트 모듈[HC-06]진동점자를 위해서 아두이노 진동모터 모듈을 사용하며 아두이노와 App의 블루투스 통신을 위한 블루투스 직렬포트 모듈 사용통신Bluetooth / Serial port점자데이터를 전달하기 위한 Bluetooth 통신과전달받은 데이터를 진동모듈로 전달하기 위한 Serial 통신개발언어C language아두이노 나노에 들어갈 진동출력 알고리즘 구현장비(기자재/재료) 활용NO품 명작품에서의 주요기능1아두이노 나노점자패드와 App간의 Bluetooth 통신과 점자모듈과의 Serial 통신을 위한 몸체 구성2아두이노 진동모터 모듈 점자패드 구성 시 점자를 진동으로 출력3블루투스 직렬포트 모듈아두이노 나노와 App간의 점자데이터 전달을 위한 Bluetooth 통신4Galaxy Note 10+ 투명 케이스스마트폰을 장착하여 구현된 점자패드와 부착결과물 이미지달성성과□논문게재 및포스터발표게재(발표)자명논문(포스터)명게재(발표)처게재(발표)일자 ex) 20/11/20□앱 등록등록자명앱명등록처등록일자 □프로그램등록등록자명프로그램명등록처등록일자 □기술이전기술이전기업명기술명금액이전일자 ■공모전구분(교내/교외)공모전명수상여부(출품/수상)상격교외ICT멘토링 프로보노 공모전수상동상□실용화구체적인 내용□기타구체적인 내용업무분장역할성명소속담당역할멘토이철민㈜삼성전자프로젝트 진행상황 점검 및 피드백실무기술이 반영된 프로젝트 기획 조언프로젝트 수행계획 수립 가이드팀장곽병욱전북대학교S/W 설계 및 구현, 개발 사항 통합팀원어태경전북대학교H/W, S/W 설계 및 구현, 문서작성, 영상제작팀원우자영전북대학교H/W 설계 및 구현, 문서작성, 영상제작, 발표프로젝트 수행일정구 분수행내용수행일정3월4월5월6월7월8월9월10월11월계획주제 선정 및 수행계획서 작성V 분석필요한 컴포넌트 조사 VV 자료조사를 통한 구현 범위 확정 VV 설계점자 출력 프로토콜 설계 VV 점자학습 컨텐츠 설계 VV 스마트폰의 알림을 출력 기능 설계 VV 진동모듈을 이용한 진동점자출력패드 설계 VVV 학습자료 요약 기능 설계 VVV 사진을 찍으면 텍스트로 변환 알고리즘 설계 image-captioning) VVV 스마트폰 케이스 프레임 설계 VV 개발점자 출력 프로토콜 구현 VVV 점자학습 컨텐츠 구현 VVV 스마트폰의 알림을 출력 구현 VVV 진동모듈을 이용한 진동점자출력패드 구현 VVV 학습자료를 요약 출력 구현 VVVV 사진을 찍으면 텍스트로 변환 구현(image-captioning) VVVV스마트폰 케이스 프레임 구현 VVVV개발 사항 통합 VVVVV테스트기능별 테스팅 및 디버깅 VVVVVVVV종료결과보고서 작성 및 공모전 출품 VV오프라인미팅진행상황 정리 및 멘토링 진행 V V문제점 및 해결방안 ㅇ 프로젝트 관리 측면 - 프로젝트 진행에 있어 가장 큰 문제점은 역시 코로나로 인한 비대면 만남이라 할 수 있다. 최대한 대면으로 만나 공동작업을 하고자 노력하였지만 여건상 확진자가 나오는 경우에는 비대면이 불가피 하였다. 이러한 여건 속에서 Google Docs를 통한 문서 공동작업과 Zoom 회의를 통한 비대면 화상회의를 적극적으로 활용하여 서로 피드백하며 프로젝트를 진행할 수 있었다. - 학기 중에는 팀원들 각자의 대외활동 및 시험기간이 달라 개발 시간을 맞추는데 어려움을 겪을 것으로 예상하여, 미리 서로의 일정을 공유하여 프로젝트 진행속도에 차질을 겪지 않았다. - 프로젝트 진행중 아이디어 구체화에 대한 팀원 개인별 커뮤니케이션 능력의 부족으로 서로 원하는 방향에 대한 표현과 이해가 부족하였고 그러다보니 진행 방향에 대한 오해가 발생했다. 이를 해결하기 위해서 잦은 중간회의를 통해서 각자의 이해도를 확인하고 정리하는 시간을 가짐으로써 원만히 해결하였다. - 팀 내에서의 갈등은 해결방법이나 명확한 원칙이 존재하지 않기 때문에 해결하기 어렵다. 조직에서 갈등은 긍정적인 에너지를 고갈시키고 부정적 에너지를 증가시켜서 팀 프로젝트 진행에 좋지 못한 영향을 가져온다. 따라서 발생 자체를 예방하고자 원칙을 정하였다. 부정적인 말 하지 않기 라는 그라운드 룰이 프로젝트를 수행하면서 부정적인 대화로 인한 분위기를 분산을 사전에 예방하고 서로 긍정적인 대화로 프로젝트를 성공적으로 이끌었다. ㅇ 개발 측면 - 어플리케이션 프론트 엔드 제작에 있어 사용할 Tool을 선정함에 있어 고민을 하였다. 여러 가지 후보들을 놓고 토의를 하였고 Google에서 개발한 크로스 플랫폼인 Flutter라는 모바일 앱 개발 프레임워크를 선정하였다. 안드로이드와 IOS를 지원할 수 있다는 장점이 있었지만, Dart라는 생소한 언어를 학습하는데 시간이 필요했다. - 또한, 모바일 어플리케이션 구현 경험이 없는 상태에서 프로젝트를 진행하려니 막막하고 또 Flutter에 대한 자료가 기존 안드로이드 플랫폼에 비해 적었기 때문에 더욱 제한적인 학습환경이였다. 이를 해결하기 위해 수업이 없는 주말을 활용하여 대면 미팅을 가지고 필수적으로 구현해야할 목표치를 설정하고 목표치에 도달할 때까지 구현을 하자는 팀 단위의 약속을 하여 보다 밀도있는 프로젝트 진행을 할 수 있었다. 서로 구현에 필요한 자료들을 서로 공유하고 시행착오에 관한 피드백을 즉각적으로 실시하여 보다 효율적으로 개발할 수 있었다. - Prototype으로 개발한 점자패드에서 진동모듈간의 진동이 서로에게 전달되어 진동을 독립적으로 느끼는데 문제점이 있다는 것을 발견하였다. 이를 통해서 개선안을 오프라인 미팅을 통해 토의하였고 진동모듈간의 이격거리 증가 및 모듈의 진동흡착을 위한 디자인 제안등 여러 가지 해결방안을 모색하였다. (+문제점 해결 x) - 1차 H/W Prototype은 실제 스마트폰 케이스에 오픈소스 하드웨어(아두이노, 진동 점자 모듈)를 부착하여 구현하였다. 하지만 진동 모듈의 홀을 만드는데 어려움이 있었고 더 깔끔한 외관과 여유로운 공간확보를 위해 3D 프린팅 제작을 추가하였다. 프레임 CAD 모델링을 통해 원하는 모양의 외관을 구성하였고 uPrint SE Plus를 사용하여 3D 프린트로 H/W를 제작하였다. 기대효과 및 활용분야 1. 기대효과 ㅇ 학습 컨텐츠를 제작하는 기업이나 각종 교육기관(초중고등학교, 대학 등)에서 학습자료를 PDF와 같은 시각자료의 형태로만 제공하는 것이 아니라 점자형태로도 제공을 요청하여 시각장애학생들도 일반학생과 동등한 학습권을 보장받을 수 있도록 한다. ㅇ 제안하는 진동 점자 출력 기기와 점자 변환 프로토콜이 보편화되면 기존 어플리케이션에도 연동되어 시각장애인들이 음성에 의존하던 스마트폰 조작을 점자 인지(촉각)으로도 확장하여 스마트폰 사용에 대한 선택지를 넓히고 증대된 사용성을 보장할 수 있을 것으로 기대한다. 2. 활용분야 ㅇ 언택트 시장이 활성화 됨에 따라 기존 컨텐츠의 디지털 트랜스포메이션이 활발하게 이루어지고 있다. 이에 따라 장애인들이 이러한 컨텐츠들을 어떻게 이용할 것인가에 대한 관심도 높아지고 있다. 제안하는 결과물을 활용하면 시각장애인들의 언택트 컨텐츠에 대한 접근성과 편의성 그리고 온라인 컨텐츠 소비율을 높일 수 있을 것이다. ㅇ 대학 내의 비대면 학습 제공 플랫폼 예를 들어, 전북대학교 스마트 학습관리 시스템(LMS) 같은 교육 플랫폼에 점자출력 기능을 편입하고 시각장애학생들에게 제안하는 점자 출력 패드를 제공한다면 시각장애학생들의 온라인 학습 접근성이 강화되고 학습권을 보장받을 수 있다. [요소설계] JAVA 프로그래밍을 이용한 스케줄러 (계범's Schedule 작성자 조계범 출품자 정보 조계범(2016) 기대효과 사용자의 편의를 고려하여 구현된 다양하고 유용한 기능들을 사용하면서 종이 달력을 대체할 수 있고, 새로운 기능을 추가하고 완성도를 높이는 개발을 통해 수익을 창출할 수도 있을 것이다. 추천 0 조회 1034 첨부파일 2 작성일 2020.12.11 #계범's Scheduler 기능 계범 s Scheduler의 메인 화면이다. UI를 깔끔하고 세련되게 보여지기 위해서 검은색 배경색에 글자색은 흰색으로 구성하였다. 또한, 가독성을 높이기 위해 달력 부분과 이벤트 부분, 버튼 부분의 글자 크기를 키웠다. 스케줄러임을 더 쉽게 알아볼 수 있도록 스케줄러와 관련된 이미지를 스케줄러의 이름 왼쪽에 추가하였고(왼쪽 이미지), 스케줄러가 실행되었을 때 작업 표시줄에도 추가한 이미지가 보이게 하였다(오른쪽 이미지). 버튼 부분은 이전날과 다음날 버튼, 이벤트 생성 버튼, 기념일 버튼, 스톱워치 버튼과 종료 버튼을 구성하여 각 기능들을 구현하였다. 버튼에 따라 글자색을 다르게 만들었다. 그 이유는 통일성을 주기 위함인데, 아래에서 설명한다. 초록색인 이전날과 다음날 버튼을 누르면 현재 날짜(일)를 강조하는 사각형이 바뀐 날짜로 이동하는데, 이 사각형을 초록색으로 구성하여 통일성을 주었다. 분홍색인 이벤트 생성 버튼을 누르면 새로운 이벤트 창이 생성되는데, 이 창의 모든 글자색을 분홍색으로 구성하였고, 이벤트가 저장되면 달력에서 이벤트가 저장된 일의 배경색이 분홍색으로 바뀌게 구현하여 통일성을 주었다.스케줄러임을 더 쉽게 알아볼 수 있도록 스케줄러와 관련된 이미지를 추가한 것처럼 새로운 이벤트 창도 새로운 이벤트를 생성한다는 것을 더 쉽게 알아볼 수 있도록 관련된 이미지를 추가하였다. 시간 충돌 오류 와 시간 입력 오류 메시지도 새로운 이벤트 창에서 생성되는 창이므로, 이 창의 모든 글자색을 분홍색으로 구성하여 통일성을 주었다. 시간 충돌 오류 와 시간 입력 오류 메시지 창도 오류 메시지임을 더 쉽게 알아볼 수 있도록 관련 이미지를 추가하였다. 노란색인 스톱워치 버튼을 누르면 스톱워치 창이 생성되는데, 이 창의 모든 글자색을 노란색으로 구성하여 통일성을 주었다. 스톱워치 창은 3개의 버튼(시작, 일시정지, 초기화)으로 구성되며, 초기 상태는 시작 버튼만 누를 수 있게 하였다. 시작 버튼을 누르면 창의 이름 부분에 스톱워치가 실행되고 일시정지 버튼만 누를 수 있게 하였다. 일시정지 버튼을 누르면 스톱워치가 멈추고 재시작 혹은 초기화 버튼만을 누를 수 있게 하였다. 재시작 버튼을 누르면 스톱워치가 다시 시작되고, 초기화 버튼을 누르면 00:00:00:000으로 초기화된다. 또한 스톱워치 창도 스톱워치를 실행하는 것을 더 쉽게 알아볼 수 있도록 관련된 이미지를 추가하였다. 달력의 토요일에 해당하는 날짜는 파란색으로 설정하였고, 일요일에 해당하는 날짜는 빨간색으로 설정하였다. 공휴일에 해당하는 날짜 역시 빨간색으로 설정하였는데, 만일 공휴일이 토요일이라면 그 날짜는 파란색에서 빨간색으로 바뀌게 된다. 달력 부분에 공휴일과 국경일, 주요 절기(춘분, 하지, 추분, 동지)를 표시하였다. 공휴일에 해당하는 날짜는 빨간색으로 설정하였고, 국경일과 주요 절기에 해당하는 날짜는 색을 설정하지 않았다. 이벤트 부분에는 어떤 공휴일인지, 어떤 국경일인지, 어떤 절기인지 나타나게 하였다. 달력 부분에 국경일을 표시하였다. 국경일인 제헌절은 공휴일이 아니므로 이벤트 부분에만 제헌절임을 표시하였다. 달력 부분에 절기(춘분, 하지, 추분, 동지)를 표시하였다. 국경일과 마찬가지로 공휴일이 아니므로 이벤트 부분에만 어떤 절기인지 나타나게 하였다. 달력 부분에 개발자가 생각하는 몇몇 중요한 기념일을 표시하였다. 국경일과 절기와 마찬가지로 공휴일이 아니므로 이벤트 부분에만 어떤 기념일인지 나타나게 하였다. 흰색인 기념일 버튼을 누르면 기념일 창이 생성되는데, 이 창의 모든 글자색을 흰색으로 구성하여 통일성을 주었다. 기념일 창에는 각종 기념일, 국경일, 절기, 명절에 대한 정보들을 확인할 수 있도록 하였다. 이를 위해 각종 기념일, 국경일, 절기, 명절에 대한 정보들을 정리하여 txt 파일로 저장해놓았고, 기념일 버튼을 누르면 파일을 읽어와서 보이게 된다.또한 기념일 창도 기념일을 보여주는 것을 더 쉽게 알아볼 수 있도록 관련된 이미지를 추가하였다. 종료 버튼을 누르면 스케줄러에 저장해놨던 이벤트들이 events.ser 파일로 저장되며 스케줄러가 종료되도록 하였다. 종료 버튼을 누르지 않고 창의 X 버튼을 누르면 이벤트들이 저장되지 않고 스케줄러만 종료된다.#계범's Scheduler 장점1. 사용자 인터페이스(UI)- 계범 s Scheduler 의 UI는 깔끔 과 세련 을 목표로, 깔끔함을 주기 위해 검은색과 흰색을 주요 색으로 설정하였고, 세련됨을 주기 위해 검은색과 흰색 이외의 색을 사용하였을 때 사용하는 부분에 통일성을 주었다. 또한, 글자 크기를 적절히 조절하여 가독성에도 신경을 썼다. 2. 이벤트(일정)를 더 세부적이고 정확하게 설정할 수 있다-이벤트 시작 시간과 종료 시간을 입력하여 이벤트를 시간대별로 더 세부적으로 설정할 수 있고, 이벤트 시간을 제대로 입력하지 않거나 이벤트 시간이 겹칠 때 나타나는 오류 메시지를 통해 이벤트를 더 정확하게 설정할 수 있다.3. 각종 기념일을 확인-각종 기념일과 국경일, 절기, 명절을 정리하여 txt 파일로 만들었고, 스케줄러에서 기념일 버튼을 눌렀을 때 txt 파일을 읽어 들여서 확인할 수 있도록 하였다. [종합설계] 노인층을 위한 한글 학습 도우미 작성자 노영진 출품자 정보 노영진, 배지윤 기대효과 대부분의 한글 학습 어플리케이션들은 미취학 아동들을 대상으로 하며, 간단한 게임 위주인 학습 어플리케이션이 대부분이다. ‘노인층을 위한 한글 학습 도우미‘는 주된 사용 연령층이 어르신들임을 고려하여 큼직한 이미지들과 함께 가독성 높은 학습방법을 제공한다. 또한 음성을 인식하여 한글로 변환해주는 기능, 예시 단어에 대한 발음을 들을 수 있는 기능, 글씨를 따라 써보는 기능 등을 이용하면서 반복적으로 학습하면 한글을 더 이상 어렵다고 느끼지 않게 될 것이다. 더불어 삶의 질 향상 또한 기대해볼 수 있다. 추천 0 조회 692 첨부파일 0 작성일 2020.12.11 ▪ 프로젝트 목적 및 필요성 버스를 타고 지나다니다 보면 성인 검정고시 학원 광고를 어렵지 않게 볼 수 있다. 나이가 많은 성인들이 왜 초등학교, 중학교 졸업 자격시험을 봐야하는지에 대해 궁금증이 생겼다. 그 때는 그냥 궁금증만 가지고 넘겼지만 나중에서야 우리나라에 부분 문맹이 존재했음을 알게 되었다. 이와 관련된 문제를 다루는 방송 다큐멘터리가 생겼고 이러한 것들이 노인 문맹률에 대해 다시 한 번 생각해볼 수 있는 계기를 만들어주었다. 한글 교육 차별과 관련된 예시는 노인 유튜버로 사회적 반향을 일으키고 있는 막례쓰 박막례 할머니의 일화가 가장 대중적일 것이다. 1947년 출생으로 해방 이후 세대이며 형편이 나쁘지 않은 자영농 집안에 태어났지만, 교육 기회에서 배제되었고 일하는 사람들을 먹이고 재우는 뒤치다꺼리 로 청소년 시절을 보냈다고 한다. 그래서 놀랍게도, 그녀는 공식적으로 무학 이다. 그녀가 받은 교육은 실용 재봉 학원 6개월이 전부다. 그녀는 우리가 알고 있는 스타 유튜브 크리에이터가 되면서 70을 훌쩍 넘긴 나이에 맞춤법과 같은 한글을 배우는 셈이다. 이렇듯, 지금 세대에겐 너무나 당연한 것들이 불과 한두 세대 전까지만 해도 생소하거나 운이 좋아야지만 가능했던 것이다. 이러한 기회의 불균형을 조금이라도 해소하고자 관련 어플리케이션을 만들어보고자 하였다. ▪ 문제 해결 아이디어 본 어플리케이션에는 한글 학습을 위한 여러 기능들이 포함되어 있다. 우선 자음과 모음을 결합하여 글자를 보여준다. 사용자가 원하는 자음과 모음을 결합하여 글자를 학습할 수 있다. 무조건 ㄱ부터 순서대로 학습해야만 하는 것이 아닌 원하는 자음과 모음을 선택하여 학습할 수 있는 것이다. 또한 해당 글자가 사용되는 단어를 이미지와 함께 보여줌으로써 응용 학습이 가능하게 한다. 글자를 읽는 방법을 모르는 상황을 대비해 예시 단어를 읽어주는 기능까지 탑재한다. 이런 기본적인 기능만 있으면 교육적인 부분과 연결고리가 조금 아쉬운 것 같아 그림판 기능(글자를 따라 쓸 수 있는 기능)을 제공해 필기구가 없을 때 손쉽게 따라 쓰면서 학습할 수 있도록 하였다. 더불어 한글 작성이 서툰 어르신들이 문서 작성이 필요한 공공시설에 방문했을 때를 생각해보았다. 글자를 모르는 어르신들이 문서를 작성해야한다면 본 어플리케이션의 speech to text 기능, 즉 음성을 문자로 바꾸어주는 기능을 이용해 손쉽게 문서를 작성할 수 있을 것이라 생각하였다. 또한 텍스트로 바뀐 문장들을 따라서 타이핑해봄으로써 어르신들에게 조금이나마 더 도움을 드리기 위해 해당 기능을 추가하였다. ▪ 개발 환경 1) S/W 개발환경 - Windows 10 (64-bit) - Android Studio (안드로이드 스튜디오) 2) H/W 개발환경 - Android 8.0 Oreo 이상 ▪ 화면 레이아웃 및 디자인 처음 화면 - 메인 메뉴 자음 선택 모음 선택 학습 화면 도움말 글씨연습 글씨연습 기능 사용 Speech to text 사용 타자 연습 틀렸을 때 타자 연습 맞았을 때 ▪ 시스템 동작 화면 한글 학습 화면 speech to text 기능 + 자판연습 ▪ 실질적 활용 방안 아무래도 농촌에 있는 어르신을 대상으로 하기 때문에 실질적으로 어떻게 쓰일 수 있을지, 어르신들께 어떻게 하면 어렵지 않게 다가갈 수 있을지에 대해 생각해보았다. 먼저 대학교 농촌 봉사 활동과 협력을 하는 것이다. 사실 스마트폰을 활용해서 학습을 하는 것이기 때문에 처음에 어르신들께서 진입 장벽이 높다고 느끼실 수 있다. 따라서 우리 대학을 포함한 여러 대학 농촌 봉사 활동 리스트에 한글 교육 봉사 프로그램을 추가하여 본 어플리케이션 이용 방법을 알려드리는 것을 생각해보았다. 그럼 초기 진입 장벽에 대한 어려움은 사라지고 어르신들께서 혼자서도 본 어플리케이션을 통해 한글 학습을 할 수 있을 것이다. 다음은 농촌 재능 나눔 캠프이다. 농촌 봉사 활동과 비슷한 맥락으로 농촌 재능 나눔 캠프와 협력을 하는 방법을 생각해보았다. 마지막으로는 이용 방법 공공기관 부착이다. 어르신들께서 많이 이용하시는 공공기관이나 마트 등에 본 어플리케이션 사용 방법을 이미지 로 나타내어 벽보 형식으로 부착하면 조금 더 쉽게 어르신들께 다가갈 수 있을 것 이다. [종합설계] 프랑스 3대 미술관 All In One 어플 작성자 강은초 출품자 정보 강은초(2016), 안채현(2016) 기대효과 어플을 통해 번거로움 없이 작품의 설명을 들을 수 있어 편리하다. 따라서 작품에 대한 집중도가 상승할 것이다. 지도에 유명 작품 위치를 마킹해두는 기능은 사용자가 작품을 관람하는 시간을 효율적으로 사용할 수 있다. 이 어플의 소스를 활용하여 미술관 뿐만 아니라 박물관, 전시회 등 작품을 보유하고 있는 모든 예술/문화시설에서도 사용할 수 있을 것이라고 기대한다. 또한, 일상생활(식당,카페)에서도 작품을 검색할 수 있다. 추천 0 조회 1032 첨부파일 0 작성일 2020.12.09 ▶프로젝트 목적 및 필요성프랑스 3대 미술관(퐁피두센터, 오르세미술관, 루브르박물관)을 방문하면 작품의 설명을 듣기 위해 오디오 가이드 서비스를 이용한다.모국어를 제공하는 오디오 서비스를 대여하지 않고서는 작품을 둘러보기가 쉽지 않기 때문에 오디오 가이드 사용은 필수라고 해도 과언이 아니다. 하지만, 오디오 가이드가 익숙하지 않고 사용하기에 불편함이 있어서 서비스를 제대로 이용하지 못했다는 본인 포함 주변 지인들의 이야기를 많이 듣곤 했다.또한, 오디오 가이드의 헤드셋 사용은 위생의 중요성이 대두되는 요즘, 더더욱 염려된다.현재 우리에게 가장 친숙한 기기인 스마트폰을 이용하여 무료로 작품을 설명해주는 서비스를 개발하면 이러한 문제를 속시원하게 해결할 수 있을 것이라고 생각한다.▶문제해결 아이디어국내에서는 오디오 가이드 대신 어플을 사용하는 미술관이 많지만우리 프로젝트의 타겟 국가인 프랑스 파리는 현재까진 오디오가이드를 사용하는 곳이 더 많다.현재 3대 미술관은 QR코드가 부착되어 있지 않아서 이미 부착된 작품 설명 판넬의 텍스트를 추출하여문제를 해결하는 것이 실현가능성이 높다고 생각하였다.▶개발 환경스마트폰 : 어플을 사용하기 위함이어폰 : 작품 설명 음성 출력JAVA : 어플을 구현하기 위한 언어DB : 각 미술관마다 보유하고 있는 작품 저장▶시스템 동작 개요 1. 프랑스 3대 미술관 중 관람하고 싶은 미술관을 선택한다.2. 선택한 미술관에 따라 화면이 전환된다.3. '작품명 촬영'을 클릭하면 카메라 기능이 켜진다.4. '작품 검색'버튼을 클릭하면 작품에 대한 설명을 읽고 들을 수 있다.5. '지도' 버튼을 클릭하면 마커를 터치하여 이미지와 함께 작품의 위치를 확인할 수 있다. [종합설계] Home Assistant 작성자 안채현 출품자 정보 강은초(2016), 안채현(2016) 기대효과 스마트 미러 : 생활이 편리해진다. 예를 들면, 날씨를 보기 위해 스마트폰 잠금을 해제하고, 날씨 어플에 접속하여 확인해야한다. 하지만 스마트 미러는 바로 확인이 가능하여 편리하다. 또한 인공지능 비서를 통해 검색을 편리하게 할 수 있다. 펫 지킴이 : 반려동물의 모습을 확인할 수 있어서 어떤 상태인지 체크할 수 있다. 또한 집안을 확인할 수 있어서 어떤 일이 일어나고 있는지 알 수 있다. 위기상황을 미리 알 수 있어서 대처가 가능하다. 추천 2 조회 1332 첨부파일 0 작성일 2020.12.09 두 가지의 결과물을 도출하여 최종적으로 생활의 편리함을 제공하고자 했다.스마트 미러: 기본 화면에서 날짜 및 시간, 날씨, 공휴일을 확인할 수 있고, 인공지능 비서를 이용할 수 있다.펫 지킴이: 외출한 뒤에도 카메라를 통해 반려동물을 확인할 수 있다.* 시스템 개요- 스마트미러 -1. 음성 인식 Google Assistant Google Assistant에서는 음성 데이터를 바탕으로 사용되는 음성인식 알고리즘이다. 따라서 음성인식이 되는 원리에 대하여 설명해 보도록 하겠다.(1) 입력되는 데이터를 전처리하여 처리하기 좋은 데이터의 형태로 변형시킨다. (2) 그리고 나서 전처리된 데이터를 패턴인식한다. 여기서 패턴인식을 하는 모델을 음향모델이라고 하며, 현재 음성 데이터가 어떤 음성과 가장 흡사한지 검사하여 인식을 진행한다. 모델에는 다양한 패턴이 존재하여 그 패턴과 유사도를 검사하여 가장 흡사하다고 판단되는 패턴으로 인식한다. (3) 패턴인식이 완료되면 언어처리를 한다. 언어처리는 패턴인식된 데이터가가 어떤 언어와 흡사한지 검사하여 결과를 만들어낸다. 그리고 이러한 처리를 하는 모델을 언어모델이라고 지칭한다. 위 과정을 반복하여 하나의 문장 또는 단어가 만들어진다. 인식 결과는 단어 또는 문장의 형태로 출력되며, 위의 모델은 머신러닝을 통해 지속적인 학습을 진행하여 더욱 정확도를 높일 수 있다. Google Assistant에서는 저 모델을 잘 학습하여 프로그래머에게 제공해주는 것이라고 할 수 있다. 2. OpenWeather (1) 현재 위치(전주)의 날씨 정보를 얻기 위해 openweathermap 사이트에 접속한다. (2) 계정을 만들고, 발급받은 API key를 복사한다. (3) 스마트미러를 실행시키는 config파일에서 currentweather 을 찾아서 appid부분에 key를 붙여넣기한다. - 펫지킴이 -1. 동영상 녹화하고 저장하기(1) 설정에서 카메라를 enable로 변경한다.(2) 파이카메라를 설치한다.(3) 파일을 쉽게 볼 수 있게 cctv디렉토리 생성(4) python을 사용하여 동영상을 녹화하고 저장하는 소스를 구현한다. 2. 스마트폰으로 라즈베리 원격제어, VNC viewer(1) VNC viewer 어플을 설치한다.(2) 모바일 핫스팟을 이용하여 와이파이망을 만든다.(3) 라즈베리파이에서 VNC를 enbale로 변경(4) 라즈베리와 모바일을 연결한다.(5) VNC뷰어에서 IP주소를 입력한다.(6) 스마트폰으로 원격제어 하는 화면이 나타난다.* 개발 환경 스마트미러 개발 환경 ◎ 하드웨어1. 라즈베리파이 3B+ - 스마트 미러의 디바이스 역할을 한다.2. Raspberry Pi 7 인치 touch screen display - 스크린(디스플레이) 역할을 한다.3. USB마이크 유저의 음성을 입력한다.4. 스피커 유저의 음성을 인식하여 해당 정보를 출력한다.5. 키보드와 마우스 라즈베리파이에서 소스 입력을 한다. ◎ 소프트웨어1. Google Assistant - 음성제어를 위해 사용한다.2. 라즈베리파이 OS 라즈베리 NOOBS를 설치하여 OS를 설치한다.3. Python - 장치제어를 위해 개발언어로 사용한다.4. Wifi Google Assistant 와 통신하기 위해 사용 펫 지킴이 개발 환경 ◎ 하드웨어1. 라즈베리파이 3B+ - 펫지킴이의 디바이스역할을 한다.2. Raspberry Pi 7 인치 touch screen display - 스크린(디스플레이) 역할을 한다.3. 키보드와 마우스 라즈베리파이에서 소스 입력을 한다.4. 카메라 모듈 동영상을 녹화한다.5. 갤럭시 노트 8 스마트폰으로 원격제어를 한다. ◎ 소프트웨어1. Python 명령어를 실행하면 동영상을 자동으로 녹화하고 저장하는 기능을 코드로 작성한다.2. VNC viewer 네트워크망을 생성하여 라즈베리파이와 연결하여 반려동물의 상황을 확인할 수 있다.* 시스템 기능⊙스마트 미러스마트 미러를 실행한다. 기본화면에서 날씨, 날짜, 시간, 공휴일, 안내 메시지를 볼 수 있다.구글 어시스턴트를 통해 인공지능 비서를 이용한다. (음성으로 질문하고, 음성으로 대답한다.) ⊙펫 지킴이펫 지킴이를 실행한다. 모바일 핫스팟을 이용하여(VCM Viewer) 핸드폰과 라즈베리파이를 연결한다. 펫 지킴이가 영상을 촬영한다.(30초, 카메라 모듈로 촬영) 저장된 영상을 핸드폰에서 확인한다.* 결과물▲ 스마트미러 최종 화면▲ 펫 지킴이 최종 결과물* 활용 방안스마트 미러생활이 편리해진다. 예를 들면, 날씨를 보기 위해 스마트폰 잠금을 해제하고, 날씨 어플에 접속하여 확인해야한다. 하지만 스마트 미러는 바로 확인이 가능하여 편리하다. 또한 인공지능 비서를 통해 검색을 편리하게 할 수 있다. 펫 지킴이반려동물의 모습을 확인할 수 있어서 어떤 상태인지 체크할 수 있다. 또한 집안을 확인할 수 있어서 어떤 일이 일어나고 있는지 알 수 있다. 위기상황을 미리 알 수 있어서 대처가 가능하다. [요소설계] 전자주사위 게임 작성자 조예은 출품자 정보 장우석(2015) 조예은(2018) 서예나(2019) 기대효과 현재는 단순히 숫자를 비교하는 게임이지만, 이 틀을 시작으로 더 발전시켜 실제로 생활 속에 쓰일 수 있는 곳을 찾기를 기대함. 추천 0 조회 1438 첨부파일 0 작성일 2020.12.09 [요소설계] 기억력 테스트 게임 작성자 민소연 출품자 정보 김강민(2017) 범진혁(2017) 민소연(2018) 기대효과 기억력 테스트 게임은 무작위로 점등되는 LED의 위치를 기억해야 하는 게임으로, 오락의 기능을 수행할 뿐만 아니라 인지력 테스트, 치매 예방 등 다양한 방면에서 활용될 수 있을 것으로 기대 된다. 추천 0 조회 3575 첨부파일 1 작성일 2020.12.06 기억력 테스트 게임LED에 빛이 순서대로 들어오면, 해당 위치의 버튼을 순서대로 눌러 정답을 맞추는 게임이다.게임의 순서1. 전원을 켜면 난수가 계속해서 발생한다.2. Set 버튼을 누르면 그 순간의 난수가 저장된다.3. 저장된 난수가 LED에 무작위 순서로 점등된다.4. 점등이 끝나면 정답을 입력한다.5. 정답 입력과 동시에 정답을 비교한다.6. 오답을 누르는 순간 빨간 LED에 빛이 들어오고 게임이 끝난다.7. 정답을 누른 경우 초록 LED에 빛이 들어오고 게임이 끝난다.전체 회로도세부 회로도 난수 발생 회로 : 발진회로에서 넘어온 클럭은 D플립플롭으로 이루어진 동기식 카운터를 작동시킨다. 중간의 XOR는 출력되는 값을 섞어주는 역할을 한다. 또한, 버튼을 누르면 초기값을 설정할 수 있도록 버튼을 각 플립플롭의 set과 reset에 연결해주었다.플립플롭의 개수를 줄이기 위해 한 번은 플립플롭의 출력을 두개로 빼주었다.(8개의 플립플롭 출력을 9개로 사용) 상태 저장 회로 : Set버튼을 누르는 순간, 난수발생 회로에서 발생한 값과 set의 값이 AND연산되어 각 JK플립플롭의 J로 들어가 저장된다. Reset버튼을 누르면 K에 High가 들어가 초기화된다. 마지막 플립플롭은 상태가 저장되었음을 다음 회로에 넘겨주는 Enable신호가 된다. 문제 LED 점등 회로 : 이전단계에서 Enable신호가 넘어오면, 이는 reset과 XOR하여 JK플립플롭의 J에 들어가게 된다. 또한 그 출력Q는 이전단계에서 저장된 난수 값과 AND연산, 마지막 JK플립플롭의 Q 와 AND연산하여 LED를 점등시킨다. 따라서 저장된 난수 값이 차례대로 하나하나 켜진 후, 한번에 꺼지는 동작이 일어나게 된다. 이때, LED에 들어갈 값을 결정하는 OR은 문제를 전부 확인한 후 사용자가 입력 버튼을 누르면 각 버튼에 해당하는 LED에 불을 들어오게 하는 역할을 한다. 또한, 마지막 플립플롭의 Q는 다음 단계의 Enable로 사용된다. 정답 비교 회로 : 이전 단계의 Enable이 High가 되면, 첫번째 LED와 연결된 입력을 첫번째 난수 값과 XNOR한 결과가 JK플립플롭에 넘어간다. 두번째 LED와 연결된 입력도 두번째 난수 값과 XNOR하여 첫번째 플립플롭의 출력과 비교하게 되고, 이는 두번째 난수 값의 NOT과 OR연산되어 다음 플립플롭의 J에 전달된다. 이렇게 OR연산을 추가함으로써 LED에 불이 들어오지 않은 경우를 정답으로 넘길 수 있다. 세번째도 같은 방식으로 동작하지만, XNOR의 값을 Q와 바로 비교하지 않고 첫번째 플립플롭의 Q와 두번째 플립플롭의 Q를 AND한 값과 비교함으로써 이전에 틀린 답을 입력한 적이 있다면 계속해서 Low의 값을 전달하도록 동작한다. 나머지 입력들도 같은 방법으로 비교된다. 위와 같은 설계만으로는 순서를 다르게 입력한 경우를 구분해낼 수 없다. 따라서 첫번째 입력에서는 불이 들어오지 않았는데 누른 경우를, 나머지 입력들에서는 불이 들어오지 않았는데 누른 경우와, 아직 이전 정답이 처리되지 않았는데 입력을 누른 경우를 OR로 묶어 오답 JK플립플롭과 연결한다. 정답 LED 점등 : 아직 정답을 비교하는 중(또는 입력을 대기하는 중)이라면 두 플립플롭 모두 Low의 출력을 갖는다. 따라서 이 두 출력을 AND하여 게임이 진행중임을 표시할 수 있다. 만약, 사용자가 정답을 입력한다면 마지막 비교 플립플롭의 출력Q가 High가 되고 오답 확인용 플립플롭의 Q 가 High가 되므로 초록(정답) LED가 점등된다. 또한 불이 들어오지 않은 곳을 누르거나 순서를 잘못 입력한다면 그 순간 빨강(오답) LED가 점등된다. [기초설계및기타] IT알리미 작성자 조예은 출품자 정보 조예은(2018) 민소연(2018) 이미르(2019) 김자연(2019) 기대효과 누구든지 편하게 이용할 수 있는 “카카오톡”이라는 매체를 통해 필요한 정보들을 한 곳에 모아 제공함으로써, 온라인 수업의 특성상 학생들이 학교 생활에 필요한 최신 정보를 쉽게 놓칠 수 있다는 점을 보완한다. 추천 0 조회 558 첨부파일 0 작성일 2020.12.05 [종합설계] AI를 활용한 동영상 변환기 작성자 공지나 출품자 정보 공지나 (2016), 윤예찬 (2017) 기대효과 ① 영상에서 모자이크 처리기능 구현, 기대효과: 영상에서 불특정다수의 얼굴을 모자이크 처리하여 초상권 문제를 예방할 수 있습니다, 활용방안: 유튜브에 동영상을 업로드 시 초상권 문제로 블라인드 처리를 당하는 것을 방지 ② 샤프닝으로 동영상의 품질 저하 문제점을 해결, 기대효과: 최종 결과물에 대한 만족도를 높일 수 있습니다, 활용방안: 동영상 품질 향상(영상 에지 강조를 통한 해상도 향상) , ③ 트랙킹으로 여러 사람이 출현하는 영상에서 특정 대상을 지정해 그 대상만을 위한 동영상, 기대효과: 불특정 다수를 가리키던 동영상에서 사용자가 원하는 대상을 강조한 새로운 동영상 변환 과정을 통해 사용자에게 의미 있는 동영상을 제공해 줄 수 있습니다, 활용방안: 연예인 직캠 동영상. 추천 0 조회 1547 첨부파일 2 작성일 2020.12.04 프로젝트 개요수많은 영상 데이터에는 불필요하고 식별성이 없는 동적 데이터가 대 다수 포함됩니다. 이러한 동영상(쓰레기 데이터가 많거나, 사람이 많은 동영상)에서Object Tracking을 사용하여 사용자가 관심 있는 대상에 주목해 그 대상을 지정 및 추적하고, 모자이크 등의 기능을 제공하는 동영상 변환 소프트웨어를 개발하는 것이 목표입니다.활용방안으로는 CCTV에서 대상 확인 및 추적, 현재 유행하고 있는 연예인 단독 동영상(직캠)으로의 변환, 유튜브 동영상에서 자동 모자이크 처리등으로 예상되며, 최근 BIG DATA에 대한 많은 수요로 인해 기대효과가 높을 것으로 사료됩니다. 프로젝트 목표1. source 동영상에서 특정 대상이 강조가 안 되는 문제 해결 또는 특정 대상 추적 구현 - 트랙킹 구현2. 추출한 동영상의 품질이 떨어지는 문제 해결 - 샤프닝 구현3. 그렇게 추출해온 대상의 초상권을 침해하면 안 될 때의 문제 해결 - 모자이크 구현시스템 개요1. 사용자가 VMware player로 Linux-ubuntu를 실행한 후에 main.py을 실행합니다. 2. 그리고 사용자로부터 실행할 프로그램의 번호와 변환시킬 동영상을 입력받습니다. 3. 변환 프로그램을 실행한 후에는 확장자가 .mp4 인 변환된 영상이 지정된 폴더에 저장이 됩니다. 3-1.aviread.py는 동영상을 읽어와 동영상을 그대로 출력합니다.개발환경Hardware :- Personal computer : CPU: Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz 3.19Hz- memory 8GBSoftware :- API : OpenCV, Dlib, numpy- IDE : Pycharm- Language: python 3.7- Ubuntu(VMware player 15.5)- OS : Linux(x11)시스템 기능 소프트웨어를 실행시키면 사용자로부터 수행할 기능 번호와 동영상이름을 입력받습니다. 번호를 입력하면 그 번호가 있는 행의 기능을 순차적으로 실행하고 실행한 결과를 영상으로 저장합니다.1. 샤프닝- 왼쪽이 샤프닝된 영상, 오른쪽이 입력 영상입니다.- 입력으로 샤프닝을 적용시킬 동영상 이름을 받습니다.- 해당 동영상을 한 프레임씩 읽어와서 샤프닝 필터를 이미지에 적용시킵니다.- 샤프닝 필터가 적용된 이미지를 다시 모아 동영상으로 변환시킵니다.- 샤프닝의 강도에 따라 총 3개의 필터를 구현하였습니다.- q를 누르면 프로그램이 종료되고, q를 누르기 전까지의 작업한 내용을 동영상으로 변환합니다.- q를 누르지 않으면 전체 동영상을 변환시키고 자동 종료 시킵니다.2. 모자이크- 왼쪽이 입력 영상, 오른쪽이 모자이크 처리가 적용되어 변환된 영상입니다.- 입력으로 영상을 받고 입력받은 영상에서 사람 얼굴을 탐지, 이후 모자이크 처리를 수행합니다.- q를 누르면 프로그램이 종료되고, q를 누르기 전까지의 작업한 내용을 동영상으로 변환합니다.- q를 누르지 않으면 전체 동영상을 변환시키고 자동 종료 시킵니다.3. 트랙킹- 대상을 지정, 이후 추적해가며 해당 대상 위주의 동영상으로 변환시켜 주는 기능입니다.- 마우스 드래그로 직사각형을 생성하고, 직사각형 내부를 ROI로 지정합니다.- 입력 동영상(우측)을 한 프레임씩 읽으며 해당 ROI 대상 추적 영상(좌측)으로 변환시킵니다. - q를 누르면 프로그램이 종료되고, q를 누르기 전까지의 작업한 내용을 동영상으로 변환합니다.- q를 누르지 않으면 전체 동영상을 변환시키고 자동 종료 시킵니다.- 위 3개의 기능은 사용자의 번호 입력에 의해 각각 수행될 수도, 함께 수행될 수 도 있습니다.Youtube addresshttps://youtu.be/DdjDdwFdrHg [요소설계] DB를 바탕으로 전북대 주변 음식 검색 및 추천 사이트 구현 작성자 윤예찬 출품자 정보 윤예찬(2017), 윤민성(2017) 기대효과 웹 사이트를 이용하는 고객들에게 음식 검색 및 추천 기능을 제공함으로써 음식을 고민하며 발생할 수 있는 스트레스를 줄여주고, 또한 고민하며 발생하는 시간을 최소화시켜 줍니다. 또한 지도를 같이 제공해줌으로써 음식점 위치 찾기를 도와줍니다. 추천 0 조회 1285 첨부파일 1 작성일 2020.12.04 Web site Address http://dblab.jbnu.ac.kr/termprj/s201716933/index.php(chrome 사용을 권장해드립니다.)동영상 주소https://youtu.be/E5ToB_FN8eg개발 환경- DB: phpMyAdmin- Language: HTML/CSS3, java script웹 사이트 기능1. 전북대 주변 음식점 데이터베이스 구축- 총 1735 section- Main DB에는 음식이름, 종류(한식, 중식...), 음식점, 주소, 가격 등이 저장 되어 있다.2. 음식 이름을 검색하면 해당 음식 이름이 들어간 전북대 주변 음식을 결과로 출력한다.- 음식 리스트 출력3. 음식이름을 못 정할 경우 한식, 중식, 양식 등 음식 리스트를 출력해주는 기능을 제공한다.4. 로그인 기능을 구현하여 회원마다 추천 음식을 제공해주는 랜덤 추천 기능을 제공한다.- 한식, 중식, 양식, 7000원 이하 입력- 추천음식을 랜덤하게 출력활용 방안- 음식 검색 및 추천 기능 활용으로 음식 고민 스트레스를 줄여주고, 시간 소모 최소화.- 음식점 위치를 카카오 지도를 이용하여 검색. [기초설계및기타] 뭐하고 놀지? 작성자 조예은 출품자 정보 조예은(2018) 이미르(2019) 김자연(2019) 기대효과 평소에 선택을 잘 하지 못해서 뭐하고 놀 지 정하기 어려웠던 사람들이 자신의 상황에 맞춰 조건을 선택하고 랜덤으로 놀거리를 추천 받아 뭐하고 놀지 고민하는 시간을 줄이고 선택을 쉽게 할 수 있게될 것입니다. 추천 0 조회 457 첨부파일 0 작성일 2020.12.04 [요소설계] 라즈베리 파이(Raspberry Pi)를 이용한 스마트 미러(Smart 작성자 조계범 출품자 정보 조계범(2016), 백승민(2016) 기대효과 현대인은 아침부터 저녁까지 바쁜 삶을 살고 있다. 그렇기에 찰나의 여유가 절실할 것이다. 우리는 스마트 미러를 설계하며 한 화면에 필요한 최대한의 정보를 담으며 부족한 부분은 음성 비서 기능으로 보완하며 현대인에게 시간을 더 효율적으로 사용할 기회를 제공할 수 있을 것을 기대한다. 또한 스마트 미러를 소형화 및 대형화가 모두 가능하기 때문에 다양한 목적과 다양한 환경에서 사용될 수 있을 것이다. 추천 0 조회 1791 첨부파일 1 작성일 2020.12.03 #문제 정의 및 해결 아이디어 거울을 보다가 알고 싶은 정보가 생겼을 때, 바로 확인하지 못하고 핸드폰이나 컴퓨터를 이용하여 정보를 얻어야 하는 불편함이 있다. 이런 불편함을 해결하기 위해 거울을 보던 중 핸드폰이나 컴퓨터를 굳이 보지 않아도 정보를 확인할 수 있도록 거울에서 정보를 볼 수 있도록 한다. 이를 위해 거울의 역할을 하면서 정보를 나타낼 수 있도록 디스플레이로 One Way Mirror(한 방향에서는 투과가 되고 다른 한 면에서는 반사가 이루어지는 반투명 거울)를 사용한다. 또한, 사람들이 거울을 보면서 확인할 수 있는 유용한 정보들을 선정(날씨와 시간, 미세먼지 정보, 기념일, 뉴스 등)하여 스마트 미러에서 확인할 수 있도록 한다.#기능1. 현재 날짜와 시간을 확인할 수 있음2. 한국의 공휴일 정보를 확인할 수 있음3. 한국의 공휴일 정보를 확인할 수 있음4. 현재 날씨(온도, 체감온도, 풍향, 일몰 시각, 구름 정도)와 주간 날씨를 확인할 수 있음5. 뉴스(일간 뉴스)를 확인할 수 있음6. 사용자가 설정한 문구를 출력하여 확인할 수 있음7. 구글 어시스턴트를 활용하여 인공지능(AI) 비서 서비스를 이용할 수 있음#개발 환경1) H/W-라즈베리 파이 1.2GHz 쿼드코어-브로드콤 비디오 코어 IV 그래픽 프로세서-1GB RAM, 마이크로SD 포트, USB 포트x4-와이파이 및 블루투스 내장-풀사이즈 HDMI 포트-40핀 GPIO 헤더 2) S/W-Rasbian (공식 라즈베리 파이용 OS)-MagicMirror2 (오픈소스 모듈식 스마트 미러 플랫폼)-Google Assistant (구글이 개발하고 2016년 5월 자체 개발자 콘퍼런스에서 발표한 인공지능 비서) [종합설계] [샘플]객체인식을 이용한 스마트 알람시계 작성자 IT정보공학과 출품자 정보 공필상(2013), 최성혁(2013) 기대효과 한번 끄고 다시 누워서 자게 되는 평범한 탁상 알람시계와 전원이 꺼져 있을 경우 알람이 울리지 않는 스마트폰 알람의 단점을 극복한다. 라즈베리파이에 전원선만 연결되어 있다면, 꺼질 일이 없으며, AI기술을 통해 사용자의 기상을 확실히 책임진다. 추천 0 조회 1527 첨부파일 0 작성일 2020.11.12 프로젝트의 결과물인 스마트 알람시계는 한번 끄고 다시 누워서 자게 되는 평범한 탁상알람시계와 전원이 꺼져있을 경우 알람이 울리지 못하는 스마트폰 알람시계의 단점을 극복한다.알람시계에 객체인식을 접목시켜 사용자가 정해놓은 시간에 수면 중일 경우 알람을 출력하여 기상시키고 다시 사용자가 누워 자려고할 경우 알람을 다시 울리게 하여 확실한 기상을 책임진다. 그리고 전원 어댑터가 연결되어 있을 경우 꺼지지 않고 평소에는 평범한 탁상시계역할을 한다.* 시스템 개요1.평소에는 현재의 시간을 보여준다.2.사용자가 알람 및 벨소리 설정을 원할 경우 설정할 수 있는 화면을 보여준다.3.현재시간이 사용자가 설정한 시간과 일치한지 확인한다.4.사용자가 알람을 맞춰놓은 시간일 경우 아래의 알고리즘을 반복한다5.Yolo를 작동시켜 사용자의 상태를 확인한다6.누워있을 경우 알람을 울리고 누워있지 않을 경우 알람은 울리지 않는다.7.일정한 지연시간을 주며 10분동안 반복한다. * 개발 환경라즈베리파이3 B+ : 알람시계 제작을 위한 싱글보드 컴퓨터파이카메라 : 사용자 모니터링스피커 : 알람소리 출력터치스크린 : 현재시간 표시 및 알람 설정조명: 주변을 밝혀 객체인식을 돕는다. * 소프트웨어 개발 환경 운영체제 : 라즈비안개발도구 : vi개발언어 : python사용기술 : YOLOv3* 시스템 기능사용자의 수면 이미지 여러 장 구하여 라벨링한다.sleep1 : 수면 중인 사람의 발바닥sleep2 : 수면 중인 사람의 몸sleep3 : 수면 중인 사람의 얼굴 라벨링을 마친 후 학습을 진행하여 weight파일을 얻는다. picamera로 촬영한 이미지로 realtime object detection이 잘되는 것을 확인 * 결과물 본체+조명 2개+파이카메라+스피커 부착된 모습 User Interface * 활용 방안추후 보안에 신경을 쓰고 통신기술을 연동하여 언제 어디서든 집안 모습을 확인 할 수 있는 홈 CCTV로 활용이 가능하고, 라즈베리파이가 알람시계의 역할 뿐만 아니라 스마트홈IOT의 역할을 수행할 수 있다. 더불어 사용자 층이 독거노인 또는 몸이 불편한 사람일 경우 고독사 방지 기능으로도 응용이 가능하다. 처음 11 1 끝