Teachable Desktop Automation

// Teach your computer to recognize gestures and trigger a set of actions to perform after a certain gesture is recognized.//

Hello World! I'm very excited to share with you my recent experiment wherein I tried to teach my computer certain gestures and whenever those gestures are recognized certain actions will be performed.

In this blog, I'll explain all you need to do to achieve the following

IF: I wave to my webcam
THEN: move the mouse pointer a little to its right

I have used power for Node js to achieve this. The idea is to create a native desktop app which will have access to the operating system to perform certain actions like a mouse click or a keyboard button press and also on the same native desktop app we'll try to train our model and draw inferences locally.

To make it work, I thought of using tensorflow.js and robotjs in an Electron App created using Angular.

Read on Medium

株式会社ゴーリスト's job postings

Teachable Desktop Automation

Masakazu Someya

株式会社ゴーリスト / Other engineer

株式会社ゴーリスト

ゴーリストは、「個と組織をGoalに導くプロフェッショナルチーム」をミッションに掲げて、BigDataTechBigDataTech領域の自社サービスの企画・開発、上流からリリースまでのすべてを行うプロダクトパートナーとしての受託開発、２つの事業を軸にクライアントのソリューションを提供しています。会社HP：http://www.goalist.co.jp/ ▼開発中／提供中のサービス ■HR業界・採用担当者向け採用支援ツール　「HRogマップ」 URL：https://map.hrog.net/ 最新の求人情報をGoogleマップ上にマッピングすることで視覚的にエリア毎の時給相場を把握できる HR業界・採用担当者向け採用支援ツールです。 ■100超の求人媒体を瞬時に集計・分析　「HRogチャート」 URL：https://chart.hrog.net/ HRogチャートは過去から最新の求人情報を自由自在に集計・分析できるクラウドサービスです。 100サイトを超える日本中のWEB求人メディアをクローリングすることで日々求人情報を蓄積し、その総数は、5億件を突破しました。このの大量データと独自開発のテキストマイニング技術 ✕ 使いやすいUIで、これまでになく簡単な操作・手順で、高精度の集計・分析を可能にするサービスがHRogチャートです。また、労働指標の推計手法に関する研究をしている東京大学大学院研究室にもデータを提供して、研究活動をサポートしています。 ■HR業界向け営業リスト生成ツール　「HRogリスト」 URL：https://list.hrog.net/ 「営業リストに、競合調査に、市場分析に。攻めにも守りにも。人材業界専用。」国内の主要な求人媒体全てからデータを取得し、それらの大量なデータを使いやすい形のリストにしてご提供しているサービスです。弊社独自のクローリング技術・スクレイピング技術により、今までのクローリングデータではありえないほどの、精度の高いリストを提供しています。また、求人媒体の広告プランを自動判定したり、社名や電話番号等で名寄せする等、痒いところに手の届くサービスで、人材業界大手企業様を中心に導入いただいています。 ■人材業界に特化したキュレーションメディア　「HRog」 URL：http://hrog.net/ 人材業界の方が気になるニュースを厳選しご提供している、キュレーションメディアです。ゴーリスト独自のデータを元にした求人掲載件数のレポートや海外ニュースの要約、厚生労働省等が発表しているオープンデータを元にした人材業界インフォグラフィックなど、オリジナルの記事も多数掲載し、人材業界の方に広く御覧いただいています。

Like Masakazu Someya's Story

Let Masakazu Someya's company know you're interested in their content

株式会社ゴーリスト

Weekly ranking