G Talent トップ
求人検索
データプラットフォームエンジニア/フルリモート可

データプラットフォームエンジニア/フルリモート可

東京都

正社員

フルリモート

有名スタートアップ

自社製品・サービス

業種: 自然言語処理を活用した企業文化変革の支援を行うサービスの開発・運営

開発言語: Terraform, Node.js, Typescript, Python

勤務時間

年収: 580万円〜900万円

仕事内容: 【会社概要】　ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の生成AI LLM技術を活用し、企業の変革を支援しています。弊社の強みは、フルスクラッチで国産LLMを開発できる技術力です。2024年5月には、国内最大級となる1,000億パラメータの日本語特化LLM「Stockmark-2」を公開しました。多くの企業が海外モデルの微調整やOSS活用にとどまる中、当社はゼロから自らの手でモデルを設計・構築。日本語とビジネス領域に最適化された性能は、国産最高クラスの水準を誇ります。さらに、ハルシネーションを大幅に抑えており、自社管理下で安全に運用可能です。単なる“生成AIの利用企業”ではなく、“AIそのものを創る企業”として、日本の産業競争力を技術で支えていく存在となることを目指しています。この技術力を活かして事業展開しており、現在はSaaS事業として製造業向けAIエージェント「Aconnect」、PaaS新規事業として業務AI実装支援プラットフォーム「SAT(Stockmark A Technology)」を運営しています。創業時からエンタープライズ企業をターゲットとしており、すでに日経225の30％、300社を超える企業様での導入が進んでいます。今後は製造業のR＆Dを起点に、国内のエンタープライズ企業はもちろん、日本企業全体そしてグローバル企業にも展開していく予定です。 2024年10月にはシリーズDにて45億円、累計88億円の資金調達を完了。従業員も150名規模になり、更なる成長を目指すために人員を募集しております！【現状の課題】数億件規模のWeb上の文献をクローリング/コンテンツ抽出/配信するためのアプリケーションおよびインフラの開発と運用が必要になっている Web上の文献（ニュース、論文、特許）および顧客社内文献を解析、配信するためのデータパイプラインの開発と運用が必要になっている Web上の文献を安定的に収集・拡充していくための監視基盤の構築が必要になっている【業務内容】当社は、ニュース・特許・論文・Web情報など、企業活動に関わる膨大な公開情報を収集・構造化し、最先端の生成AI技術を活用して、企業の意思決定や事業変革を支援する複数のプロダクトを提供しています。本ポジションでは、これら全プロダクト共通の基盤となるデータ配信システムに位置づけられる、Webクローラーおよび文書配信パイプラインの設計・開発・運用を担っていただきます。プロダクト価値の根幹を支えるデータ基盤として、安定性・スケーラビリティ・拡張性を意識した開発が求められるポジションです。エンジニアとして記載の課題解決のための開発を進めながら、データプラットフォームチームをリードし生産性の最大化を行うことも期待しています。 ■具体的な業務内容 TypeScript/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用サーバーレス環境による分散処理のスケーラビリティ向上と監視設計 ※変更の範囲：開発関連業務【チーム構成】事業責任者（CEO）1名開発責任者 1名プロダクトエンジニア 7名 AI Agentエンジニア 6名構造化エンジニア 3名データエンジニア 3名プロダクトマネージャー 1名リサーチャー 1名 CS 2名 Biz 8名【開発環境】 [開発言語] データパイプライン: Python Webクローラー: TypeScript(Node.js) [コンテナ] Docker [IaC] Terraform [クラウド] AWS [ライブラリ] Pyspark, Puppeteer [AIツール] Cursor, CodeRabbit, Devin 【ポジションの魅力】全プロダクト共通の文書配信システムの開発・運用に携わることで、以下のような経験を積むことができます。数億件規模の文書データを対象とした、サーバーレス環境における大規模分散処理の設計・開発・運用経験数万サイトを対象としたWebクローラーの開発を通じて、Webフロントエンド・バックエンド双方の知見を活かしながら、不安定な外部環境を前提とした監視・運用設計のノウハウを習得 PdMやCustomer Successチームと連携し、プロダクト要件や顧客課題を踏まえた新規開発・改善提案を主体的に行うことで、技術視点から事業にコミットする経験

求められるスキル: 【必須要件】 ※すべて必須エンジニア歴3年以上 Python を用いたアプリケーション開発経験要件定義から設計〜実装〜運用に至るまで一気通貫での経験以下の経験1つ以上・サーバーレスを用いたフルスタックな開発/運用及びそのリード経験（Lambda, ECS, Fargate, Step Functions など）・データパイプライン・ETLの構築やワークフローエンジン、分散処理フレームワークを用いた開発/運用経験（Sparkなど）【歓迎要件】コンピュータサイエンスに関連する技術分野の修士号または博士号チーム開発をリードした経験顧客向け自社開発サービスの開発、運用経験文書検索や文書推薦を行うサービスの開発、運用経験サーバーレスに対する幅広い知見と業務経験 Terraformを用いた開発/運用経験【求める人物像】コンピュータサイエンス、分散処理が好き最新の理論や事例をフォロー、検証するのが好き与えられた課題だけでなく、自ら問いを立て、そのために必要な解決策を生み出せるビジネスサイドとコミュニケーションしながら、いかにプロダクトに貢献できるかを考えられる前向きなチャレンジ精神

求められる語学能力