Qu'obtenez-vous lorsque vous combinez deux des paradigmes les plus prometteurs en matière de traitement de données : le streaming et les graphiques ? Cela pourrait probablement changer la donne, du moins c'est ce qu'insinuent des sociétés comme la DARPA et maintenant le Falcon Fund de CrowdStrike, qui parient sur ThatDot et son framework open source Quine .
Qu'obtenez-vous lorsque vous combinez deux des paradigmes les plus prometteurs en matière de traitement de données : le streaming et les graphiques ? Cela pourrait probablement changer la donne, du moins c'est ce qu'insinuent des sociétés comme la DARPA et maintenant le Falcon Fund de CrowdStrike, qui parient sur ThatDot et son framework open source Quine .
Le CrowdStrike Falcon Fund est un véhicule d'investissement géré par CrowdStrike, en partenariat avec Accel, qui réalise des investissements privés à plusieurs niveaux dans le domaine de la cybersécurité et des marchés adjacents.
La DARPA est également connue pour son intérêt pour la cybersécurité, ce qui, selon la société, a motivé sa décision de financer le développement du nouveau cadre récemment publié par ThatDot en tant que projet open source .
Alors que de nombreuses solutions existent sur le marché à la fois pour le traitement des données en streaming et pour l'analyse graphique , travaillant souvent en tandem, le cofondateur et PDG de ThatDot, Ryan Wright, affirme que la technologie de Quine est unique, lui permettant d'évoluer à des niveaux dépassant les capacités des autres. systèmes
Wright a discuté avec VentureBeat des prémisses clés de Quine et ThatDot, ainsi que des aspects pratiques de l'utilisation de Quine et des prochaines étapes de son évolution.
« Les graphiques relient tout » est la façon dont Gartner a formulé le raisonnement derrière l'inclusion des graphiques dans ses 10 principales tendances technologiques en matière de données et d'analyse pour 2021 . Cependant, le marché de l'analyse de streaming devrait passer de 15,4 milliards de dollars en 2021 à 50,1 milliards de dollars en 2026, à un taux de croissance annuel composé (TCAC) de 26,5 % au cours de la période de prévision, comme le rapporte Markets and Markets .
Néanmoins, Wright a déclaré que ce qu'il faut pour traiter d'énormes volumes de données transitant par l'entreprise ne correspond à aucun de ces paradigmes. Quine est conçu pour combiner les technologies de streaming d'événements et de données graphiques pour se connecter aux flux de données existants et créer des données dans un graphique avec état.
« C'est comme une base de données graphique, mais elle est vraiment destinée aux applications de traitement de flux. Les bases de données graphiques sont connues pour être parmi les plus lentes du monde du stockage de données. La nouvelle technologie signifie que Quine peut entrer dans cet espace avec des capacités qui étaient auparavant impossibles », a déclaré Wright.
Selon Wright, alors que les technologies graphiques précédentes pouvaient potentiellement fonctionner dans un système de traitement de flux d'événements à quelques milliers d'événements par seconde, les clients de Thatdot ont utilisé Quine pour traiter plus d'un million d'événements par seconde.
Et le fait que Quine soit avec état le rend approprié pour relever certains défis critiques et difficiles à résoudre. Wright a déclaré que c'est la raison pour laquelle la cybersécurité est un domaine d'application principal pour Quine et la raison pour laquelle elle a reçu un financement de la DARPA.
« L’objectif était de créer de nouvelles techniques et technologies pour détecter les menaces persistantes avancées. Et le défi des menaces persistantes avancées, où un attaquant sophistiqué pénètre dans l’environnement d’une entreprise et y reste discrètement. Ce qui est difficile à ce sujet, c'est qu'il y a en permanence un énorme volume de données.
Nous disposons d'outils capables de traiter les données, mais pour trouver l'attaquant, il faut récupérer les nouvelles données qui viennent d'arriver. Donc, à propos de ce que fait l’attaquant en ce moment et vous devez le combiner avec des données qui peuvent dater de plusieurs semaines ou mois. L'aiguille dans la botte de foin doit être reliée en temps réel à l'aiguille entrante en cas de diffusion en continu d'une botte de foin qui vient d'arriver », a déclaré Wright.
Bien qu'aucun indice de référence ou nom de client ne soit partagé à ce stade, les mesures partagées par Wright sont impressionnantes et le vote de confiance des investisseurs est réel. Avant son investissement Crowdstrike et d'autres investissements, ThatDot a levé 2 millions de dollars en financement de démarrage. La société ne divulgue pas le montant de l’investissement Crowdstrike et prévoit de lever une série A plus tard en 2022.
Outre la cybersécurité, d'autres cas d'utilisation de Quine incluent l'analyse de la blockchain, la surveillance et l'analyse des CDN et des MLops à grande échelle avec Kubernetes, ainsi que son utilisation par les institutions financières traditionnelles et d'autres sociétés de technologie financière. Alors, quelle est l’innovation qui permet à Quine de surpasser les systèmes existants et de débloquer ces cas d’utilisation ?
Le livre blanc de ThatDot identifie trois choix de conception qui définissent Quine : un modèle de données structuré par graphe, un modèle informatique graphique asynchrone basé sur des acteurs et des requêtes permanentes, la solution de Quine aux défis que le temps présente dans les systèmes distribués. Comme le modèle de données graphiques est bien compris et également partagé avec de nombreuses autres solutions, examinons le modèle d'acteur et les requêtes permanentes.
Le calcul dans Quine est construit sur le modèle d'acteur utilisant Akka. Décrit pour la première fois par Carl Hewitt en 1973, un acteur est un processus léger et monothread qui encapsule l'état et communique avec le monde extérieur uniquement par la transmission de messages. Un acteur reçoit des messages dans sa boîte aux lettres et effectue le calcul correspondant à petite échelle.
Les requêtes permanentes sont l'innovation centrale au cœur de Quine. Cela signifie que les requêtes sont formulées une seule fois et qu’elles se trouvent ensuite à l’intérieur du graphique, comme l’explique Wright : « Vous les déposez et elles se propagent automatiquement à travers le graphique. Cela signifie que les réponses vous reviennent. Vous n'êtes pas obligé de demander encore et encore. Avez-vous ma réponse maintenant ? Avez-vous ma réponse maintenant ?
Comme l'a dit Wright, Quine est entièrement asynchrone, distribué et fonctionne d'une manière structurée par graphe qui correspond au modèle de données structurées par graphe. Akka et le modèle acteur ne sont pas la tasse de thé du développeur moyen, mais ils ne sont pas non plus nécessaires pour pouvoir utiliser le système. Les requêtes et les modèles d'ingestion de données peuvent être exprimés dans Cypher, l'un des langages de requête graphique les plus utilisés.
La communauté Quine partage également ce qu'on appelle des recettes, c'est-à-dire des configurations packagées de flux de données entrants, de construction d'un graphique, de surveillance de ce graphique et de flux de données sortants. Un exemple pourrait être l'ingestion de journaux de serveur, la création d'un graphique à partir de ceux-ci, la surveillance de l'activité et l'affichage des résultats dans un tableau de bord. Selon Wright, il existe un répertoire croissant de recettes qui permettent d'utiliser Quine sans effort.
Évidemment, pour pouvoir combiner les données entrantes en temps réel avec les données historiques, un stockage sous-jacent est nécessaire. Quine peut être utilisé avec plusieurs options, allant de RocksDB pour le stockage local à Apache Cassandra et Amazon S3 .
Bien qu'il n'existe actuellement aucune version entièrement gérée de Quine, ThatDot propose une version entreprise. La version entreprise de Quine se concentre sur les fonctionnalités liées au clustering résilient du système et à son adaptation à des volumes de données arbitrairement importants afin que vous puissiez obtenir jusqu'à des millions par seconde ou plus, comme l'a noté Wright.
Dans l'immédiat, l'objectif de ThatDot est de servir la communauté open source de Quine. Comme Wright l'a partagé, Quine connaît une grande adoption et de nombreux cas d'utilisation passionnants issus de cette communauté. ThatDot vise à créer davantage de ressources pédagogiques et à promouvoir la défense des intérêts des développeurs. L'entreprise basée à Portland, dans l'Oregon, a doublé ses effectifs en 2021 et recrute de manière agressive dans le cadre de son projet de doubler ses effectifs à l'échelle nationale d'ici la fin de 2022.
Quant à la feuille de route, Wright a positionné Quine comme « une plate-forme pour la prochaine génération d’IA qui vient tout juste d’émerger et commence à quitter les laboratoires de recherche : la génération Graph AI ». Wright a fait référence à de nouvelles techniques autour des systèmes de recommandation de graphes, des réseaux neuronaux de graphes et de la détection d'anomalies de graphes, invitant les utilisateurs d'entreprise qui ont des applications pour cette prochaine génération de technologies à utiliser Quine.
